Utvärderingar inom socialtjänsten FoU-enheternas bidrag Socionomen nr 4, 2006 För drygt 15 år sedan granskade Rosmari Eliasson et. al. (1990) den ökade benägenheten att efterfråga och genomföra utvärderingar av socialtjänstens verksamhet. De levererade en insiktsfull och delvis skarp kritik av möjligheterna till att genomföra meningsfulla utvärderingar. Samtidigt identifierade de utvärdering som en nödvändighet i den meningen att de inte ifrågasatte att socialtjänstens verksamhet behöver utvärderas utan snarare ställde frågan hur detta skall göras. Utifrån en mer distanserad bedömningshorisont framstår utvärdering som ett tämligen renodlat uttryck för en allmän moderniseringsprocess - för den fortgående rationaliseringen av det västerländska samhället. En mer närsynt granskning ger dock vid handen att betoningen av rationalitetsperspektivet har varierat över tid under de senaste fyra decennierna. Under 1960-talet växte sig en i huvudsak renodlad måluppfyllelsemodell fram som i allt väsentligt präglades av akademiska ideal och en oproblematiserad syn på rationaliteten hos de verksamheter som utvärderades (Mullen 2004). I den s k ingenjörsmodellen fick detta drag sitt mest pregnanta uttryck, utvärderingarna skulle inte enbart värdera huruvida uppsatta mål uppnåddes eller ej, utvärderingarnas resultat skulle också utnyttjas instrumentellt för framtida handlande (Vedung 2004). Över tid visade det sig emellertid att det inte gick att hålla fast vid en förenklad syn på måluppfyllelse och utvärderingar började i ökande grad att inkorporera implementeringsanalyser och effekter som låg utanför de angivna målen. Vid sidan av denna breddning av utvärderingarnas metodarsenal och teoretiska fundament kom också de traditionella formerna för utvärdering att utmanas av managementinspirerade perspektiv på kontroll och styrning. Introduktionen av en marknadsrationalitet öppnade upp för nya typer av problemställningar där frågan om måluppfyllelse ersattes av utvärderingar av hur nöjda de tilltänkta eller faktiska kunderna är. Det senaste tillskottet på utvärderingarnas arena - den s k evidensbaseringen - framstår i detta sammanhang som en återgång till ett mer klassiskt schema med ett rationalitetsperspektiv i centrum; det är åter kraven på vetenskaplig precision och på förhand givna utfallsvariabler som dominerar diskursen om det kunskapsunderlag som betecknas som evidensbaserat. Mot denna bakgrund - mot den fond av olika optioner som finns beträffande hur utvärdering skall bedrivas - finns det anledning att fråga sig på vilket sätt utvärdering genomförs när det gäller socialtjänstens verksamhet. Vi skall i det följande ge några korta bestämningspunkter för detta via en granskning av FoU-enheternas bidrag när det gäller utvärdering av socialtjänstens verksamhet, såväl när det gäller omfattningen som formerna för de utvärderingar som genomförts. Valet att lyfta fram FoU-enheterna har sin bakgrund i att dessa måste betraktas som centrala aktörer i den meningen att de har ett uttalat uppdrag att bedriva utvärdering och genom att de själva så tydligt pekar ut utvärderingar och utbildning av utvärderare som en högt prioriterad del av sin verksamhet (Socialstyrelsen 2002, 2003). Antalet FoUbyråer har dessutom vuxit mycket kraftigt, framförallt under 1990-talet. Från att ha varit
bar, en handfull i början av 1990-talet, finns FoU-byråer med inriktning mot individoch familjeomsorgen nu spridda över hela landet ofta i form av samarbetsprojekt mellan flera kommuner. Vårt empiriska underlag De FoU-enheter som kan tänkas producera utvärderingar inom socialtjänstens område har identifierats genom sammanställningar från Socialstyrelsen hemsidan FoU- Välfärd och genom egna kontakter. Vi har utgått från FoU-enheter som är knutna till kommunernas socialtjänst (vilket betyder att vi uteslutit liknande enheter som organisatoriskt ligger under universitet och högskolor). Områdesmässigt har vi begränsat oss till rapporter om det som kan sägas vara kärnan i socialtjänstens individ- och familjeomsorg (IFO) (barna- och ungdomsvård, missbruksbehandling och försörjningsstöd/socialbidrag). Det betyder att vi från vår lista av undersökta FoU-enheter exkluderat sådana som endast ägnar sig åt äldreomsorg. Sammanlagt ingår 22 enheter i undersökningen. Listor över samtliga FoU-rapporter har vi fått framförallt genom att söka på FoU-enheterna hemsidor. För att försäkra oss om att samtliga publicerade rapporter funnits med (och i de fall lokala hemsidor saknats) har vi emellertid även via telefon tagit kontakt med samtliga FoU-enheter för att på så sätt identifiera publikationer som saknas på hemsidor. Med utgångspunkt från denna sammanställning över samtliga FoU-rapporter har vi letat efter sådana som (1) publicerats mellan åren 1990 och 2004, (2) rör IFOs kärnområden samt (3) inkluderar orden utvärdering, uppföljning, kvalitet, resultat och effekt i titeln och/eller i förekommande fall abstract/sammanfattning eller där det på annat sätt framgår att rapporten är en utvärdering. I undersökningen har också inkluderats rapporter som allmänt behandlar utvärderingar utan att innehålla en självständig undersökning. Sammanlagt har vi identifierat, beställt och med hjälp av ett kodschema gått igenom 150 FoU-rapporter som enligt de angivna inklusionskriterierna, kan definieras som utvärderingar. Samtliga dessa ingår i underökningsresultaten som presenteras i den följande texten. Det utesluter naturligtvis inte att vi kan ha missat en del rapporter t ex för att de inte gått att identifiera via titlar och abstracts. Ett mindre antal (ca 15) har, trots att de återfunnits i listor över publikationer vid FoU-enheterna och inkluderar sökorden, inte gått att återfinna, vare sig via Libris eller på annat sätt, dessa har inte inkluderats i undersökningen i. En utvärderingsexplosion? Figur 1 utgör en sammanställning över samtliga rapporter utifrån det år de publicerats. Som kan konstateras ökar antalet publicerade utvärderingsrapporter mycket kraftigt under undersökningsperioden. Nära två tredjedelar av rapporterna har producerats under den senaste femårsperioden. Verksamheten är emellertid ojämnt spridd över landet. Så många som 25 procent av utvärderingarna kommer från Stockholms stads FoU-byrå. Det är inte särskilt förvånande mot bakgrund av att det är en av de äldsta och största av FoU-byråerna. Tittar man närmare på den senare delen av undersökningsperioden 2000-2004, svarar emellertid Stockholms FoU-byrå bara för sju procent av utvärderingarna. 2
De FoU-byråer som publicerar mest flitigt under den tredje underökningsperioden är Södertörn (utanfår Stockholm), Kronoberg, Västernorrland och Skåne. Den snabba tillväxten av antalet utvärderingar i alla former måste naturligtvis ses mot bakgrund av tillkomsten av FoU-enheter under 1990-talet (se ovan). Man kan fråga sig om dessa utvärderingar skulle ha producerats utan de nya FoU-enheterna (till exempel inom ramarna för de enskilda socialkontoren). Det kan naturligtvis inte uteslutas, men samtidigt står det klart att FoU-enheterna sannolikt spelar en långt ifrån obetydlig roll för tillväxten av utvärderingar inom det sociala arbetets fält De spelar genom sina inbördes kontakter, sina kontakter med universiteten osv, en viktig roll för idespridning (Socialstyrelsen 2002), och i denna idespridning är uppenbarligen utvärderingar ett centralt moment. Vad är det som utvärderas? I tabell 1 presenteras en sammanställning över vilka verksamhetsområden inom IFO som behandlas i utvärderingarna. Som framgår dominerar barna- och ungdomsvårdsområdet (41%). Jämför man med missbruk (20%) och socialbidrag/ försörjningsstöd (17%), publiceras fler utvärderingar inom barnavård än inom missbruk och socialbidrag sammantaget. Ännu tydligare blir dominansen av barnavård om man tittar närmare på kombinationerna, då visar det sig att barnavård behandlas antingen enskilt eller i kombination med andra områden i 58 procent av utvärderingarna. Tittar man på utvecklingen över tid så ökar snarast barnavårdens dominans. Detta bör förstås mot bakgrund av att barnavården personalmässigt är det största området inom individ- och familjeomsorgen - lika stort som missbruk och försörjningsstöd tillsammans - och att de resurser som läggs på barnavård faktiskt ökar (Bergmark & Lundström 2004). Skulle man utifrån titlar och sammanfattningar av rapporterna söka hitta typiska verksamheter som utvärderas handlar det ofta om sådant som särskilda öppenvårdsprojekt för olika grupper av t ex missbrukare eller problematiska ungdomar. Det kan handla om drogförebyggande arbete eller olika former av mellanvårdsprojekt. Vårt intryck är att det är vanligare med utvärderingar av projektliknande verksamheter och sådana som arbetar med en specifik målgrupp än med utvärderingar av den ordinarie socialbyråverksamheten. Det bör dock understrykas att det samlade intrycket är att utvärderingarna behandlar ett brett spektrum av verksamheter. Och hur? Vilka forskningsmetoder används i rapporterna? I tabell 2 presenteras en grov klassificering av utvärderingarnas metodologiska inriktning. Som framgår av sammanställningar är det bara en femtedel som använder sig av kvantitativ metod. Metodiken är i dessa fall som regel av skäligen enkelt deskriptivt slag. Oftast bygger de kvantitativa studierna på enkäter till klienter/socialarbetare eller aktstudier. Mindre än hälften (ca 40 procent) av de rapporter som klassificerats som kvantitativa använder sig av någon form av mer avancerad statistisk analys (här har kraven satts mycket lågt så att någon form av signifikansanalys eller liknande innebär att metoden klassats som avancerad). Endast två av studierna har kunna klassificeras som 3
kvasiexperiment (det handlar om ett par studier från Stockholm stad som utvärderar familjerådslag). Inte någon av rapporterna bygger på ett randomiserat experiment, det som oftast brukar framhållas som metoden framför andra om man skall belägga att en intervention faktiskt leder till förändringar. Det vanligaste är i stället kvalitativa undersökningar som baseras på intervjuer med socialarbetare och klienter. Den kvalitativa metoddominansen ökar över tid. Under den sista tredjedelen av undersökningsperioden används kvalitativ metod i 59 procent av studierna. Typiska kvalitativa rapporter bygger på intervjuer med socialarbetare och/eller klienter. Det kan till exempel handla om intervjuer med ett antal familjebehandlare och några av deras klienter där fokus kan utgöras av de processer man gått igenom i behandling, eller studier där man följer upp målsättningar for specifika projekt genom intervjuer med de som arbetat med och är ansvariga for verksamheterna. En del av utvärderingsrapporterna har som framgår i Tabell 2 klassificerats som övrigt. Det rör sig oftast om sådana rapporter som allmänt behandlar utvärderingar och evidensbaserat socialt arbete eller introducerar någon särskild form av utvärdering. Här återfinns bland annat texter som presenterar ett kritiskt perspektiv på det som brukar kallas evidensbaserat socialt arbete. Har vi någon nytta av utvärderingarna? Vi har kunnat konstatera att det publiceras fler och fler utvärderingar om socialtjänstens individ och familjeomsorg. Antalet utvärderingar kan i dagsläget beskrivas som relativt omfattande. Det finns med andra ord ingen grund för påståenden om att socialarbetare skulle sakna intresse av att värdera det de gör eller att utvärderingar skulle vara en bristvara i svenskt socialt arbete. Socialt arbete är numera en del av den våg av utvärderingsverksamhet som karaktäriserar svensk offentlig sektor. Däremot bör man naturligtvis fråga sig vilken användning socialarbetare (och i sista hand även klienter) har av alla dessa utvärderingar. En viktig fråga i det sammanhanget rör naturligtvis utvärderingarnas kvalitet. Vi har själva inte gjort någon systematisk värdering av den vetenskapliga kvaliteten i de rapporter vi gått igenom, men när Göran Ahrne och Bengt Börjeson på Socialstyrelsens uppdrag för några år sedan utvärderade FoU-verksamheterna konstaterade de att de rapporter som publicerades endast sällan uppnår en nivå över C- och D-uppsatser (Socialstyrelsen 2002, s. 166). Det finns all anledning att anta att denna karaktäristik fortfarande har full giltighet. Det understryks av att det är mycket ovanligt att FoUrapporterna leder vidare till någon form av vetenskaplig publicering, i form av artiklar i vetenskapliga tidskrifter eller avhandlingar i socialt arbete ii. Ur vetenskapligt kvalitetsperspektiv är det problematiskt att FoU-verksamheten nästan aldrig utsätts för den vetenskapliga prövning som är en del av den akademiska världen. Det bidrar sannolikt också till att de slutsatser som man kommer fram till i FoUrapporterna sällan sammanfattas och sprids på nationell nivå. Kunskaperna stannar, tror vi, ofta lokalt, även om vi märkt att FoU-byråer ofta inspireras av varandra när det gäller metodfrågor. Vad som möjligen talar emot denna slutsats är den ökade spridning sådan här verksamhet kan ta via nätet och genom kontakter FoU-byråerna emellan. 4
Sett ur metodologiskt perspektiv liknar FoU-rapporterna ofta de c-uppsatser som publiceras vid Socialhögskolorna. Det vill säga de domineras av kvalitativa studier som ofta bygger på intervjuer av socialarbetare och klienter. Det är mycket ovanligt att man med hjälp av kvantitativa undersökningar söker belägga (långsiktiga) effekter av socialarbetarnas interventioner. Så kallade randomiserade experiment där man med hjälp av mer eller mindre rigorös vetenskaplig metodologi försöker besvara frågan: Har denna behandling effekt?, förekommer inte alls på detta fält. I den meningen kan knappas FoU-byråernas verksamhet sägas utgör en del av den rörelse för evidensbasering som bland annat Socialstyrelsen drivit under de senaste åren. Anders Bergmark och Tommy Lundström, Referenser Bergmark, Å. & Lundström, T. (2004) Det sociala arbetets viktigaste resurs. Om omfattning av personal inom socialtjänstens individ och familjeomsorg, Socialvetenskaplig tidskrift, 11,2, 119-135. Eliasson, R., Levin, C., Meuwisse, A. & Sunesson, S. (1990, red) Den värderande blicken - Om utvärdering i socialt arbete. Studentlitteratur, Lund. Mullen, E. J. (2004) Evidence-Based Practice in a Social Work Context - the United States Case. Fin-Soc Working Papers. Stakes, Helsinki. Socialstyrelsen (2002) Utvärdering av FOU - En studie av FoU-enheter inriktade på individ- och familjeomsorg. Socialstyrelsen, Stockholm. Socialstyrelsen (2003) Att utbilda för utvärdering - En nationell kartläggning. Stockholm: Socialstyrelsen. Vedung, E. (2004) Utvärderingböljans former och drivkrafter. STAKES, Working papers 1/2004, Helsingfors. i Arbetet med insamlingen har skötts av doktorand Helene Lagerlöf. ii Det kan vi konstatera eftersom vi parallellt med genomgång av FoU-rapporter gjort en motsvarande granskning av vetenskapliga svenska och nordiska tidskrifter och avhandlingar i socialt arbete. 5