Hurdan intervention fungerar bäst? Att utvärdera effekter av sociala tjänster

Hurdan intervention fungerar bäst? Att utvärdera effekter av sociala tjänster Pekka Kettunen, Jyväskylä universitet, Finland (pekka.t.kettunen@jyu.fi) Svenska Utvärderingsföreningens konferens, Stockholm 20-21.10. 2011

1. Inledning Tillgången till sociala tjänster påverkar människors välmående och förmåga att hantera vardagen på många olika sätt. Jämfört med till exempel sjukvården har man inte kunnat påvisa exakt hurdana effekter de sociala tjänsterna har. Försök att utveckla detta område har även mottagits med ovilja. Detta papper är ett försök att kartlägga frågan och föreslå några möjliga vägar att följa. Sociala tjänster syftar vanligtvis till att hjälpa människor som inte med egna krafter eller med hjälp av den privata sektorn kan lösa problem som orsakats av låga inkomster, hinder att delta samhällslivet, eller personliga problem som beroende, ensamhet eller mentala problem. Sociala tjänster och hälsovård överlappar varandra. När problemet är till exempel hur en äldre person klarar sig hemma kan det bero på både hälsotillståndet och bostaden i sig. Det är typiskt att sociala problem är långvariga. Ju längre det tar att lösa eller lindra ett problem desto större roll spelar andra faktorer. Att lösgöra sig från drogberoende räcker länge och under processen behövs omgivningens stöd (familj, vänner, arbetsplats). Varför anses det vara svårt att utvärdera sociala tjänsters effekter? Det kan bero på den ovannämnda situationen där den sociala interventionen sammankopplas med omgivningen vilket försvårar möjligheterna att dra tydliga slutsatser. Trots att en viss intervention på basis av tidigare forskning kan verka effektiv, kan resultatet i hög grad bero på omgivningen. Denna synvinkel betonas i den realistiska utvärderingsteorin (Pawson & Tilley 1997), som bland annat antar att en bestämd intervention kan leda till olika resultat beroende på ort, näromgivningen och andra lokala mekanismer som bidrar till resultatet. Sociala problem kan också variera 2

mellan människor så att en viss intervention t.ex. fungerar bra med lindriga alkoholproblem men inte med allvarliga. Sociala tjänster ligger på efterkälken inom effektutvärdering. Det finns fördomar och rädsla att beslutet vad som är bra och inte bra kommer utifrån och det professionella inflytandet minskar sig. Men är det så, vågar man inte fundera på hurdana resultat nås med sociala tjänster? Alla åtgärder har konsekvenser. Effektutvärdering betonar det, att man är mera medveten om vad man gör, kan jämföra olika sätt att nå samma resultat och kan avsluta ineffektiva program. Det gäller att i en eller annan form konkretisera hurdana, det gäller att precisera både interventionen, mottagaren och den möjliga effekten. Efter att först göra en kartläggning av ett induktivt sätt att utvärdera effekter, går jag vidare till olika utmaningar som möter forskaren vid en effektundersökning. Slutligen diskuteras effektutvärderingens genomförande, motivationer och möjligheter. 2. Att utvärdera effekter Effektutvärdering innebär att man försöker svara två enkla frågor: motsvarar resultaten de målsättningarna som interventionen hade, och orsakas resultaten av interventionen (Vedung 2009). Granskar man närmare dessa frågor är de inte alls enkla. Den induktiva vägen, som verkar vara vanligast, är att samla information gällande en viss åtgärd, visst serviceställe, en NGO mm. Utmaningen är att kunna generalisera på basis av en sådan fallstudie. Den deduktiva vägen, att man provar olika modeller av antaganden, teorier mm. i praktik är en mera pålitlig utgångspunkt men har olika svagheter också. 3

Börjar man med den induktiva vägen så är utgångspunkten en viss intervention vilkas effekter man vill granska närmare. Det är viktigt att noggrant kunna beskriva vad som sker i en intervention. Brukar man använda samma åtgärder i flera olika problemtyp eller väljer man det lämpigaste sättet att åtgärda? Sociala problem kan vara mindre eller större. Mottagarens personliga egenskaper (hälsa, motivation mm.) varierar också och omgivningen kan också ta sig olika former. Effekterna i sin tur är ofta för otydliga för att kunna mätas. Det viktiga är inte att kunna mäta exakt, utan att kunna visa förändring, förbättring. Innan man kommer så långt bör man lösa flera metodologiska problem. Hur mäter man resultat, varierar situationer och kunder så mycket att det försvårar utvärderingen, kan man förutspå på basis av effektutvärdering? Börjar man från enstaka fall kan man gå vidare mot generalisering. Sociala tjänster är vanligtvis sådana som fokuserar på människor. Med andra ord kan vi parata om kundeffekter. Men för att komma vidare bör man precisera mål, process of resultat (Paasio 2003). Utan mål kan vi inte prata om effekter. Samtidigt är målen ofta vaga och även motstridiga. Det gäller att precisera vad är målet för till exempel hemvård/hemhjälp eller rehabilitering. Inom hemhjälp diskuteras det i Finland just nu om den förändringen som har pågått de senaste fem till tio år, nämligen att hemvård blir mera medicinskt än socialt. Men själva målsättningen, att kunna bo hemma, täcker dessa båda. Det är snarare åtgärder som är det handlar om. Likadant inom rehabilitering för arbetslivet diskuteras är målsättningen att kursdeltagarna kan sysselsätta sig efter kursen, eller är der snarare att ge kursdeltagarna olika färdigheter, självförtroende och daglig rutin. Processen, med andra ord själva service interventionen kan vara bekant (tacit knowledge) för social arbetare men det kan finnas ett behov att tydliggöra åtgärden. 4

Är det meningen att förbättra självtroende, förmåga att klara sig i vardagliga uppgifter eller sociala kontakter när det gäller till exempel att ge stöd till ungdomar. När det gäller hemhjälp får äldre människor är det huvudsakligen hälsa man fokuserar på eller är det matlagning och städning också som bidrar till att kunna bo hemma. Olika vetenskapsgrenar kan ha olika uppfattningar om människans drivkrafter och natur. Tänker man på vård av drogberoende så finns det olika sorter av terapi. Vad gäller resultat så är det förknippad med både frågan om mål och process, nämligen vad är det man eftersträvar. När det gäller att en äldre människa kan bo hemma så är det huvudsakligen det fysiska förmåga eller det mentala förmåga som är viktigt, eller båda och i hurdan kombination? Å andra hand kan det finnas olika åsikter om effekten. De konkreta resultaten kan vara obefintliga eller anspråkslösa, men då gäller det att peka på de resultaten som orsakas. Om en drogberoende person inte blir av med sitt problem så kanske lyckas interventionen (terapi, diskussion mm.) upprätthålla läget så att problemet inte blir större. Vad innebär framgång ur brukarens synvinkel? Betyder framgång samma som god kvalitet? I princip borde brukaren uppskatta det att en intervention når sin effekt. För att bygga en modell av mål- åtgärd- resultat kan man använda programteori. Programteori innebär att noggrant beskriva vad som händer i processen. Vad är det man gör. För att kunna beskriva processen, bör man vanligtvis diskutera med medarbetare, politiker, forskare mm. (Dahler-Larsen 2004). Det kan också finnas olika meningar om åtgärder och resultat. Gör man en målbaserad utvärdering så gäller det att välja de formella antagandena. Man brukar hålla programteorin relativt enkel så att man väljer bara sådana faktorer som kan påverkas. 5

När man gjort sig en klar bild av processen kan man gå vidare att samla material. Efter ett tag börjar man få en uppfattning av inflytandet: om de faktorerna som interventionen har påverkat förändras kan man preliminärt säga att interventionen har haft en effekt. Det är förstås en lång väg innan man kan påstå att intervention x är bra i att minska beroende, öka självförtroende eller förmåga att bo hemma. För detta krävs åtminstone att detta påstående baserar sig på erfarenhet med tillräckligt många brukare, att interventionen genomförs ungefär likadant och att tidsperioden är tillräckligt lång. Vad man jämför utvecklingen med är egenskaper hos kunderna som förändras. Detta kan kallas som reflexiv kontroll, där undersökningsgruppen är sin egen kontrollgrupp (Vedung 2009). Fungerar en metod bra i ett fall, kan man gå vidare och se om den fungerar lika bra in andra fall också. Det gäller att prova metoden med andra brukare, annan ort, andra medarbetare. Efter Pawsons och Tilleys (1997) lansering av begreppet realistisk utvärdering har man lagt mera uppmärksamhet på variation. Trots skribenternas exempel är bra är jag lite osäker i vilken grad det hjälper sig att betona variation. Det är nämligen full möjligt att till exempel könen, åldern och utbildningen av brukaren kan ha betydelse, men de kan också vara irrelevanta i frågan. Djupare i frågan ligger frågan om den offentliga serviceproduktionens princip: i vilken grad man eftersträvar att tillfredsställa olika situationer, och i vilken grad försöker man standardisera olika program. En annan sak är att det är nyttigt att känna bättre gräsrotsnivån när man planerar åtgärder eller bygger programteorin. Rökandet, till exempel, verkar inte minskas trots en långvarig och massiv kampanj. Kanske man borde utnyttja realistisk teori och bättre förstå vilken roll spelar rökandet inom studielivet, sport mm. 6

Man anser ofta att det bästa sättet att visa hur effektiv en metod kan vara, är att använda jämförelsegrupp och randomiserad val av brukare. I de ovannämnda fallen är jämförelsepunkten tidsmässig utveckling. Andra möjliga kvasiexperimentella metoder omfattar till exempel generisk, skuggkontroll och tvärsnittskontroll. Poängen är att innan man börja med statistiska tester bör man ha en tydlig bild av processen. Det finns ett antal utmaningar som bör beaktas när man bygger en sådan modell. 3. Utmaningar För det första är det frågan om andra faktorer och omgivningen. Sociala tjänster riktar mot problem, som kan vara både komplexa och långvariga. Jämfört med en operationssal i sjukhus där de externa faktorerna kan kontrolleras, är sociala problem ute i samhället. Därför är det typiskt att trots åtgärder blir resultatet anspråkslös. Drogberoende till exempel kan försökas minskas med hjälp av olika sorter av terapi, diskussioner och läkemedel, men utvecklingen hos en människa kan starkt påverkas av den sociala omgivningen mm. Det blir komplicerat försöker man inkludera dessa egenskaper också i modellen, ofta är dessa faktorer som socialarbetare mm. inte kan påverka. Ett alternativ är att formulera modellen på det sätt att interventionen har sin roll och man försöker genomföra den delen så bra man kan. Ett svar i frågan är de olika indikatorerna, som tänkas reflektera resultat. Det kan finnas ett samband mellan åtgärder och indikatorer, men ofta är sambandet vag och många andra faktorer påverkar samtidigt. 7

För det andra finns det olika osäkerheter när det gäller en effektmodell. Evidence brukar hänvisa till forskning, att jämförandet mellan grupperna är utfört enligt metodologiska regler. Men jag ser detta snarare som en slutpunkt av en lång process av olika val. Vetenskapens roll är tudelad. Det finns ett eftersträvande för sanningen, men vetenskapsmän är inte alltid eniga. Man behöver bara tänka på psykoterapi och den mångfalden av terapiformer som finns. För det tredje kan kausalitet vara komplex. Trots vi vet att en viss intervention verkar minska drogberoende, det betyder inte att interventionen påverkar personer mekaniskt. Det finns antagligen variation mellan personer, olika faktorer som påverkar, och processen hos människan kan utveckla sig ej-lineärt. Inom psykoterapi har man redan länge försökt analysera vilken effekt de olika terapiformerna har och kommit till beslut att i ställer för en viss form av terapi kan den bestämmande faktoren vara terapeutens personlighet, situation eller kundernas motivation. Inom socialvård finns både frivilliga och motvilliga kunder, och det är sannolikt att kundens egen motivation spelar en viktig roll. För det fjärde finns det andra utmaningar är delvis samma som utvärdering drabbas av mera allmänt. Pollitt (2003) nämner brist på tid (alltid för tidigt), svårigheter att hitta lämplig data och svårigheter att bilda en helhetsbild när bedömningar är ofta subjektiva. 4. Slusatser Vilken roll spelar effektutvärdering i praktik? I Finland är det lättaste att hitta hänvisningar till effektutvärdering i Statsrådets och andra myndigheternas program 8

samt i böcker som handlar om sociala tjänster. Bland kommuner samt forskare är intresset mindre. Vanligtvis är kommuner enbart intresserade av output, service, inte hur de påverkar. Det finns olika orsaker för intresset men i Finland kan frågan ses mot bakgrund av stat- kommun förhållandet (Kettunen & Sandberg 2011). Staten styrde kommunerna nämligen strikt under 80-talet och början av 90-talet, därefter fick kommuner relativt fria händer att välja på vilket sätt de förverkligar program, även finansiellt fick de mera makt. Staten har efter detta lanserat nya styrningsverkstyg och genom olika utvecklingsprogram har också försökt sprida ideer som medborgardeltagande, innovationer, samarbete mellan social- och hälsovård. Trots detta finns det behov att kartlägga hur kommunerna har använt sin frihet och inom specifika områden hurdana åtgärder används, hur mycket vet man om de, finns det forskningsresultat som stöder valet mm. Finländska kommuner är fortfarande relativt små (håller på att förändras) och har små resurser för utvecklings- och utvärderingsarbete. Det krävs att det finns personer som har dylika kunskaper. Ett hinder på kommunnivån är IT-system som ägs av privata företag och en enskild kommun kan ha föga incitament att förändra de nuvarande data system. Hur mycket har intresset i effektutvärderingen att göra men misslyckandet, kris? Tänker man på den Nordiska välfärdsmodellen och dess kritik på 90-talet (Rothstein 1995) så riktade kritiken mot offentliga tjänster i och för sig, inte effekter. De offentliga tjänster, programmen har ofta att göra med svåra problem. Den politiska agendan fylls ju av frågor som varken det civila samhället eller det företagslivet kan ansvara. Gränslinjen är förstås flytande. Det betyder att problemen ofta snarare minskas än lösas. Antagligen gör social arbetarna med sina knappa resurser bra jobb. Misslyckas social vård eller inte? Detta diskuterades 9

redan i samband med implementeringsforskning. Enligt Ingram och Mann (1981) kan misslyckandet också bero på för stora förväntningar och ändrade värden. En betoning på effekter inom kundservice kan leda till ett ansvarskrävande av brukaren. Om den som ger service börjar kontrolleras på basis av resultat så är det sannolikt att detta syns i serviceprocessen. I vissa tjänster kan man notera detta bättre än i andra. Inkomststöd delas ut bara om en ung människa söker en studieplats eller arbete. År 2007 och nu igen diskuteras det i Finland att i vissa fall borde man kunna tvångsvårda gravida kvinnor som har allvarliga drogproblem. Huvudfrågan är barnets välmående men tvångsåtgärder är alltid svåra att genomföra, av tekniska och rättsliga synpunkter. Socialt arbete kan dock inte förpliktiga sina kunder att följa order. Jämför man med skolan som ger undervisning enbart om eleven sitter still och ger hemarbete, är sociala tjänster annorlunda. Allt som allt kan effektutvärderingen ses som ett verktyg att utveckla och förbättra verksamheten. Förbättring, inte radikal ändring (Bergmark & Lundström 2011) är en realistisk förväntning. Effektutvärderingen bör inte importeras från utifrån utan det bästa resultatet nås om socialarbetarna mm är själva involverade. Trots olika metodologiska svårigheter finns det ett behov att kunna visa vad som fungerar och vad som inte. Effektutvärdering kan ge verktyg för att utveckla och förbättra interventioner, chanser att diskutera syftet, medel och resultat samt fakta om interventionens resultat. Om sociala tjänster upplevs nå anspråkslösa resultat är det en hög tid att öppet diskutera vad som är möjligt att sträva efter och vad som är inte. Vilken sorts evidence är det möjligt att visa? 10

Referenser Bergmark, Åke & Lundström, Tommy (2011) Utvärdering och evidensbaserad kunskap i individ- och familjeomsorg. I Björn Nyger, Stefan Moren och Lennart Nygren, red, Utvärdering i social arbete. Utgångspunkter, modeller och användning. Stockholm: Natur och Kultur: s. 201-217. Dahler-Larsen, Peter (2004) Vaikuttavuuden arviointi. FinSoc arviointiraportteja 3/2005. Helsingfors: Stakes. Ingram, Helen & Mann, Dean (1981) Policy Failure. An Issue Deserving Analysis. Sage Yearbook in Politics and Public Policy. London: Sage. Kettunen, Pekka & Sandberg, Siv (2011) Kompromissens programteori. En analys av den finländska kommun- och servicestrukturreformen. Nordiska Administrativ Tidskrift (in print). Paasio, Petteri (2003) Vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla. FinSoc työpapereita 3/2003. Helsingfors: Stakes. Pollitt, Christopher (2003) Essential public manager. Oxford: OUP. Pawson, Ray & Tilley, Nick (1997) Realistic evaluation. London: Sage. Rothstein, Bo (1994) Vad bör staten göra? Om välfärdsstens moraliska och politiska logik. Stockholm: SNS-Förlag. Vedung, Evert (2009) Utvärdering i offentlig förvaltning. Lund: Studentlitteratur. 11