Kan man utvärdera Socialt arbete? Vad kan man utvärdera och vilka krav ställ för a: det ska vara en utvärdering?

Transkript

1 Kan man utvärdera Socialt arbete? Vad kan man utvärdera och vilka krav ställ för a: det ska vara en utvärdering? FD Mar?n Olsson Socialhögskolan Lunds Universitet

2 Först svaren: Ja Antagligen allt. Men är allt ekonomiskt försvarbart? Det beror på vad det är för typ av utvärdering. Jag anser a: det mest intressanta är effektutvärderingar.

3 För a: förstå en effektutvärdering behöver du veta lite om risk, forskningsdesign och vilka svar som kan förväntas. Sedan kan du avgöra om du vill effektutvärdera din arbetsinsats. (Jag anser a: du ska effektutvärdera din arbetsinsats).

4 Vad är en risk? (Kraemer et al 2005) Risk = Sannolikheten för e: usall inom en popula?on. Begreppet har tre kri?ska och dis?nkta implika?oner: 1. Risk är en sannolikhet. 2. Forskare mäter risk inom en väldefinierad popula?on. 3. Forskare mäter risk u?från e: precist och specificerat usall.

5 Vad är en riskfaktor? (Kraemer et al 2005) Korrela?on = En faktor som har e: samband med e: usall i en popula?on. Riskfaktor = E: samband som bevisligen uppkommer före usallet. Alla riskfaktorer har samband, men alla samband är inte riskfaktorer!!!

6 Valet av forskningsdesign! För a: kunna mäta en effekt måste det finnas minst två mätpunkter. Forskningsdesignen ska (så långt som möjligt) bevisa a: det är interven?onen (X) som ger effekten (Y). Frågeställning: Ger X Y eller finns det alterna?va förklaringar (Z). Några exempel på Z kan vara: BorSall Selek?on Mognad Monoinstrumentering Historia Power Den bästa kända forskningsdesignen är i dagsläget RCT (inom vårt arbetsfält). Valet av mä?nstrument bör bygga på?digare forskning och hypoteser om målen med insatsen.

7 Svårigheter med begreppet vad fungerar vad fungerar = what works. Det finns svårigheter med a: tolka vad som fungerar. 3 exempel från familjehemsvård. Alla exempel inkluderar studier med en forskningsdesign som har minst en jämförelsegrupp (?d och rum).

8 Exempel 1 Bakgrund: Olika familjehemsinsatser innehåller mer än en komponent, som påverkar mer än e: usall. A: bara fråga om familjehemsinsatser fungerar innebär a: flera olika usall måste beaktas (t.ex. akademiska färdigheter, an?socialt beteende, utvecklingsmässiga problem, kon?nuitet, hälsa). Men solid data på hur familjehemsinsatser påverkar alla usall är oha inte?llgänglig, vilket gör det svårt a: få u:ömmande svar. Om det finns data på olika familjehemsinsatser, är det troligt a: det finns olika resultat. Exempel: En studie (Valicen?- McDermo: and Demb 2008) tydde på a: barn i släk?ngsplaceringar fick förbä:rade kogni?va färdigheter, emedan barn i reguljärt familjhem hade bä:re stabilitet i form av fler adop?oner. Kommentar?ll exempel: Om insatsen fungerar är en tolkningsfråga, vilket innebär a: både förespråkare och belackare kan med go: samvete.

9 Exempel 2 Bakgrund: Många usall är svåra a: mäta. De:a kan vara speciellt sant just för stabilitet som usall. Exempel: Olika länder kan ha principiella skillnader i deras sociala välfärdspolicy (t. ex. Sverige och USA). Familjehemsinsatser i Sverige är inte?dsbegränsad utan kan blir förlängd så a: den innefa:ar barnet hela uppväxt (Sallnäs, Vinnerljung et al. 2004). Sammanbro: som e: stabilitetsusall kan därför vara mera relevant som usallsmå: än återförening eller adop?on. Kommentar?ll exempel: De:a betyder a: man måste vara försik?g i tolkningar av studier från olika länder som har skillnader i policy och prak?k.

10 Exempel 3 Bakgrund: Ibland mäts e: usall i mer än en kontext. I en kontext kan usallet visa på effekt, sam?digt som det i andra kontexter inte visar på effekt. Exempel: En studie tydde på a: stress mä: på morgonen och kvällen i hemmet var signifikant lägre i experiment- gruppen än kontrollgruppen (Dozier, Peloso et al. 2006). Men samma studie i en laboratorium situa?on som framtvingade en stressful situa?on visade inte på signifikant skillnader mellan experimentgruppen och kontrollgruppen (Dozier, Peloso et al. 2008). Kommentar?ll exempel: E: sä: a: tolk de:a är a: familjehemsinsatsen har vissa begränsningar i a: minska stress.

11 Det finns alltså flera spännande utmaningar!

12 Visionen: 100 % säkerhet Experimentiella studier ex RCT & Kvasiexperiment Systematiska forskningsöversikter Före- og eftermätningar Utfallsstudier, uppföljningar Epidemiologiska longitudinella Studier/Tidigare forskning Begreppsdefinitioner, Terminologi (Manual)