UTVÄRDERING Lund den 25:e februari 2009 Mats Fridell Institutionen för psykologi VANLIGA PROBLEM (1) Utvärdering när projektet redan slutförts (2) Avsaknad av systematiskt insamlade data (3) Alltför ospecifik information om klienterna/ patienterna i den egna verksamhet (4) Data som finns är mycket olika vid starten mot vid uppföljningen 1 2 1. Vad är den grundläggande frågeställningen? 2. Hur kan man göra en sådan utvärdering? 3. Vilken generaliserbarhet skall era slutsatser ha? 4. Vilken design mest relevant? 5. Om Ni gör som ni tänkt, vad går INTE att svara på? 6. Vad är det ni faktiskt får svar på? 7. Vilka typer av mätinstrument finns? 8. Hur bör man genomföra studien? 9. Vad behövs inför implementering? 10. Hur redovisa era resultat? TYPER AV UTVÄRDERINGAR 3 4 UTFALLSSTUDIER OLIKA TYPER 1. EFFEKTER AV BEHANDLING Randomiserad kontrollerad design Patienterna fördelas slumpmässigt på en interventionsgrupp (behandling: E = experiment) och en kontrollgrupp. kontroll av urval 2. Kvasiexperimentell design Befintliga experiment och kontrollgrupper jämförs men på ett sådant sätt att det finns viss kontroll över urvalsbetingelser. Viss kontroll 3. RESULTAT ELLER UTFALLS-STUDIER Enkelgruppsdesigner Patienterna jämförs före- och efter behandling med eller utan uppföljning. Urvalsbetingelserna kontrolleras inte Ex. kvalitetsstudier 4. PROGNOSSTUDIER t ex. 5, 10, 15-årsuppföljningar där förbättring inte behöver relateras till viss behandling 5 DESIGNER GER SVAR PÅ OLIKA FRÅGOR EFFEKTSTUDIER (RCT och kvasiexperimentella) ger svar på frågan OM en viss bestämd metod har effekt som är lägre, lika bra eller högre än en kontrollgr. Är det vi gör en behandlingsmetod? RESULTATSTUDIER (före- efter, uppföljningar) ger svar på frågan Hur bra är vi med den grupp vi arbetar med? Kan inte alltid generaliseras eller betaktas som en klart definierad behandling (ITT) EVIDENS: Om tillräckligt många fynd pekar åt samma håll (helst RCT-studier) så fungerar metoden. PROGNOS: Hur går det och vad påverkar på sikt? 6
RCT maximerar den interna validiteten det går att bestämma orsaken MEN Hur är det med den externa validiteten kan resultaten generaliseras? 7 Några feluppfattningar Psykodynamisk terapi och kognitiv beteendeterapi ses ofta felaktigt som generiska begrepp (kriminalvården) TYP: Alla KBT metoder är effektiva Bara effekter som studeras under lämplig betingelser kan hävdas ha effekt (Ex. nyutbildad SSK ger KBT). OCH Bara variabler som har blivit bedömda är relevanta Inga andra utfallsmått är bedömda (post-hoc) Det finns mycket lite stöd för slutsatsen att en metods effektivitet beror på teorin bakom metoden. 8 TOLKNING AV RCT-STUDIER 1. Populationen dåligt definierad 2. Låg representativitet i samplet 3. Små sampel ( 7 + 8) 4. Stort eller selektivt bortfall under studien 5. Behandlingen görs inte på rätt sätt 6. Kort uppföljning (ofta 3 månader sällan mer) 7. Selektivt bortfall av data Alla undersökningar är r beroende av fungerande chefstöd särskilt i fältstudier f i reell miljö - att tid får f r användas ndas som avsetts - att delegationen är r tydlig - att utvärderarna har reellt stöd - väldigt mycket ett logistiskt problem 9 10 Meta-analyser analyser META-ANALYSER META-Analyser - Är en grupp av statistiska metoder för att försöka avgöra om en behandlingsmetod eller grupp av metoder är mer effektiva än en annan eller andra grupper av metoder: - Vilka effekter - Hur länge varar effekterna? - Är effekterna desamma för olika problem? 11 12
0,60 0,50 low mid 0,40 high 0,30 0,20 0,10 0,00-0,10 max max max stöd bete spyk Diagram 2:Weighted effect sizes (Hedge s d) in 26 RCT-studies of psycho-social interventions for opiate dependence: supportive (n=634), re-educational (n=4.234) and psychotherapeutic (n=772). Four outcome intervals. 13 Diagram 6. Effekter av psykosociala behandlingsinsatser vid opiatberoende/ Kognitiv terapi mätt vid tre olika effektberäkningspunkter (15 studier, n=2.236 patienter). K1=11, n=1.582, K2=2, n=375, K3=3, n=379). 14 Diagram 9. Effekter av psykosociala behandlingsinsatser vid opiatberoende/ psykoterapi; familjeterapi, psykodynamisk eller annan, mätt vid tre olika effektberäkningspunkter (6 studier, n=558 patienter). K1=5, n=546, K2=1, n=48, K3=5, n=419). 15 Diagram 7. Effekter av psykosociala behandlingsinsatser vid opiatberoende/ Contingency Management mätt vid tre olika effektberäkningspunkter (40 studier, n=3.091 patienter). K1=33, n=2.279, K2=5, n=509, K3=2, n=303). 16 VAD KAN NI GÖRA? Be om hjälp och stöd FÖRE- EFTER- MÄTNINGSSTUDIER (ENKELGRUPPDESIGN) MED ELLER UTAN KOHORTDESIGN Kohort = en försöksgrupp avgränsas i tid och alla deltagare under denna period ingår i undersökningen 17 18
Man jämför två kohorter eller grupper av patienter som tillhör förutbestämda välavgränsade grupper Ex. man kan inte randomisera kriminella på olika straff, tvångsvårdade klienter på tvångsvård eller vård enl Socialtjänstlagen o s v MEN - man kan använda matchning för jämförelsen, ha välstandardiserade mätinstrument och använda t ex registerdata 19 Kohort och enkel-grupp designer NEGATIVT: Du kan inte dra slutsatser om kausalitet (kanske) POSITIVT: En kohortdesign ger en representativ grupp eller ett representativt sampel. TOLKNING AV RESULTAT FÖRBÄTTRAS av God beskrivning av t ex diagnoser vid base-line Du kan applicera intent-to-treat-beräkning istället för completers analys. En enkel dos, två minuter 20 URVALSMETODER MED GOD GENERALISERBARHET T 1 880101_- 890640 T 2 Konsekutivt sampel (n=125) F-U Ex. 5-års, 15-årsuppfölning, Lundenuppföljningen T 1 _970101-001231 (n=780) T 2 Slumpmässigt sampel (n= 80) Ex. Nämndemansgårdsuppföljningen F-U 21 Fortsättning ttning Vad är vi bra resp dåliga på? Mer långsiktiga perspektiv flera år - jämfr RCT Kvalitetsmodell för utvärdering. Betydelsen för patienter och konsumenter. Man kan få en högre och bättre uppföljningsnivå Uppföljningarna evaluerar förloppet över längre tid. 22 KVALITET ALLTSÅ: : Både B producent och kundperspektiv Behandlingar kan vara populära utan att vara effektiva Behandlingar kan vara effektiva utan att vara populära LVM-/LVU LVU-vård för r kvinnor 23 God implementering Maximalt ansvar för f r det jag gör g r som forskare Noggrant urvalsförfarande rfarande - representativt Standardiserade mätinstrument m före f och efter Hög g uppföljningsprocent Möjlighet att fastställa prediktorer bakom t ex framgång i terapi, eller hur diagnoser inverkar Återföring ring till patienter och personal 24
Vad påverkar p implementeringen Utvärdering är r alltid en arbetsledningsfråga ga Problem ofta en återspegling av andra fenomen i verksamheten var och en sin egen chef Kunskapsnivå och kunskapstörst ALLTID en möjlighet m att påverka p utvecklingen 25 RCT:S och resultatstudier hanterar olika frågor och bägge b är r lika relevanta för f r att förstå ufall i behandling. RCT:s där r resultat/effekter inte kontrolleras i klinisk setting ger kanske inte de effekt- nivåer som man fann i RCT-studier och som betydde att behandlingen har evidens. 26 FRÅGA TILL ER HÄRH Får r vi sända s en enkät t som handlar om beredskap till förändringf Skall användas ndas i utvärderingen av implementering 27