Vetenskaplig utvärdering av ANDT-projekt vad kan man lita på?

Transkript

1 Vetenskaplig utvärdering av ANDT-projekt vad kan man lita på? Medel för utveckling inom ANDT Folkhälsomyndigheten 16 april

2 Conclusion: While it is possible to transport a family program like the Strengthening Families Program from its American original to Sweden, and also that many parents can be recruited to participate in the program, no effects were found for the program, neither on substance use among the adolescents, nor on the risk and protective factors that the program aims to affect

3 LUMA (Lokalt Utvecklingsarbete Med Ambitioner) LUMA-projektet pågår Implementering LUMA-insatser Redan pågående ANDT-insatser Effekter av LUMA? Utvärdering 2013 Utvärdering

4 Vad bör utvärderas inom ANDT-området? Effektiv Ineffektiv Metoder/ Implementeringsprocesser arbetssätt Effektiv Ineffektiv Effektiv implementering av effektiva metoder ger resultat inget annat (efter Fixen m fl 2005)

5 Varför forskningsbaserade metoder? Kortisoninjektion vid tennisarmbåge (negativ effekt på lång sikt) Lägga spädbarn på mage (ökad risk för plötslig spädbarnsdöd) Åderlåtning (livsfarligt) 1 Inte skada! 2 Erbjuda insatser med god kvalitet 3 Inte satsa resurser på ineffektiva åtgärder

6 Efficacy vs effectiveness? Efficacy: i labbet Effectiveness: i praktiken Efficacy is the extent to which an intervention does more good than harm under ideal circumstances Effectiveness assesses whether an intervention does more good than harm when provided under usual circumstances (Haynes, 1999)

7 2 008 studier The body of evidence Relevansbedömning Kvalitetsbedömning 49 studier att dra slutsatser från 7 Sofia Ljungdahl & Johanna Ahnquist

8 Kontextuell anpassning 1 Välj en metod med internationellt vetenskapligt stöd som rent teoretiskt borde kunna fungera i Sverige, på den aktuella arenan eller för den aktuella målgruppen 2 Anpassa till svenska förhållanden, med så hög programtrohet som möjligt 3 Testa i den målgrupp (med jämförelsegrupp) och det kontext som är aktuellt 4 Anpassa, revidera och utveckla metoden 5 Utvärdera metoden med höga kvalitetsambitioner

9 Implementeringsstudier 1 Välj en metod med vetenskapligt stöd 2 Implementera metoden på relevant arena (med jämförelsegrupp) och med hjälp av befintliga implementeringsteorier 3 Utvärdera implementeringsprocessen med höga kvalitetsambitioner

10 Skörbjugg, barnsängsfeber, alkoholberoende, nyfödda barn Vi behöver evidensbaserade metoder för implementering av evidensbaserade metoder!

11 (Meyers, Durlak & Wandersman, 2012)

12 Programtrohet (fidelity) Programtrohet, dvs hur väl ursprungsmetoden följs, är viktigt för utvärdering och effekt Om en central komponent i en metod tas bort eller tonas ner, så har en ny metod skapats Förväntat utfall?

13 Ansvarsfull alkoholservering Syfte: minska krogrelaterat våld genom att motverka överservering och servering till underåriga på restauranger och barer Metodens huvuddelar: utbildning, samverkan och tillsyn Aktörer: kommunen, restaurangbranschen och polisen april 2015 Namn Efternamn

14 Programtrohet (fidelity) - Ansvarsfull Alkoholservering (290 kommuner) : en svensk forskningsstudie visade en kraftig minskning (29%) av krogrelaterat våld 2 Regeringen gav Statens folkhälsoinstitut i uppdrag att sprida metoden : utvärdering av implementering - 81% av kommunerna uppgav att de använde metoden : utvärdering av programtrohet 13% av kommunerna använde metoden fullt ut 5 Lägre effekt 9% minskning av krogrelaterat våld

15 Commentary by Segrott et al (April 2014) adaptations made to the intervention may have undermined intervention fidelity No effects were found Response by Skärstrand et al (April 2014) at least four explanations are available 1 Methodological differences of the outcome trials 2 Ambiguities in the cultural adaptation 3 Inadequate implementation 4 Unobserved contextual influences that might have moderated the effect

16 Tid Tid (ofta flera år) behövs för att uppnå hållbar förändring Ett exempel: LUMA (Lokalt Utvecklingsarbete Med Ambitioner), ett statligt finansierat ANDTförebyggande projekt i 25 kommuner i 5 län,

17 LUMA (Lokalt Utvecklingsarbete Med Ambitioner) LUMA-projektet pågår Implementering LUMA-insatser Redan pågående ANDT-insatser Effekter av LUMA? Utvärdering 2013 Utvärdering

18 (Ogden 2011)

19 Vetenskaplig utvärdering av ANDT-projekt vad behövs? Utvärdering av metoder och arbetssätt (efficacy och effectiveness) Kontextuell anpassning (effectiveness) Implementeringsstudier

20 Vetenskaplig utvärdering av ANDT-projekt vad kan man lita på? Evidenshierarki

21 Kvalitativ eller kvantitativ studiedesign? - forskningsfrågan avgör! 1 Vilken effekt leder en specifik metod till? 2 Hur uppfattas en specifik metod av mottagarna? 3 Hur gick det till när en specifik metod implementerades?

22 En kombination av olika studiedesigner - ett exempel från regeringsuppdraget om barn som växer upp i riskmiljöer 1 En systematisk litteraturöversikt (om möjligt med metaanalys) 2 Projekt för kunskapsutveckling (i samverkan med forskargrupper) Dialogsamtal med blivande föräldrar om alkohol Barnhälsovård och socialtjänst i samverkan Tre metoder för familjer med psykisk ohälsa Kognitiv behandling vid barnmisshandel (KIBB) Betydelsen av ökad samverkan inom socialtjänsten Med flera

23 Lycka till med era ansökningar!