Evidens och missbruksbehandling Presentation IKMDOK-konferens, Linnéuniversitetet, 2 nov 2016 Patrik Karlsson, docent Institutionen för socialt arbete Stockholms universitet patrik.karlsson@socarb.su.se
Presentationens fokus Missbruksbehandling och evidens i ett större sammanhang Evidensrörelsen Den växande mängden evidens Studier av evidensproduktion 2016-11-10 2
Evidensrörelsen Allt högre krav på att de insatser som ges inom diverse områden skall vara evidensbaserade Sackets klassiska definition av evidensbaserad praktik ( the conscientious, judicious and explicit use of current best evidence in making decisions about the care of individual parents ) är den mest citerade meningen någonsin från British Medical Journal (se Greenhalgh, 2012) Klinikern/praktikern förväntas använda insatser som har vetenskapligt stöd för att vara effektiva Kunskap till Praktik var ett exempel på ett initiativ att göra svensk missbruksvård mer evidensbaserad 2016-11-10 3
Evidensrörelsen, forts Olika perspektiv på hur EBP bör gå till: critical appraisal vs the guideline model Critical appraisal: klinikern/praktikern skall själv söka forskning och göra en kritisk bedömning av denna (t ex vilken är den mest effektiva psykosociala insatsen mot alkoholmissbruk enligt forskningen?) Guideline model: klinikern/praktikern följer de riktlinjer som tas fram av tex Socialstyrelsen 2016-11-10 4
Nationella riktlinjer för missbruksbehandling Senaste riktlinjerna från 2015 (Socialstyrelsen, 2015) Ett antal rekommendationer, t ex att de psykosociala behandlingar som i första hand bör erbjudas individer med missbruk/beroende av alkohol är (Socialstyrelsen, 2015, s. 9) MET (motivational enhancement therapy) KBT (kognitiv beteendeterapi) Återfallsprevention CRA (Community Reinforcement Approach) 12-stegsbehandling SBNT (Social Behaviour Network Therapy) 2016-11-10 5
Mängden evidens ökar explosionsartat Figur hämtad från Ioannidis, JPA (2016), The Milbank Quarterly Volume 94, Issue 3, pages 485-514, 13 SEP 2016 DOI: 10.1111/1468-0009.12210 http://onlinelibrary.wiley.com/doi/10.1111/1468-0009.12210/full#milq12210-fig-0001 2016-11-10 6
Mängden evidens ökar explosionsartat, forts Mellan 1996 och 2011 publicerades mer än 25 miljoner vetenskapliga artiklar av över 15 miljoner personer (Boyack mfl, 2013) Exemplet ekokardiografi (hjärtundersökning med hjälp av ultraljud): Nästan 114 000 studier som nämner ekokardiografi mellan 1966 och 2010 registrererade i databasen PubMed. Knappt 85 000 av dessa hade ekokardiografi som rubrik (Fraser & Dunstan, 2010). 2016-11-10 7
Ett exempel Engelsk studie från 2005 av ett dygn på en akutmottagning som innefattande 18 patienter med 44 diagnoser. Den evidens (nationella riktlinjer) som var direkt relevant i förhållande till dessa patienter uppgick till över 3600 sidor. Bedömdes motsvara ca 120 timmars läsning (se Greenhalgh mfl, 2014), dvs ca 5 dygn av oavbrutet läsande! 2016-11-10 8
Ett annat exempel Ekokardiografi (igen). Tid det skulle ta att läsa alla artiklar som publicerats om detta i PubMed (Fraser & Dunstan, 2010): Om en individ skulle läsa 5 artiklar/timme, 8 timmar om dagen, 5 dagar i veckan, 50 veckor om året skulle han/hon hinna läsa 10 000 artiklar om året Att läsa alla artiklar som publicerats mellan 1966 och 2010 skulle utifrån dessa förutsättningar ta drygt 11 år. Under den tiden skulle dock runt 82 000 fler artiklar ha publicerats, vilka skulle ta ytterligare runt 8 år att läsa 2016-11-10 9
Forskning om evidensproduktion Parallellt med evidensrörelsens frammarsch har allt mer kritik kommit att riktas mot hur effekt-studier ofta genomförs Viktigt att systematiskt granska forskning då tveksamma slutsatser från studier kan leda till skadliga effekter för policy och praktik Inom biomedicinen har det gjorts skattningar som säger att 85% av de resurser som avsätts till forskning är waste (se McLeod mfl, 2014) Kan inte blunda för de problem/utmaningar som finns med evidensproduktion och EBP Finns en hel del lärdomar att dra från kritisk granskning av forskning från andra områden som t ex medicinen (jfr Ioannidis mfl, 2015) 2016-11-10 10
Min ståndpunkt Håller med redaktörerna för tidskriften Plos Medicine: We acknowledge that most studies published should be viewed as hypothesis-generating, rather than conclusive Consumers also need to become comfortable with uncertainty, and understand the strengths and weaknesses intrinsic to every study conducted and published. (The PLoS Medicine Editors, 2005, s. e272) Viktigt att inte kasta ut barnet med badvattnet: (väl genomförd) forskning är det bästa vi har för att bedöma effekter av olika insatser Kritik av hur en del forskning genomförs ska inte se som kritik av forskning som sådan - det genomförs väldigt mycket högkvalitativ forskning 2016-11-10 11
Forskning om evidensproduktion, forts Metaforskning (meta-research) blivit ett eget, snabbt växande, forskningsområde Mest kände företrädaren är John P.A Ioannidis vid Stanford University METRIC (the Meta-Research Center at Stanford, metrics.stanford.edu) 2016-11-10 12
Forskning om evidensproduktion, forts Utmaningar med evidensproduktion på flera olika nivåer, t ex Kvalitet på studier (när det gäller dataanalyser, rapportering och tolkning av resultat, etc) Kvalitet på sammanställningar av studier (systematic reviews) 2016-11-10 13
1. Kvalitet på studier Inom medicinen skrev Altman (1994) en kritisk artikel för ca 20 år sedan ( The scandal of poor medical research ) Altman pekade på att många forskare inom medicinen helt enkelt är dåligt skolade i att genomföra forskningsstudier Han menade att roten till många av problemen är den akademiska meriteringskulturen (i USA) med dess krav på omfattande publicering (sk publish or perish ) 2016-11-10 14
John P. Ioannidis Why most published research findings are false Enormt inflytelserik artikel från 2005 (citerad över 4000 gånger i Google Scholar i oktober, 2016) Ioannidis hävdar att a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. (Ioannidis, 2005, s. 0696) Just flexibiliteten är något som är högre i de mjuka vetenskaperna (t ex samhällsvetenskap) än i de hårda 2016-11-10 15
Open Science collaboration och problemet med replikering Open Science Collaboration. Världens största försök att replikera studier inom psykologi. Byggde på 100 replikeringar av tidigare studier Beskrevs i Dagens Nyheter som ett av 2015 års 10 viktigaste vetenskapliga genombrott Några resultat (Open Science Collaboration, 2015): Effekterna i replikeringarna var runt hälften så stora som i originalstudierna 36% av replikeringarna hade signifikanta (statistiskt säkerställda) resultat jämfört med 97% av originalstudierna Enbart 39% av replikeringsstudierna bedömdes ha lyckats replikera originalstudierna 2016-11-10 16
Några problematiska faktorer Nyhetskrav, många förväntar sig att studier ska komma fram till något nytt snarare än replikera tidigare studier (jfr Open Science Collaboration, 2015) Kravet på positiva effekter, lättare att publicera studier som visar på effekter än studier som inte visar på några effekter leder till jakt på att identifiera statistiskt säkerställda samband (signifikans-fiskande, cherry picking, överbetona ett fåtal signifikanta samband på bekostnad av ett flertal icke-signifikanta) Forskarjäv, många interventioner utvärderas av de personer som utvecklade dem. Studier med forskarjäv tenderar att visa på större effekter än studier utan forskarjäv 2016-11-10 17
Gorman & Hubers analys av DARE-data Dennis Gorman och medarbetare har i en rad analyser pekat på problem i hur olika drogpreventionsprogram utvärderats (fokus på dataanalyserna) I en intressant studie utgick Gorman och Huber (2009) från datamaterial över preventionsprogrammet DARE (Drug Abuse Resistance Education) DARE ett drogpreventionsprogram som syftar till att få ungdomar att kunna motstå grupptryck Allmänt känt att DARE inte minskar ungdomars droganvändning Gorman och Huber visar dock att man utifrån tveksamma (men vanliga) analysmetoder kan få också DARE att se effektivt ut, t ex att köra materialet kors och tvärs på jakt efter signifikanta samband 2016-11-10 18
2. Kvalitet på sammanställningar av studier En del av de problem som finns hos primärstudier återfinns också i sammanställningar av dessa Garbage in, garbage out Signifikansfiskande förekommer också i systematiska översikter Också de mest rigorösa översikterna är ofta behäftade med problem 2016-11-10 19
Egna studier av systematiska översikter Karlsson & Bergmark (2015), Karlsson, Bergmark & Lundström (2016) Fokus på systematiska översikter av psykosociala insatser mot missbruk respektive beteendeproblem bland ungdomar gjorda av Cochrane- och Campbell collaboration Cochrane och Campbell är de mest prestigefyllda producenterna av systematiska översikter inom det medicinska respektive sociala området. Ställer mycket rigorösa krav på sina översikter Genomgående uppfattning att t ex Cochrane s översikter är av bättre kvalitet än systematiska översikter som publiceras i vetenskapliga tidskrifter 2016-11-10 20
I våra studier har vi dock identifierat centrala problem i dessa översikter Karlsson & Bergmark (2015): översikter om effekter av psykosociala insatser mot missbruksproblem otydliga med betydelsen av vad experimentgruppen egentligen jämförs med i effektstudier ( Compared with what? ). Detta trots att Cochrane s egen handbok för systematiska översikter (används också av Campbell) betonar hur viktigt det är att skilja på olika typer av kontrollgrupper Olika typer av kontrollgrupper (sedvanlig behandling, väntelista, etc) blandas ofta samman trots att jämförelser med dessa ger fundamentalt olika mått Stor skillnad på att jämföra med en kontrollgrupp som inte får någon insats alls jämfört med en kontrollgrupp som får någon form av insats 2016-11-10 21
Karlsson & Bergmark (2015), forts Känt att effekterna av olika psykosociala insatser mot missbruk tenderar att vara ungefär lika stora Avsaknad av skillnad mellan experiment- och kontrollgrupp i studier med aktiv kontrollgrupp behöver därför inte betyda en nolleffekt Omvänt: inte säkert att skillnad mellan experiment och inaktiv kontrollgrupp beror på den teoretiska modellen hos den aktiva behandlingen. Att det går bättre för experimentgruppen kan också bero på att klienterna i den gruppen fick mer uppmärksamhet, att terapeuterna var mer entusiastiska etc (jfr Wampold, 2001) 2016-11-10 22
Karlsson, Bergmark och Lundström (2016) Analys av Cochrane- och Campbellöversikter om psykosociala insatser mot beteendeproblem hos ungdomar Fokus på effekter, förekomst av forskarjäv, kontrollgrupper som används, samt tolkning av resultat i översikter Var ganska varierande definitioner vad som räknades som beteendeproblem i översikterna, i en översikt räknades t ex sömnproblem som ett beteendeproblem Vi räknade ut en effektprocent (effect percentage) hur stor andel av alla jämförelser i översikterna som var statistiskt säkerställda 2016-11-10 23
Karlsson, Bergmark och Lundström (2016), forts Andelen positiva, statistiskt säkerställda effekter utifrån alla jämförelser som presenterades var i flera fall ganska låg. Detta underbetonades dock i vissa fall till förmån för ett fokus på de positiva effekterna i t ex sammanfattningen av rapporten Klar förekomst av forskarjäv, i vissa översikter hade alla primärstudier genomförts av de som utvecklat programmen Klar förekomst av signifikansfiskande i vissa översikter 2016-11-10 24
Karlsson, Bergmark och Lundström (2014) Fokus på hur olika evidensproducenter i USA bedömer effekter av Incredible Years (IY) IY ett populärt program för att minska beteendeproblem hos ungdomar. Allmänt känt som evidensbaserat Utvecklat av Carolyn Webster-Stratton vid University of Washington Vi undersökte de procedurer som fyra olika evidensproducenter använde för att bedöma effekten av programmet samt vilka slutsatser kring effekt som de drog 2016-11-10 25
Karlsson, Bergmark och Lundström (2014) Inkluderade: What Works Clearinghouse (WWC) The National Regristry of Evidence-Based Programs and Practices (NREPP) Promising Practices Network (PPC) The California Evidence-Based Clearinghouse for Child Welfare (CEBC) 2016-11-10 26
Karlsson, Bergmark & Lundström (2014), forts Mycket stor variation i procedurer och slutsatser bland de fyra evidensproducenterna WWC extremt strikt, näst intill ingen primärstudie av IY dög för att dra säkra slutsatser (tex så exkluderas alla studier som gjorts utanför USA automatiskt) WWC mer rigorösa än de andra organisationerna NREPP och PPN tillåter nominering av program från programutvecklare. Kraven för att sen listas som ett evidensbaserat program hos t ex NREPP låga. NREPP ger till och med programutvecklarna stor frihet att själva bestämma vilka studier som ska granskas 2016-11-10 27
Karlsson, Bergmark och Lundström (2014) Vi menar att processen med att producera evidens i vissa fall kan liknas vid en marknad (i meningen marknadsplats) Nästan omöjligt att inte listas som evidensbaserat på de listor över evidensbaserade program som vissa av dessa evidensproducenter inrättat. Begreppet evidensbaserat blir i dessa sammanhang nästan meningslöst 2016-11-10 28
Pågående projekt vid Inst för socialt arbete, SU Föreställningen om en evidensbaserad praktik inom socialtjänsten Finansierat av Riksbankens Jubileumsfond (RJ) Projektledare professor Anders Bergmark Fokus på fyra teman Hur EBP är organiserat i Sverige och andra länder Metodologiska frågor Implementering av EBP Hur problem/utmaningar med EBP kan lösas 2016-11-10 29
Tack för mig! 2016-11-10 30
Referenser Altman, D. G. (1994). The scandal of poor medical research. BMJ, 308, 283-284. Boyack, K. W., Klavans, R., Sorensen, A. A., & Ioannidis, J. (2013). A list of highly influential biomedical researchers, 1996 2011. European Journal of Clinical Investigation, 43, 1339-1365. Fraser, A. G., & Dunstan, F. D. (2010). On the impossibility of being expert. BMJ, 341, c6815. Gorman, D. M., & Huber, J. C. (2009). The Social Construction of``evidence-based''drug Prevention Programs A Reanalysis of Data From the Drug Abuse Resistance Education (DARE) Program. Evaluation Review, 33(4), 396-414. Greenhalgh, T. (2014). Evidence-based medicine: a movement in crisis. BMJ, 348, g3725 Ioannidis, J.P. (2016). The Mass Production of Redundant, Misleading, and Conflicted Systematic Reviewsand Metaanalyses. The Milbank Quarterly, 94, 485-514. Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Med, 2(8), e124. Ioannidis, J. P., Fanelli, D., Dunne, D. D., & Goodman, S. N. (2015). Meta-research: evaluation and improvement of research methods and practices. PLoS Biol, 13(10), e1002264. Karlsson, P. & Bergmark, A. (2015) Compared with what? An analysis of control group types in Cochrane and Campbell reviews of psychosocial treatment efficacy with substance use disorders. Addiction, 110, 420-428 Karlsson, P., Bergmark, A., & Lundström, T. (2016, early online). Effects of psychosocial interventions on behavioural problems in youth: a close look at Cochrane- and Campbell reviews. International Journal of Social Welfare. 2016-11-10 31
Karlsson, P., Bergmark, A., & Lundström, T. (2014). Procedures and claims among US evidence-producing organizations: the case of the Incredible Years programme. Evidence & Policy, 10 (1): 61-76. Macleod, M. R., Michie, S., Roberts, I., Dirnagl, U., Chalmers, I., Ioannidis, J. P.,... & Glasziou, P. (2014). Biomedical research: increasing value, reducing waste. The Lancet, 383, 101-104. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349, aac4716. Socialstyrelsen (2015). Nationella riktlinjer för vård och stöd vid missbruk och beroende. Stockholm: Socialstyrelsen The PLoS Medicine Editors (2005) Minimizing Mistakes and Embracing Uncertainty. PLoS Med 2(8): e272. doi:10.1371/journal.pmed.0020272 Wampold, B. E. (2001). The great psychotherapy debate: Models, methods, and findings. New YeJersey: Lawrence Erlbaum Associates 2016-11-10 32