Implementering av evidensbaserade metoder: Att balansera följsamhet till evidens med anpassning till den unika kontexten Ulrica von Thiele Schwarz Leg psykolog, Docent i psykologi Vinnvård Fellow iimprovement Science Medical Management Centre, Karolinska Institutet, Sweden Sessionens lärandemål Kunna beskriva följsamhet och anpassningar ur ett implementerinsperspektiv Kunna resonera kring anledningar till, och för och nackdelar med, följsamhet och anpassningar Känna till vilken typ av anpassningar som görs och bidra till kunskapsutvecklingen kring hur anpassningar kan hanteras i praktiken Ulrica von Thiele Schwarz 17 oktober 2014 2 Skäl till variation Skillnad i demografi (patienter), resurser (sängplatser, vårdpersonal, operationssalar etc), efterfrågan från patienter Olika traditioner/arbetssätt På grund av osäkerhet om bästa (be)handlingsalternativ På grund av säkerhet att det bästa (be)handlingsalternativet är det bäst (påverkan av utbildning, erfarenhet, marknadsföring, lokala entreprenörer) Brist på kännedom om variationen, de egna resultaten? Brist data för att bedöma kvalitet? Skillnad i resurser och kompetens för att kontinuerligt utveckla kvalitet? Skillnader under införandet av evidensbaserade metoder? Ulrica von Thiele Schwarz 17 oktober 2014 3 Ulrica von Thiele Schwarz 17 oktober 2014 4 Anpassningar eller följsamhet? Följsamhet = Att ett program/en intervention införs som det är tänkt Dusenbury et al 2003:Health Education Research Anpassningar = förändringar som görs samband med införandet Ulrica von Thiele Schwarz 17 oktober 2014 5 Anpassningar eller följsamhet en utmaning både för praktiken och forskningen Praktiskt: när nya metoder ska införas aktualiseras i princip alltid frågor kring anpassningar antingen av metoden eller av verksamheten Det finns många implementeringsmodeller men få ger vägledning för anpassningar Forskningsmässigt: Vi saknar kunskap om och på vilket sätt anpassningar påverkar utfall implementeringsutfall, metodens effekt, och service- och patientutfall Vi saknar teorier som kan hjälpa oss att förstå de faktorer som påverkar anpassningarnas effekter Vi saknar kunskap om hur vi ska utvärdera metoder som anpassas Ulrica von Thiele Schwarz 17 oktober 2014 6 1
Praktisk övning följsamhet eller anpassningar? Följsamhet Lokala anpassningar Argument för/mot Empiri Intern vs extern validitet Omöjligt att göra utan att försämra utfallet idagsläget? Omöljigt att införa utan? Matchning, buy-in Ulrica von Thiele Schwarz 17 oktober 2014 7 Ulrica von Thiele Schwarz 17 oktober 2014 8 Antaganden om metoders effektivitet rätt eller fel? Expected effect Efficiency studie /glidning /glidning) Effectiveness studie Disseminatio n/ spridning Traditionell medicinsk syn Stadie Expected effect /glidning) /glidning Efficiency studie Effectiveness Studie Alternativ syn Disseminatio n/ spridning Stadie Ulrica von Thiele Schwarz 17 oktober 2014 9 Chambers et al. Implementation Science 2013 8:117 Tidigare forskning en sammanfattning av hur anpassningar påverkar utfallet av interventioner Hög följsamhet är generellt relaterat till bättre utfall än lägre följsamhet MEN lägre följsamhet behöver inte betyda medvetna anpassningar I praktiken förekommer anpassningar ofta (15% - 88% av användare av EBM rapporterar att de gjort anpassningar) Det finns få exempel på hur anpassningar påverkar utfallet, och den forskning som finns är motsägelsefull Ulrica von Thiele Schwarz 17 oktober 2014 10 Hur påverkar anpassningar utfallet av interventioner? Motsägelsefulla resultat Likvärdiga effekter för studier där man gjort anpassningar i setting, population och format (till exempel internet-kbt, föräldraträningsprogram utfört av icke-specialist jmfr med terapeuter) Mixade utfall för kulturellt anpassade interventioner: Resultat av meta-analyser varierar från ingen effekt, till att man inte kan dra någon slutsats, till lovande och stark effekt.. Meta-analys av hur utfallet av interventioner påverkas av interventionens ursprung Syfte: att jämföra effektiviteten av interventioner med olika ursprung Novel programs (mer eller mindre ) Replikationer av EBP i ett nytt land EBP, men med anpassningar till lokala förhållanden Av praktiska skäl Av kulturella skäl För att kombinera med andra program Ulrica von Thiele Schwarz 17 oktober 2014 11 Ulrica von Thiele Schwarz 17 oktober 2014 12 2
Metod o Två meta-analytiska dataset: o Ett från tyskspråkiga områden (Tyskland, Österrike, Schweiz): prevention och hälsopromotion för barn och ungdomar (158 inkluderade studier). o Svenska studier: prevention och/eller rehabilitering, både barn, ungdomar och vuxna (139 inkluderade studier). o sstudier publicerade mellan 1995 och 2012 som använt en randomiserad eller-ickerandomiserad kontrollgrupp o Kodat för typ av program: o Tre kategorier, fem subkategorier o Analys: o Beräkning av effektstorlekar o Kontrollerat för studiedesign och stickprovsstorlek Resultat Tyska samplet Novel programs vanligast, rena replikationer minst vanliga De högsta effektstorlekerna hade subkategorierna innovationer, kulturella anpassningar, och konceptuellt nya program. Replikationer och pragmatiska anpassningar och eklektiska anpassningar hade sämst effekt. Svenska samplet Novel programs vanligast, anpassningar minst vanliga De högsta effektstorlekarna hade subkategorierna pragmatiska anpassningar, eklektiska anpassningar, innovationer, och kulturella anpassningar Replikationer var minst effektiva. Ulrica von Thiele Schwarz 17 oktober 2014 13 Ulrica von Thiele Schwarz 17 oktober 2014 14 Metodologiska begränsningar Studien baserar sig på information som finns tillgänglig i de publicerade artiklarna Begränsad beskrivning av anpassningar Risk för publikationsbias Litet studiesample, särskilt för underkategorierna Skillnaderna mellan de två samplena Stor variation i typ av intervention Slutsats Novel programs (nya, lokala interventioner) verkar mest effektivt Relaterad till best fit eller principle of program uniqueness Replikationer har sämst effekt Effekten av anpassningar skiljer sig mycket åt beroende på typ av anpassningar och sample Det kan ifrågasättas om interventioner/program ska införas utan att anpassningar övervägs Lämnar frågan om vad som ska anpassas och hur det ska göras obesvarad Ulrica von Thiele Schwarz 17 oktober 2014 15 Ulrica von Thiele Schwarz 17 oktober 2014 16 Reflektion: Kan anpassningar förbättra utfallet av en intervention? Anpassningar i praktiken När görs dem? Av vem görs dem? Vad anpassas innehåll utförande Införande - implemenering Varför görs det? Ulrica von Thiele Schwarz 17 oktober 2014 17 Ulrica von Thiele Schwarz 17 oktober 2014 18 3
Anpassningar i praktiken En intervjustudie med första linjens chefer i socialtjänsten o Syfte: att beskriva anpassningar i socialtjänstens arbete från första linjens chefers perspektiv o Urval: 7 svenska kommuner med variation Lokalisation Storlek Tidigare erfarenhet av R&D och EBP, baserat på extern kommunition o 28 semi-strukturerade intervjuer (hösten 2012) 20 första linjens chefer inom socialtjänst o Analysmetod: Innehållsanalys : vad, när, vem, hur och varför? Sammanfattning Första linjens chefer har ett mycket stort inflytande över hur EBM införs i praktiken Utöver att anpassa innehållet i form av borttagna, adderade och modiferade moment så gjordes frekvent integreringar mellan olika metoder Kärnkomponenter diskuteras ytterst sällan Inom en och samma enhet görs både planerade och spontana anpassningar. Det varierar från chef till chef om detta ses som ett problem eller ej Varför anpassningar görs verkar central för att förstå om anpassningarna är funktionella, det vill säga leder till bättre implementerings- och prestationsutfall Ulrica von Thiele Schwarz 17 oktober 2014 19 Ulrica von Thiele Schwarz 17 oktober 2014 20 Anpassningar i praktiken - reflektion Att hantera anpassningar i praktiken en forskningsbaserad praktisk modell Samarbete med Stockholms läns landsting Uppdrag: utveckla en modell baserat på forskning till stöd för chefer och ansvariga för införande av nya metoder Modellen bygger på existerande ramverk för hur man inför och vidmakthåller nya metoder och kontinuerligt utvecklar sin verksamhet Tas fram genom en iterativ process där chefer och medarbetare deltar Ulrica von Thiele Schwarz 17 oktober 2014 21 Ulrica von Thiele Schwarz 17 oktober 2014 22 Kunskapskällor Från implementeringsliteraturen om vad som underlättar respektive försvårar införande av nya metoder i praktiken Empiriska beskrivning av olika typer av anpassningar 1 Förståelse för betydelsen av kärnkomponenter och förändringsteori 2 Pedagogik, organisationsteori Plan Do Study Act; kontinuerliga, snabba iterationer 3 Användning av data Förbättringar för patienterna i fokus Arbets- och organisationspsykologi, Motivationspsykologi Alignment mellan olika uppdrag och mål Utförarens möjligheter att göra saker annorlunda i fokus 1 Stirman, Shannon Wiltsey, et al. Implementation Science 8.1 (2013); 2 Lee et al American Journal of community Klassisk modell: Det finns evidens. Målet är att införa den i verksamheten. Lyckas man kopiera så får man den efterfrågade effekten. EVIDENS EFFEKT psychology 2008 41:290 ; 3 Chambers et al. Implementation Science 2013 8 Ulrica von Thiele Schwarz 17 oktober 2014 23 Ulrica von Thiele Schwarz 17 oktober 2014 24 4
Modell som tar hänsyn till kontexten: Det är evidensen och kontexten i kombination som skapar en effekt Vårt tankesätt : Evidens och kontext tillsammans avgör vad man gör i praktiken, och det sker hela tiden, över tid. Den mest centrala aspekten av utvärdering är kontinuerlig uppföljning och lärande UTVÄRDERING EVIDENS KONTEXT EFFEKT DET MAN GÖR I PRAKTIKEN EFFEKT KONTEXT UTVÄRDERING Ulrica von Thiele Schwarz 17 oktober 2014 25 Ulrica von Thiele Schwarz 17 oktober 2014 26 Statisk syn 1 Dynamisk syn 1 Våra utgångspunkter Anpassning ar Dåliga, ska undvikas, elimineras Bedömning Initialt eller under av kontexten tidig implementering Mätning av utfall Hanterings av varians Typ av kunskap som genereras Under studien, av forskare Ignoreras / rädes Fungerar/fungerar inte (Ja kanske, nej kanske) Oundvikliga, bör uppmuntras men monitoreras och guidas av evidens Kontinuerligt Inlemmat som en del av organisationen Planeras för, undersöks Genererar kunskap Kan ha både positiv och negativ effekt beroende på hur de görs Kontinuerligt 1) Kontinuerligt för lärande 2) implementeringsutfall Undersöks, särskilj önskad från oönskad varians Vad fungerar, för vem,när, under vilka omständigheter Ulrica von Thiele Schwarz 17 oktober 2014 27 Chambers et al. Implementation Science 2013 8:117 Bärande principer för anpassningar Anpassningar kan potentiellt både förbättra och försämra införande och effekter av det som införs Granska nyckelkomponenter/förändringsteori noggrant Var klara över vad ni vill uppnå (målet) Planera på förhand och lär och justera efterhand Skapa rutiner för problemidentifiering och problemlösning Använd data för att planera, följa upp och utveckla arbetet Chambers et al. Implementation Science 2013 8:117 Stirman et al. Implementation Science 2013 8:65 Lee et al American Journal of community psychology 2008 41:290 Ulrica von Thiele Schwarz 17 oktober 2014 28 Anpassningar i praktiken diskussion och reflektion Ulrica von Thiele Schwarz 17 oktober 2014 29 Att hantera anpassningar - när det väl är dags för införande Troubleshooting: Var beredd att det initialt krävs täta justeringar - skapa feedbackloop Data, frekventa avstämningar, snabba justeringar Ge de som jobbar med metoden arenor för inflytande Mandat att fatta beslut System för att informera om justeringar i verksamheten Riktning: Återvänd regelbundet till syftet med införandet och stäm av att riktningen fortfarande är tydlig Särskilt viktigt i samband med att fokus glider över till andra saker Motivation Använd data för att skapa motivation för förändring Om införandet leder till positiva effekter I medarbetarnas vardag kommer förändringen bli självgående, men tills dess behövs m Ulrica von Thiele Schwarz 17 oktober 2014 30 5
Ibland är anpassningar bara återuppfinningar av hjulet Zone of drastic mutation Och ibland är det dessutom en mindre effektiv metod Anpassning och återuppfinningar är acceptabla fram tills dess att ytterligare utspädning komprimenterar metodens integritet och effektivitet Hall (1975) Journal of Teacher education Ulrica von Thiele Schwarz 17 oktober 2014 31 Ulrica von Thiele Schwarz 17 oktober 2014 32 och ibland är en metod väldigt bra och ibland funkar någonting först Fast kanske inte just där den införs, på det sätt den införs på Men inte över tid, när kontexten förändras Ulrica von Thiele Schwarz 17 oktober 2014 33 Ulrica von Thiele Schwarz 17 oktober 2014 34 Tack för er uppmärksamhet! E-mail: ulrica.schwarz@ki.se Vinnvård Fellow in Improvement Science, Karolinska Institutet, Stockholm, Sweden Ulrica von Thiele Schwarz 17 oktober 2014 35 6