Metodguiden en webbaserad tjänst med information om olika insatser och bedömningsinstrument.

Transkript

1 Metodguiden en webbaserad tjänst med information om olika insatser och bedömningsinstrument. Vilka metoder granskas? Hur granskas de? Finns det effektiva och evidensbaserade metoder? Jenny Rehnman

2 Syftet med, och argument för, en evidensbaserad praktik (Sackett m fl., 2000) Öka kvalitet och transparens i beslutsfattande Väga samman brukarens önskemål och förväntningar genom en gemensam allians med den professionella Identifierar kunskapsluckor som kan generera ny forskning En utgångspunkt för livslångt lärande Gemensamma definitioner och termer att använda inom området Göra största möjliga nytta för brukaren 2

3 Evidensbaserad praktik Brukaren Preferenser, motivation och förväntningar Möjlighet att ge information om t ex tidigare erfarenheter av insatser Ges möjlighet till delaktigthet Kontexten ( ramen runt modellen ) Nationella och lokala förutsättningar (lagar, upphandlade metoder etc) Verksamheten och personal Klientens kliniska status

4 Evidensbaserad praktik Professionellas erfarenhet Omvandla brukarens problem till en fråga som går att besvara Kräver kritiskt tänkande och transparens i beslutsfattande Pedagogisk uppgift Lokal uppföljning återkoppling till klient, på verksamhet, och till personlig professionell utveckling Bästa rådande evidens All kunskap ger inte samma grad av evidens Värdera kunskap och forskning (beror på frågan) Insatsers effekter går att utvärdera (data på gruppnivå)

5 Bästa rådande evidens Söka bästa möjliga evidens med vilken det går att besvara frågan Kritisk värdera evidensen utifrån tillförlitlighet, effekt och användbarhet Har man i praktiken tid och möjlighet att granska olika insatser med avseende på evidens? 5

6 Sammanställning av forskning Cochrane collaboration: Campbell collaboration: Statens beredning för medicinsk utvärdering: Metodguiden:

7 Systematiska översikter Syfte Väga samman all känd relevant forskning Återanvändning Utvärderingar med vetenskapligt hög kvalitet kostar mycket Nya studier kan vara onödiga Generaliserbarhet Hur väl fungerar metoden i olika sammanhang, för olika grupper mm? Hur väl fungerar metoden i genomsnitt och oberoende av olika sammanhang, olika grupper mm? 7

8 Systematiska översikter Uttömmande anspråk Levande dokument Transparens Identifiering och urval Bedömning av studiers tillförlitlighet Sammanvägning och redovisning av evidens och effekter 8

9 METODGUIDEN - insatser Webbaserad informationstjänst på socialstyrelsens hemsida: Insatser, bedömningsinstrument och övrig kunskap (ex systematiska översikter om verksamma mekanismer ) Målgruppen: främst professionella och andra beslutsfattare Ej rekommendationer utan ett transparent beslutsunderlag En process under uppbyggnad Bygger generellt på metodik för genomförande av systematiska översikter (ex Higgins & Green, 2008)

10

11 Hur går vi till väga för att värdera om en insats är evidensbaserad? 1) Utgår från insatser som är utvärderade i Sverige 2) Vilka insatser ska granskas? Vilka utfallsmått är centrala, viktiga och oviktiga? Sökningar i relevanta databaser? Sökning efter grå litteratur? 3) Koordinator Sammanställer granskning från två oberoende granskare Sammanställer information för redovisning för RR (sökning, granskning och förslag till evidensgradering av insats) Sammanställer granskad information till hemsidan 11

12 Hur går vi till väga för att värdera om en insats är evidensbaserad? 1) Alla relevanta artiklar med en RCT eller kvasiexperimentell design granskas 2) Granskas med hjälp av en mall för att säkerställa tillförlitlighet vid granskning 3) Möjliga orsaker som kan påverka resultatets tillförlitlighet värderas (BIAS) 12

13 Hur går vi till väga för att värdera om en insats är evidensbaserad? 1. Selektion Kan observerade effekter bero på hur deltagarna valts ut och fördelats mellan grupperna? 2. Behandling Kan observerade effekter bero på annan behandling än som påstås? 3. Bortfall Kan observerade effekter bero på snedfördelade avhopp? 4. Bedömning Kan observerade effekter bero på bristfälliga mätningar? 13

14

15 Hur går vi till väga för att värdera om en insats är evidensbaserad? 1) Alla relevanta artiklar med en RCT eller kvasiexperimentell (med kontroll- el jämförelsegrupp) design granskas 2) Granskas med hjälp av en mall där olika typer av snedvridning av resultat (bias) som kan påverka värderas 3) Möjliga orsaker som kan påverka resultatets tillförlitlighet värderas (BIAS) 4) Granskningarna (2) vägs samman genom konsensus där ett bevisvärde ges till den enskilda studien (hög, medel eller låg tillförlitlighet, eg inte för studien utan oftast varierat mellan olika utfallsmått) 15

16 Varje möjlig bias bedöms var för sig och totalt för varje enskild studie Låg risk för snedvridning innebär att resultatet är tillförlitligt (hög tillförlitlighet) Osäker risk för snedvridning innebär att det finns tveksamhet om resultatets tillförlitlighet (medelgod tillförlitlighet) Hög risk för snedvridning innebär att det är svårt att lita på resultatets tillförlitlighet (låg tillförlitlighet) från Higgins & Green, 2008

17 Värdering av vetenskapligt stöd - evidensstyrkan Skalan graderar evidensstyrkan (grad av vetenskaplig stöd) för olika insatser Skalan är en modifierad version av den skala som används av California Evidence-Based Clearinghouse for Child Welfare och bygger på Flay m fl., 2005 (Society for Prevention Research, SPR) Skalan graderar insatserna i fem steg. Ett lägre värde (ex 1) på skalan betyder att insatsen bedöms ha en högre grad av vetenskapligt stöd samtidigt som insatsen är effektiv 17

18 Vad värderas? Insatsen är replikerbar Bevisvärde tillförlitlighet (från enskilda utfallsmått i enskilda studier) Antalet studier och resultatens samstämmighet Om insatsen är utvärderad i ordinarie verksamhet eller som modellutvärdering Om effekterna är statistiskt säkerställda Om effekterna har följts upp på kort och lång sikt Om insatsen kan orsaka allvarlig skada 18

19 1 Effektiv insats med starkt vetenskapligt stöd a) Minst två oberoende studier, med hög tillförlitlighet, och som utvärderats i olika ordinarie verksamheter, visar att insatsen är överlägsen ordinarie insats b) Om det finns fler än två studier ska den övervägande evidensen stödja insatsens effektivitet. c) Minst en studie med hög tillförlitlighet visar att effekten av insatsen kvarstod minst tolv månader efter avslutad behandling. d) Det finns ingen teoretisk eller empirisk grund för att insatsen är skadlig. e) Det finns skriftlig beskrivning av insatsens komponenter och hur den ska implementeras. 19

20 2 Effektiv insats med vetenskapligt stöd a) Minst en studie av hög tillförlitlighet visar att insatsen är överlägsen ordinarie insats. b) Insatsen är utvärderad i ordinarie verksamhet eller som (modellutvärdering). c) Minst en studie av hög tillförlitlighet visar att insatsens effekt kvarstod sex månader efter avslutad behandling d) Om det finns flera studier av medelhög tillförlitlighet ska den övervägande evidensen stödja insatsens effektivitet. e) Det finns ingen teoretisk eller empirisk grund för att insatsen är skadlig. f) Det finns en skriftlig beskrivning av insatsens komponenter och hur den ska implementeras. 20

21 3 Lovande insats a) Minst en studie av medelhög tillförlitlighet visar att insatsen är bättre än ingen insats (inkl. placebo eller väntelista) eller minst en studie med medelhög tillförlitlighet visar att insatsen är jämförbar med eller bättre än ordinarie insats. b) Insatsen är utvärderad i ordinarie verksamhet eller som (modellutvärdering). c) Om det finns fler studier av medelhög tillförlitlighet ska den övervägande evidensen stödja insatsens effektivitet. d) Det finns ingen teoretisk eller empirisk grund för att insatsen är skadlig. e) Det finns en skriftlig beskrivning av insatsens komponenter och hur den ska implementeras. 21

22 4 Insats som inte har effekt a) Minst två studier av hög tillförlitlighet visar att insatsen saknar effekt jämfört med ingen insats (inkl. placebo eller väntelista) eller att insatsen är mindre effektiv än ordinarie insats. b) Om det finns fler än två studier ska den övervägande evidensen visa att insatsen inte är effektiv. c) Det finns ingen teoretisk eller empirisk grund för att insatsen är skadlig. d) Det finns en skriftlig beskrivning av insatsens komponenter och hur den ska implementeras. 22

23 5 Bekymmersam insats a) Minst en studie av medelhög eller hög tillförlitlighet visar att insatsen kan orsaka alvarlig skada och/eller att det finns en möjlig teoretisk grund för att insatsen kan vara skadlig. b) Det finns en skriftlig beskrivning av insatsens komponenter och hur den ska implementeras. 23

24 Utöver ovanstående gradering finns ytterligare en kategori: Insats med okänd effektivitet Utöver ovanstående gradering finns ytterligare en kategori: a) Det saknas studier av minst medelhög tillförlitlighet. b) Det finns ingen teoretisk eller empirisk grund för att insatsen är skadlig. c) Det finns en skriftlig beskrivning av insatsens komponenter och hur den ska implementeras. 24

25

26

27

28

29 Generalisering från översikt till klient? Hur kan/ska forskningsresultat göras användbara? Från Sammanställning av evidens för en insats (ex metodguiden) Till En viss klient Men andra faktorer spelar givetvis roll för om vi skall använda oss av en viss insats: kontextuella faktorer, etiska värderingar och data på gruppnivå 29

30 EBP - en process på olika nivåer Ärendenivå Bedömning Insats Verksamhetsnivå Satsningar vid verksamhetsutveckling (bedömning, insats ) Utvärdering av satsningar (bedömning, insats ) Så en kontinuerlig beslutsprocess där underlaget kan komma att förändras.

31 Läsa vidare... Flay, B. et al., (2005). Standards of evidence: Criteria for Efficacy, Effectievness and Dissemination. Prevention Science, 3, Jägerby, U. red. (2008) Evidensbaserad praktik i socialt arbete. Gothia: Stockholm. Moher, D. et al., (2009). Preferred reporting items for systematic reviews and meta-analyses: The prisma statement. Annals of Internal Medecine, 151, Rubin, A. (2008). Practitioner s guide to using reserach for evidence-based practice. John Wiley & Sons: New Jersey. Roselius, M., & Sundell, K. red. (2008). Att förändra socialt arbete. Forskare och praktiker om implementering. Gothia: Stockholm. Cochrane collaboration: Campbell collaboration: 31