Gradering av evidensstyrka ABCD 1234 ++++
Evidensgradering enl J. Nordenström Evidensgrad Innebörd Bakgrund A Stark vetenskaplig evidens Evidens från meta-analys, systematisk översikt eller välgjorda och stora RCT B Måttlig evidens Evidens från små eller ej optimalt utförda randomiserade studier eller från studier utan randomisering (kohortstudier, fall/kontrollstudier, tvärsnittstudier) C Svag evidens Expertutlåtande, konsensusrapporter, fallbeskrivningar och andra deskriptiva studier D Vetenskaplig evidens saknas Inga studier av tillfredsställande kvalitet finns tillgängliga 2013-05-06 Malin Holzmann 2
Evidensgradering enligt GRADE Grading of Recommendations Assessment, Development and Evaluation Används av SBU och Socialstyrelsen Bygger på andra graderingssystem Men tydligare fokus på risk-nyttaperspektivet Används av WHO, NICE, Cochrane mfl 2013-05-06 Malin Holzmann 3
Evidensgradering Fyrgradig skala Starkt Måttligt Lågt Mycket lågt vetenskapligt underlag SBU: Starkt Måttligt Begränsat Otillräckligt vetenskapligt underlag 2013-05-06 Malin Holzmann 4
Tillvägagångssätt för användande Systemet utvecklat för interventions- /behandlingsstudier Kan på likartat sätt användas vid studier av orsakssamband Bedömning för diagnostiska studier och kvalitativ metodik fortfarande i utvecklingsfas 2013-05-06 Malin Holzmann 5
Sammanfattande resultattabell Ger bra och kortfattad bild av underlaget Effektmått Studiedesign Antal patienter (antal studier) Medelrisk i standardgrupp (min max) Relativ risk (95% KI) Absolut effekt per 1 000 patienter Vetenskapligt underlag Kommentarer Sårinfektioner vid operation av käkfrakturer RCT 461 (3) 39% (20 62%) RR 0,25 (0,15 till 0,41) 259 färre 2013-05-06 Malin Holzmann 6
Om gott om välgjorda RCT behöver inte observationsstudier inkluderas i bedömning av positiva effekter Om inga RCT ELLER om RCT:s är bristfälliga kan observationsstudier ge viktig tilläggsinformation Vid bedömning av risker ofta viktigt inkludera observationsstudier (RCT oftast ej utformade för att besvara frågor om långsiktiga risker) 2013-05-06 Malin Holzmann 7
Preliminär evidensstyrka baserad på studiedesign: Evidensstyrka Stark (++++) Måttligt stark (+++) Begränsad (++) Otillräcklig (+) Studiedesign Randomiserade studier Observationsstudier, kohort- och fallkontrollstudier Fallstudier mm Sedan kan evidensstyrkan sänkas eller höjas enligt nedanstående: Sänk gradering om Brister i studiekvalitet (max -2) Bristande överensstämmelse mellan studierna (max -2) Brister i överförbarhet/relevans (max -2) Bristande precision (max -2) Hög sannolikhet för publikationsbias (max -2) Höj gradering om Stora effekter och inga sannolika confounders (max +2) Tydligt dos-responssamband (max +1) Confounders som inte är med i analysen borde leda till bättre behandlingsresultat i kontrollgruppen, dvs hög sannolikhet att effekten underskattas (max +1) 2013-05-06 Malin Holzmann 8
Faktorer som påverkar den slutliga evidensstyrkan Studiekvalitet Samstämmighet/överensstämmelse Överförbarhet/relevans Precision i data Risk för publikationsbias Evidensstyrkan kan dras ner med ett eller två steg för varje faktor beroende på brister 2013-05-06 Malin Holzmann 9
Faktorer som kan öka evidensstyrkan Gäller stora, välgjorda observationsstudier med god kontroll för förväxlingsfaktorer. Stora effekter Dos-responssamband Hög sannolikhet att effekten I studien är underskattad. RR>2.0 eller <0.5 -> +1 OR kan överskatta effekter vid vanliga utfall (>10%) 2013-05-06 Malin Holzmann 10
Granskningsfas studiekvalitet Studiekvalitet: randomisering, blindning, bortfall, vid observationsstudier jämförbarhet mellan försöks-, och kontrollgrupp Exempel Risk för att effekten överskattats. Observationsstudier visade att östrogenbehandling minskade risken för hjärt- och kärlsjukdom. Eftersom man visste att östrogenbehandling var vanligare bland kvinnor från högre socialgrupper kunde man ha misstänkt att den observerade effekten var överskattad och därigenom nedgraderat tilltron till sambandet. 2013-05-06 Malin Holzmann 11
Granskningsfas - samstämmighet I vilken utsträckning kommer studierna fram till samma resultat? Pekar de åt samma håll? Är effektstorleken av jämförbar storlek i olika studierna Beroende av likartad population, kontrollgrupp, hur interventionen genomfördes 2013-05-06 Malin Holzmann 12
Granskningsfas - överförbarhet I vilken utsträckning är resultaten generaliserbart och relevant för svenska förhållanden? Exempel: om kontrollgruppen får en behandling som ej är tillgänglig i Sverige omöjligt avgöra hur effektiv interventionen är 2013-05-06 Malin Holzmann 13
Granskningsfas - precision Hur osäker är den sammanvägda effekten? Beror av antal händelser, antal personer i grupperna och den relativa riskminskningen Få observationer och breda konfidensintervall ger sämre precision 2013-05-06 Malin Holzmann 14
Granskningsfas - publikationsbias Stor risk om enbart små studier utförda av samma forskargrupp Om samtliga studier av ny metod har innovatören som huvudförfattare Flertal studier visar entydigt på industrisponsrade studier överskattar effekterna av produkten 2013-05-06 Malin Holzmann 15
Granskningsfas - effektstorlek Kan användas om minst två stora välgjorda observationsstudier Exempel Stor effekt kan höja evidensstyrkan. En metaanalys av observationsstudier visade att cykelhjälmar reducerade risken för huvudskador med en oddskvot på 0,31 (0,26 0,37) [5]. Detta är en stor effekt och leder till att evidensstyrkan justeras upp ett steg. Om det inte finns någon anledning till att justera ner evidensstyrkan på grund av brister i underlaget skulle det medföra att det vetenskapliga underlaget blir måttligt starkt (++++). 2013-05-06 Malin Holzmann 16
Granskningsfas dos-responssamband Gäller stora välgjorda obs-studier Kan avse både effekter och risker Ökar trovärdigheten för att åtgärden har effekt 2013-05-06 Malin Holzmann 17
Exempel Dos responssamband kan höja evidensstyrkan. I SBU-rapporten Mat vid diabetes [10] studerades bl a risken för hjärtinfarkt bland diabetiker med varierande alkoholkonsumtion. I tre stora observationsstudier med totalt 10 312 patienter såg man i samtliga studier ett dos responsförhållande så att gruppen med högre alkoholkonsumtion hade betydligt lägre relativ risk än de med låg eller ingen konsumtion. Expertgruppen uppgraderade därför evidensstyrkan till måttligt starkt vetenskapligt underlag på grund av dos responsförhållande. 2013-05-06 Malin Holzmann 18
Granskningsfas underskattad effekt Om sannolikt underskattad effekt i studierna - exv confounders man ej kunnat kontrollera för Kan i enstaka fall justera upp evidensstyrkan 2013-05-06 Malin Holzmann 19
Exempel Underskattad effekt kan höja evidensstyrkan. I en systematisk översikt som omfattade 38 miljoner patienter var dödstalen högre på vinstdrivande privata sjukhus än på icke -vinstdrivande privata sjukhus [11]. GRADE Working Group menar att det är sannolikt att patienterna var sjukare på de icke-vinstdrivande sjukhusen och att de vinstdrivande sjukhusen hade större resurser och fler patienter som var väl försäkrade. Evidensen för att dödstalen verkligen är högre på vinstdrivande sjukhus har då stärkts. 2013-05-06 Malin Holzmann 20
Samlad evidensgradering - evidenstabell Exempel: sårinfektioner, antibiotikaprofylax jmf med placebo vid op av käkfrakturer Studier Patienter Design Studiekvalitet Överensstäm melse Överförbarhet 3 461 RCT 1* 0 0** Oprecisa data Publikationsbias Effektstorlek Dos respons Förväxlingsfaktor 1*** 0 0 0 0 * Ingen blindning, en studie har ingen uppgift om bortfall ** Olika antibiotika *** Få utfall, tillsammans med ** 1 2013-05-06 Malin Holzmann 21
Samlad evidensgradering sammanfattande resultattabell Exempel. Effekt av ab-profylax jmf med placebo vid käkkirurgi Effektmått Studiedesign Antal patienter (antal studier) Medelrisk i standardgrupp (min max) Relativ risk (95% KI) Absolut effekt per 1 000 patienter Vetenskapligt underlag Kommentarer Sårinfektioner vid operation av käkfrakturer RCT 461 (3) 39% (20 62%) RR 0,25 (0,15 till 0,41) 259 färre ++ Begränsat Svagheter i studiekvalitet (-1) Få 2013-05-06 Malin Holzmann 22
Evidensstyrkan hur starkt sammanlagt vetenskapligt underlag för besvara viss fråga tillförlitligt Evidensstyrka Starkt vetenskapligt underlag (++++) Måttligt starkt vetenskapligt underlag (+++) Begränsat vetenskapligt underlag (++) Otillräckligt vetenskapligt underlag (+) Innebörd Bygger på studier med hög eller medelhög kvalitet utan försvagande faktorer vid en samlad bedömning Bygger på studier med hög eller medelhög kvalitet med förekomst av enstaka försvagande faktorer vid en samlad bedömning Bygger på studier med hög eller medelhög kvalitet med försvagande faktorer vid en samlad bedömning När vetenskapligt underlag saknas, tillgängliga studier har låg kvalitet eller där studier av likartad kvalitet visar motsägande resultat, anges det vetenskapliga underlaget som otillräckligt. 2013-05-06 Malin Holzmann 23
Socialstyrelsens summering av rådande kunskapsläget Evidensstyrka Hög (++++) Måttlig (+++) Låg (++) Mycket låg (+) Förklaring Socialstyrelsen bedömer det som mycket osannolikt att ytterligare forskning ändrar skattningen av effekten Socialstyrelsen bedömer det som sannolikt att ytterligare forskning på ett betydelsefyllt sätt ändrar skattningen av effekten och även själva effektstorleken Socialstyrelsen bedömer det som mycket sannolikt att ytterligare forskning på ett betydelsefullt sätt ändrar skattningen av effekten och även själva effektstorleken Skattningen av effekten är mycket osäker 2013-05-06 Malin Holzmann 24
Grade-tabellen hos Socialstyrelsen Tillförlitlig het Hög (++++) Måttlig (+++) Låg (++) Mycket låg (+) Studiedesign Sänk gradering om Höj gradering om RCT:s utgår från ++++ Observations studier utgår från ++ Studiekvalitet: Allvarliga begränsningar (-1) Mycket allvarliga begränsningar (-2) Extern validitet: Viss osäkerhet (-1) Påtaglig osäkerhet (-2) Knappa/osäkra data (-1) Hög sannolikhet för publikationsbias (-1) Starka samband och inga sannolika confounders (+1) Mycket starka samband och inga allvarliga hot mot validiteten (+2) Påtagliga dos- och responssamband (+1) 2013-05-06 Malin Holzmann 25
Socialstyrelsens evidensgradering av systematiska litteraturöversikter (av god kvalitet) Bedömning Evidensstyrka 1 Evidensstyrka 2 Underlag En systematisk översikt som bygger på minst 2 RCT:s med högt bevisvärde. Följande undantag från huvudregeln kan också ge grad 1: Enstaka mkt stor multicenterrct (med smalt konfidensintervall) Allt eller inget -studier som visar dramatisk och odiskutabel effekt av exv Pc vid stor pneumoni eller insulin vid DM typ I Systematisk översikt som bygger på en RCT med högt bevisvärde plus minst 2 med medelhögt bevisvärde och entydiga resultat. Undantag: Väl upplagda kohortstudier eller fall-kontrollstudier med entydiga resultat Flertal RCT:s med medelhögt och lågt bevisvärde med entydig resultat. Evidensstyrka 3 Evidensstyrka 4 Systematisk översikt som bygger på minst 2 RCT:s med medelhögt bevisvärde och entydigt resultat. Undantag: Väl upplagda kohortstudier eller fall-kontrollstudier med divergerande resultat. Flertal RCT:s med medelhögt eller lågt bevisvärde. Systematisk översikt som bygger enbart på studier med lågt bevisvärde eller där den systematiska kunskapsgenomgången visat avsaknad av studier 2013-05-06 Malin Holzmann 26
Socialstyrelsens evidensgradering vid enskilda studier om en systematisk kunskapsöversikt saknas Bedömning Mycket gott vetenskapligt underlag Gott vetenskapligt underlag Visst vetenskapligt underlag Beskrivs med ord Underlag X kan vara interventions- eller observationstyp (randomiserad eller kohort) Minst 2 prospektiva kontrollerade studier x med högt bevisvärde med entydiga resultat Minst en prospektiv kontrollerad studie x med högt bevisvärde, alternativt minst två prospektiva kontrollerade studier x av lägre kvalitet men som pekar i samma riktning Minst en kohort- eller fall-kontroll-studie av tillfredsställande kvalitet eller minst en prospektiv kontrollerad studie av lägre kvalitet Studier med heterogena utfall, observationsstudier m.m. av lägre kvalitet, expert- eller konsensusuttalande 2013-05-06 Malin Holzmann 27