STATENS BEREDNING FÖR MEDICINSK UTVÄRDERING. Pernilla Östlund

Transkript

1 STATENS BEREDNING FÖR MEDICINSK UTVÄRDERING Pernilla Östlund

2 ATT KVALITETSBEDÖMA ANDRAS SYSTEMATISKA ÖVERSIKTER

3 Varför behövs systematiska kunskapssammanställningar? Fler än 22 miljoner publicerade medicinska artiklar. Nu produceras mer än 1 miljon nya artiklar per år % med bestående vetenskapligt värde. Hur ska de som arbetar i vården hinna följa med?

4 Antalet systematiska översikter ökar Lancet 2011;377:

5 När använder man systematiska översikter? Lära sig mer om evidensläget inom ett område Ta fram riktlinjer/rekommendationer Gör en egen systematisk översikt Osv

6 Hur använder vi systematiska översikter på SBU? Inkluderas på olika sätt i våra systematiska översikter För att identifiera vetenskapliga kunskapsluckor Inom SBU Upplysningstjänst Inom SBU Kommenterar

7 Inkluderas på olika sätt i våra systematiska översikter Sökning Relevans Kvalitet Inkorporering

8 ATT ANVÄNDA SIG AV ANDRAS SYSTEMATISKA ÖVERSIKTER KAN VARA GENVÄG ELLER SENVÄG Transparent och systematisk? Samma fråga som vi? Är bedömningen av effekt adekvat? Har alla viktiga studier kommit med? -sökstrategi -publikationsbias Tillförlitligheten avgörs av kvaliteten på ingående studier 8

9 Methodological steps in using existing systematic reviews Whitlock EP, Lin JS, Chou R, et al. Using existing systematic reviews in complex systematic reviews. Ann Int Med. 2008;148(10): PMID:

10 Database of Abstracts of Reviews of Effects (DARE) Cochrane Database of Systematic Reviews (CDSR) Health Technology Assessment Database MEDLINE Embase Currently there is a lack of consensus and limited guidance concerning how to adequately locate and transparently select and use only a subset of reviews. Robinson KA, Whitlock EP, O Neil ME, Anderson JK, Hartling L, Dryden DM, Butler M, Newberry SJ, McPheeters M, Berkman ND, Lin JS, Chang S. Integration of Existing Systematic Reviews. Research White Paper (Prepared by the Scientific Resource Center under Contract No C). AHRQ Publication No. 14-EHC016- EF. Rockville, MD: Agency for Healthcare Research and Quality. June 2014.

11 Var letar vi efter systematiska översikter på SBU Kommenterar? Cochrane Kunnskapssenteret Sundhetsstyrelsen NICE NETSCC - NIHR Evaluation,Trials and Studies Coordinating Centre CADTH MEDLINE - BMJ, Lancet, NEJM, JAMA, EBM

12 up to date (sökning högst 2 år gammal) Samma PICOTS-SD Population Intervention Comparator/Control Outcome Time frame Setting Study design It can often be difficult to find reviews that match on all elements of question. Still existing reviews may be sufficiently similar to consider using, although criteria for all situations are not easy to define. Thus, determining which reviews are close enough is inherently subjective and can be time-consuming.

13 Oxman and Guyatt s quality index AMSTAR National Institute for Health and Care Excellence (NICE) methodology checklist for systematic reviews The Cochrane Collaboration is currently developing a new tool to assess risk of bias in systematic reviews. it is important to remember that these instruments do not assess the quality of primary evidence, which must be taken into consideration.

14 AMSTAR - granskningsmall för systematiska översikter AMSTAR - Assessment of Multiple Systematic Reviews Består av 11 st, ej överlappande, frågor Validerat instrument 14

15 AMSTAR Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews (Shea et al, BMC medical research methodology 2007,7:10) External validation of a measurement tool to assess systematic reviews (Shea et al, PLoS ONE 2(12): e1350) AMSTAR is a realible and valid measurement tool to assess the methodological quality of systematic reviews (Shea et al, J Clin Epidemiology 62 (2009);

16 Quality assessment tools project CADTH Sökning efter befintliga mallar 57 SÖ mallar Mallar utvärderade 20 SÖ mallar Slutligt urval AMSTAR

17 Utvärderingsprocess CADTH Forskningsfråga Sökstrategi Inklusions/exklusionskriterier Dataextraktion Studiekvalitet Datasyntes Finansiering

18

19 1. Redovisas en förutbestämd metod för genomförandet? Forskningsfrågan (PICO) och inklusionskriterierna ska vara fastställda innan översikten genomförs. 2. Gjordes studieurval och dataextraktion av två oberoende granskare? Oberoende granskningar och konsensusförfarande? 20

20 3. Var litteratursökningen av tillfredsställande omfattning? Minst två databaser, söksträngar, handsökning? 4. Användes studiernas publikationsform som ett inklusions- /exklusionskriterium? Inkluderades grå litteratur?, språkrestriktioner? 21

21 Checklista Ja Nej Kan inte svara Gjordes sökningen i minst två databaser? (t ex Central, DARE, Cochrane, Embase, Medline, PsychInfo, Cinal)? Om begränsning för publikationsdatum användes i sökningen var den relevant motiverad? Har man sökt utan att använda begränsningar för publikationsspråk? Har man sökt utan att använda begränsningar avseende t ex studiedesign? Användes både fritextord (Title, Abstrakt, textword) och indexeringstermer (t ex MeSH )? Finns sökstrategin beskriven på ett sådant sätt att man kan årerskapa exakt samma sökning? Har man kominerat AND/OR/NOT på ett korrekt sätt? När man läser igenom sökstrategin ser det överlag ut att vara rättstavat och täcka upp frågeställningen enligt deras definierade PICO? Ej tillämpl Har man sökt grå litteratur? (exempel böcker, innehållsförteckningar, manualer konferens abstrakt) Har man sökt i referenslistor /citeringslistor?

22 5. Finns förteckningar över inkluderade och exkluderade studier? 23

23 6. Har de ingående studiernas karakteristika och resultat redovisats? Deltagare, intervention, resultat, sjukdomsstatus osv? patient characteristics Gärna tabeller! 24

24 7. Har den vetenskapliga kvaliteten hos de ingående studierna utvärderats och dokumenterats? Förutbestämda metoder för kvalitetsvärderingen ska anges. Studietyp och krav 8. Har vederbörlig hänsyn tagits till de inkluderade studiernas vetenskapliga kvalitet vid formulering av slutsatserna? Evidensgradering - GRADE 25

25 9. Användes lämpliga metoder för sammanvägning av studiernas resultat? - Bedömning av de ingående studiernas homogenitet (dvs. Chi-2 test för beräkning av homogenitet, I 2 ). - Vid heterogenitet - modell som tar hänsyn till slumpeffekter (random effects model) - Lämpligt att slå ihop resultaten? I 2 ( inconsistency ) is a measure of heterogeneity in the meta analysis I 2 < 40 % 26

26 Fråga 9: Is it always feasable to pool results? Study A Study B Study C Study D Study A Study B Study C Study D Included studies should be as homogenous as possible 27

27 10. Har sannolikheten för publikationsbias bedömts? En bedömning av publikations bias bör omfatta en kombination av grafiska hjälpmedel (t.ex. med funnel plot eller andra tester) och/eller statistiska metoder (t.ex. Eggers regressionsanalys). 28

28 Fråga 10: Funnel plot Study size True outcome Större studier tenderar att ligga närmare den sammanvägda effekten Intervention > control Outcome Control > Intervention 29

29 11. Finns eventuella intressekonflikter angivna? Eventuella sponsorer och bidragsgivare bör tillkännages både i den systematiska översikten och i de ingående studierna. 30

30 Stäm av referenslistan mot egen sökning Använd sökningen Använd inkluderade primärstudier men kontrollera kvaliteten Inkludera den systematiska översikten i sin helhet Guidance is needed on the level of detail needed on all aspects, such as how new data where incorporated into evidence tables. Future examination of various approaches recommended by different groups and development of a set of templates with worked examples could be very useful.

31 Systematiska översikter kan användas på flera sätt Sökning Relevans Kvalitet Inkorporering

32 KUNSKAPSCENTRUM FÖR HÄLSO- OCH SJUKVÅRDEN Följ oss på