Metaanalys och signifikanstest. Svar. Mål. signifikans (p-värden) Kan lätt missförstås Problemen har uppmärksammats.



Relevanta dokument
STATISTISK POWER OCH STICKPROVSDIMENSIONERING

Statistiska analyser C2 Inferensstatistik. Wieland Wermke

Hur skriver man statistikavsnittet i en ansökan?

Betrakta kopparutbytet från malm från en viss gruva. För att kontrollera detta tar man ut n =16 prover och mäter kopparhalten i dessa.

Datorövning Power curve 0,0305 0, Kvantiler, kritiska regioner

VANLIGA TERMER OCH BEGREPP INOM MEDICINSK VETENSKAP OCH STATISTIK

Analytisk statistik. Tony Pansell, optiker Universitetslektor

Medicinsk statistik III Läkarprogrammet, Termin 5 VT 2016

Lösningar till SPSS-övning: Analytisk statistik

Agenda. Statistik Termin 11, Läkarprogrammet, VT14. Forskningsprocessen. Agenda (forts.) Data - skalnivåer. Den heliga treenigheten

Uppgift 1. Produktmomentkorrelationskoefficienten

LÖSNINGSFÖRSLAG TILL TENTAMEN I MATEMATISK STATISTIK

Vad är internetbehandling och vad säger forskningen?

7.5 Experiment with a single factor having more than two levels

Datorövning 5. Statistisk teori med tillämpningar. Lära sig beräkna konfidensintervall och utföra hypotestest för:

Erica Schytt. Barnmorska Föreståndare för Centrum för klinisk forskning Dalarna Docent Karolinska Institutet Professor Høgskulen på Vestlandet

Observationsstudier versus randomiserade studier Vad kan vi lita på? Måns Rosén

Bild 1. Bild 2 Sammanfattning Statistik I. Bild 3 Hypotesprövning. Medicinsk statistik II

Beteenderelaterade interventioner vid ADHD: en meta-analys av RCT med olika utfallsmått

7.1 Hypotesprövning. Nollhypotes: H 0 : µ = 3.9, Alternativ hypotes: H 1 : µ < 3.9.

METAANALYSER. i medicinsk utvärdering

Fysisk aktivitet och psykisk hä. hälsa. Jill Taube oktober 2012

Evidensgrader för slutsatser

OBS! Vi har nya rutiner.

Arbetsdokument: Rekommendation om screening för tjock- och ändtarmscancer

Maximalt antal poäng för hela skrivningen är28 poäng. För Godkänt krävs minst 17 poäng. För Väl Godkänt krävs minst 22,5 poäng.

Hypotesprövning. Andrew Hooker. Division of Pharmacokinetics and Drug Therapy Department of Pharmaceutical Biosciences Uppsala University

Vad är p-värde? P-värde belysande exempel. Bayesians ansats MSG Staffan Nilsson, Chalmers 1

Studiedesign och effektmått

Kurskod: TAIU06 MATEMATISK STATISTIK Provkod: TENA 17 August 2015, 8:00-12:00. English Version

Konfidensintervall, Hypotestest

Design av kliniska studier Johan Sundström

DATORÖVNING 3: MER OM STATISTISK INFERENS.

Komplementär behandling vid ADHD

Samhällsvetenskaplig metod, 7,5 hp

Medicinsk statistik II

Analytisk statistik. Mattias Nilsson Benfatto, PhD.

Vad är. Patient Reported Outcome Measures och andra begrepp. Kerstin Hagberg. RTP, PhD, Docent

Vad är. Kliniska utvärderingsmetoder Kliniska utfallsmått. Patient Reported Outcome Measures och andra begrepp. Kerstin Hagberg RTP, PhD, Docent

EPIDEMIOLOGI. Läran om sjukdomsförekomst i en befolkning (Ahlbom, Norell)

B Johansson; Enheten för onkologi 1. Vad är evidensbaserad vård? Evidensbaserad vård. Birgitta Johansson.

Reproducerbarhet i psykologisk och psykiatrisk forskning - några exempel

Tentamen i matematisk statistik

Internetbaserad behandling

QUADAS-2. Bilaga 4 till rapport. Bilaga 4 Granskningsmallar. Phase 1: State the review question: Phase 2: Draw a flow diagram for the primary study

T-test, Korrelation och Konfidensintervall med SPSS Kimmo Sorjonen

Arbetsdokument Nationella riktlinjer för rörelseorganens sjukdomar

Den framtida redovisningstillsynen

Vägytans tillstånd, historik och framtid. Johan Lang

Lö sningsfö rslag till tentamen i matematisk statistik Statistik öch kvalitetsteknik 7,5 hp

STATENS BEREDNING FÖR MEDICINSK UTVÄRDERING

Utvärdering av IVIG behandling vid post-polio syndrom. Kristian Borg

Bilaga 2 Granskningsmallar

SOPA62 - Kunskapsproduktion i socialt arbete

Diagnostiska metoder. Några reflektioner. Christina Lindh Odontologiska fakulteten Malmö högskola

This exam consists of four problems. The maximum sum of points is 20. The marks 3, 4 and 5 require a minimum

Grundläggande Biostatistik. Joacim Rocklöv, Lektor Epidemiologi och global hälsa Umeå Universitet

Börja med resultatet om du vill designa en lyckad klinisk studie

Analytisk statistik. 1. Estimering. Statistisk interferens. Statistisk interferens

Superiority, equivalence och non-inferiority designs. Erika Nyman Carlsson

KOL med primärvårdsperspektiv ERS Björn Ställberg Gagnef vårdcentral

Välkommen till FaRs Dag! Rör på dig, sa själen. 16 maj 2014

Studiedesign: Observationsstudier

LUNDS UNIVERSITET STATISTISKA INSTITUTIONEN MATS HAGNELL. Skrivning i ekonometri onsdagen den 1 juni 2011

Metod och teori. Statistik för naturvetare Umeå universitet

Internetbaserad psykologisk behandling

Aktiva värmefiltar i den prehospitala sjukvården

What is evidence? Real life studier vs RCT. Real life studier vs RCT Falun februari 2017 Karin Lisspers. RCT-studier - patienter i verkligheten

Familjeterapi som behandling av barn som utsatts för trauma

En scatterplot gjordes, och linjär regression utfördes därefter med följande hypoteser:

Gamla tentor (forts) ( x. x ) ) 2 x1

Statistik. Statistik. Statistik. Lars Walter Fil.lic. Statistik

Två innebörder av begreppet statistik. Grundläggande tankegångar i statistik. Vad är ett stickprov? Stickprov och urval

STATENS BEREDNING FÖR MEDICINSK UTVÄRDERING

( ) Bilaga 5. Metodologiska kommentarer till metaanalyserna. Inledning. Effektmåtten

Tentamen i Statistik, STG A01 och STG A06 (13,5 hp) Torsdag 5 juni 2008, Kl

Studiedesign MÅSTE MAN BLI FORSKARE BARA FÖR ATT MAN VILL BLI LÄKARE? 5/7/2010. Disposition. Studiedesign två huvudtyper

Maximalt antal poäng för hela skrivningen är 31 poäng. För Godkänt krävs minst 19 poäng. För Väl Godkänt krävs minst 25 poäng.

Fråga Sammanfattning

E-hälsa med fokus på ångest och andra psykiatriska tillstånd inklusive beroende. Självhjälp på terapikartan

OBS! Vi har nya rutiner.

Tentamen i matematisk statistik

F14 HYPOTESPRÖVNING (NCT 10.2, , 11.5) Hypotesprövning för en proportion. Med hjälp av data från ett stickprov vill vi pröva

ÖVNINGSUPPGIFTER KAPITEL 8

Variansanalys med SPSS Kimmo Sorjonen ( )

Kroppstemperaturen hos människa anses i regel vara 37,0 C/ 98,6 F. För att beräkna och rita grafer har programmet Minitab använts.

Statistisk styrka Dimensioneringsberäkningar

När ändrar jag till en ny behandlingsform?

FÖRELÄSNINGSMATERIAL. diff SE. SE x x. Grundläggande statistik 2: KORRELATION OCH HYPOTESTESTNING. Påbyggnadskurs T1. Odontologisk profylaktik

34% 34% 13.5% 68% 13.5% 2.35% 95% 2.35% 0.15% 99.7% 0.15% -3 SD -2 SD -1 SD M +1 SD +2 SD +3 SD

Statistik och epidemiologi T5

8.1 General factorial experiments

Namn: Pers.nr: G: Minst 65 % Kod: T5V16 -

Föreläsning 3. NDAB02 Statistik; teori och tillämpning i biologi

Hur hanterar man avvikande patienter? Estimander och analysmetoder i kliniska prövningar

Agenda. Statistik Termin 10, Läkarprogrammet, VT15. Agenda (forts.) Forskningsprocessen. Data - skalnivåer. Den heliga treenigheten

Medicinsk statistik II

Statistik Termin 10, Läkarprogrammet, HT16

D. Samtliga beräknade mått skall följas av en verbal slutsats för full poäng.

Arbetsdokument Nationella riktlinjer för rörelseorganens sjukdomar

Transkript:

Metaanalys och signifikanstest Gerhard Andersson 2009 Gerhard.Andersson@liu.se Först några ord om statistisk signifikans (p-värden) Kan lätt missförstås Problemen har uppmärksammats (APA kommitte) Studier har bekräftat att p-värden ofta missuppfattas Förbud har diskuterats Men, vad står nu p-värdet för..? Mål Förstå psykoterapilitteraturen bättre Insatt i vad statistisk signifikans innebär och INTE innebär Kunna grundläggande steg vid genomförandet av en metaanalys Svar P-värdet står för sannolikheten att få ett liknande resultat (som man erhållit) givet att nollhypotesen är sann På svenska Hur stor är chansen att detta resultat beror på slumpen/inte är någonting? P-värdet relaterat till antal personer och effektens storlek (och med det power)

Mer trubbel Petterssons studie: t(78)=2.21, p<0.05 Lundströms studie: t(18)=1.06, p<0.30 P-värdet i sig anger inte sannolikheten för en replikation (men kan genom effektens storlek vara relaterad till replikation) Ett högt p-värde (t.ex. p=.88) anger inte att nollhypotesen är sann Är nollhypotesen aldrig sann (på decimalnivå ) om samplet är väldigt stort? Ännu mer krångel Petterssons studie: t(78)=2.21, p<0.05, d=.50 Lundströms studie: t(18)=1.06, p<0.30, d=.50 Inte lika mycket värda, men ändå en intressant observation, eller? Fixerade p-värdesnivåer är godtyckliga! Är p<0.05 05 dramatiskt sämre än p=0.06? 06? Risk att vi sorterar bort viktiga resultat Signifikans (viktigt?) inte samma sak som statistisk signifikans Förleder oss att inte kontrollera effektstorlekar

Är forskarna dumma? Forskare behöver beslutskriterier i att utgå från (grönt ljus vs rött ljus) Teorier kan testas utan att effektens storlek är av särskilt stor betydelse I klinisk forskning stämmer detta förstås inte alls (stora effekter är bättre) P-värdesgränsen hjälper oss sortera bort knasiga resultat Fler åtgärder Konfidensintervall kring råvärden (gillas av epidemiologer) i Dikotomisering av utfall t.ex klinisk signifikans (två SDs förbättring, alt. bli frisk) Metaanalys Hur har man beaktat detta? Poweranalys: Sannolikheten att ett statistiskt signifikant resultat kommer att uppnås i det fall att det finns en effekt. Power effektstorlek, signifikansnivå, antal n, och reliabilitet t i mätningar. I viss mån även experimentell kontroll av ovidkommande variabler Cohen tyckte.80 var önskvärd power (dvs 80% chans att hämta hem en effekt om den finns) Dock är powerberäkningar per definition hypotetiska (vi kan ju inte veta i förväg) Vad är metaanalys? En statistik procedur som integrerar resultatet från flera oberoende studier vilka anses gå att kombinera Syntetisk meta-analys (slå ihop) Analytisk meta-analys (t.ex. meta- regression) - förklara Systematic review att värdera forskning i stort (t.ex. SBU)

Nackdelar med vanlig översiktsartikel? Skillnader i power mellan olika studier (statistisk ti ti kraft) kan missas Små och stora effekter kan tillskrivas samma betydelse Risk för bias (jäv) Historik Kombination av data ej något nytt Begreppet hämtat t från beteendevetenskapen Nu etablerad inom medicin och epidemiologi Många områden saknar dock databas Cochraneprojektet och betydelsen av RCT (randomised controlled trials) Psykoterapiforskning! Fördelar med metaanalys? En observerad trend i ett flertal studier kan sammanlagt innebära en tydlig effekt vid en metaanalys Tvingar oss att vara tydliga vad gäller antagandet om vilka studier som är viktiga, vilka som använder accepterbar metodologi och vilka som har brister Tvingar forskaren att läsa studier och granska data Kan generera nya hypoteser samt förklara konstigheter t i litteraturent Mindre jäv 4500 4000 3500 3000 2500 Medline 2000 Psychological Abstracts 1500 1000 500 0 1981-1985 1986-1990 1991-1995 1996-2000

Logiken bakom Studier som försökspersoner Uppskattning av effekt i populationen o Observationsstudie, men dock ofta baserad på kontrollerade studier Processen II e) Uträkning av effektmått (Cohen s d, Odds ratio, korrelationkoefficienten r). Val av effektstorlek styrs av vilken typ av studier det rör sig om i metaanalysen f) Kontroll av homogenitet g) Vad utmärker studier med effekter? h) Publikationsjäv Processen a) Definiera forskningsfrågan b) Bestäm tillvägagångssätt ätt c) Litteratursökning d) Kodning av studier (t.ex publikationsår, studieort osv) Medel behandling - Medel kontroll Sammanvägd standardavvikelse = Cohens d (mean standarized difference) d=.20 liten effekt, d=.50 medeleffekt, d=.80 stor effekt

Lite tekniskt Comprehensive Meta-analysis (och andra program) Random vs fixed models I 2 -statistic = heterogenitet i % (50% måttlig, 75% för mkt) Q-statistic (som ett Chi2) Metaregression Hur används metaanalysen? Behandlingsstudier (stort genomslag) Epidemiologiska pde oogs astude studier Diagnostiska studier (t.ex mammografi) Sambandsstudier (t.ex personlighet och hälsa) Meta Analysis Study name Statistics for each study Std diff in means and 95% CI Std diff Standard Lower Upper in means error Variance limit limit Z-Value p-value Andersson 2005 0,880 0,230 0,053 0,430 1,330 3,833 0,000 Andersson, in press 0,769 0,259 0,067 0,261 1,276 2,967 0,003 Carlbring 2001 0,991 0,327 0,107 0,350 1,632 3,032 0,002 Carlbring, in press 1,142 0,278 0,078 0,596 1,687 4,100 0,000 Christensen 2004 0,365 0,106 0,011 0,157 0,574 3,437 0,001 Clarke 2002 0,000 0,116 0,013-0,227 0,227 0,000 1,000 Clarke 2005 Mail 0,310 0,184 0,034-0,050 0,670 1,690 0,091 Clarke 2005 Phone 0,247 0,181 0,033-0,108 0,601 1,364 0,173 Hirai 2005 0,812 0,401 0,161 0,026 1,597 2,026 0,043 Kenardy 2003 0293 0,293 0234 0,234 0055 0,055-0,166 0751 0,751 1251 1,251 0211 0,211 Klein 2001 0,400 0,422 0,178-0,426 1,226 0,949 0,343 Klein in press 1,516 0,373 0,139 0,785 2,248 4,063 0,000 Patten 2003 0,000 0,072 0,005-0,141 0,141 0,000 1,000 0,510 0,115 0,013 0,284 0,736 4,429 0,000-4,00-2,00 0,00 2,00 4,00 Ett exempel http://www.psychotherapyrcts.org Databas som innehåller depressionsstudier Favours A Favours B Meta Analysis Spek et al. 2007

Abbass, A. A., Hancock, J. T., Henderson, J., & Kisely, S. (2006). Short-term psychodynamic psychotherapies for common mental disorders. Cochrane Database of Systematic Reviews, CD004687(4). AUTHORS' CONCLUSIONS: STPP shows promise, with modest tomoderate, often sustained gains for a variety of patients. However, given the limited data and heterogeneity between studies, these findings should be interpreted t with caution. Furthermore, variability in treatment delivery and treatment quality may limit the reliability of estimates of effect for STPP. Larger studies of higher quality and with specific diagnoses are warranted. Måttliga effektstorlekar d=.40 d=.70

Men oj då Cuijpers, P., van Straten, A., Bohlmeijer, E., Hollon, S. D., & Andersson, G. (In press). The effects of psychotherapy for adult depression are overestimated: t A meta-analysis of study quality and effect size. Psychological Medicine. The standardized mean effect size found for the high-quality studies (d=0.22) was significantly smaller than in the other studies (d=0.74; p<0.001) We found strong evidence that the effects of psychotherapy for adult depression have been overestimated in meta-analytic studies. Although the effects of psychotherapy py pyare significant, they are much smaller than was assumed until now, even after controlling for the type of control condition used. Problem och möjligheter II Är små replikationer bättre än en stor studie som visar nollresultat? Inkonsistenta resultat Möjligen vissa beräkningstekniska problem Har inneburit en tillskärpning Studier mer jämförbara Problem och möjligheter Empiriskt stöd för meta- analys... Äpplen och päron Falskt sken av objektivitet Kräver inte enbart statiska krumbukter även faktakunskap!

Problem och möjligheter III Problem med effektstorlekar File drawer databas problematisk Duger metaanalys som Duger metaanalys som beslutsunderlag?