Metaanalys och signifikanstest. Svar. Mål. signifikans (p-värden) Kan lätt missförstås Problemen har uppmärksammats.

Transkript

1 Metaanalys och signifikanstest Gerhard Andersson 2009 Först några ord om statistisk signifikans (p-värden) Kan lätt missförstås Problemen har uppmärksammats (APA kommitte) Studier har bekräftat att p-värden ofta missuppfattas Förbud har diskuterats Men, vad står nu p-värdet för..? Mål Förstå psykoterapilitteraturen bättre Insatt i vad statistisk signifikans innebär och INTE innebär Kunna grundläggande steg vid genomförandet av en metaanalys Svar P-värdet står för sannolikheten att få ett liknande resultat (som man erhållit) givet att nollhypotesen är sann På svenska Hur stor är chansen att detta resultat beror på slumpen/inte är någonting? P-värdet relaterat till antal personer och effektens storlek (och med det power)

2 Mer trubbel Petterssons studie: t(78)=2.21, p<0.05 Lundströms studie: t(18)=1.06, p<0.30 P-värdet i sig anger inte sannolikheten för en replikation (men kan genom effektens storlek vara relaterad till replikation) Ett högt p-värde (t.ex. p=.88) anger inte att nollhypotesen är sann Är nollhypotesen aldrig sann (på decimalnivå ) om samplet är väldigt stort? Ännu mer krångel Petterssons studie: t(78)=2.21, p<0.05, d=.50 Lundströms studie: t(18)=1.06, p<0.30, d=.50 Inte lika mycket värda, men ändå en intressant observation, eller? Fixerade p-värdesnivåer är godtyckliga! Är p< dramatiskt sämre än p=0.06? 06? Risk att vi sorterar bort viktiga resultat Signifikans (viktigt?) inte samma sak som statistisk signifikans Förleder oss att inte kontrollera effektstorlekar

3 Är forskarna dumma? Forskare behöver beslutskriterier i att utgå från (grönt ljus vs rött ljus) Teorier kan testas utan att effektens storlek är av särskilt stor betydelse I klinisk forskning stämmer detta förstås inte alls (stora effekter är bättre) P-värdesgränsen hjälper oss sortera bort knasiga resultat Fler åtgärder Konfidensintervall kring råvärden (gillas av epidemiologer) i Dikotomisering av utfall t.ex klinisk signifikans (två SDs förbättring, alt. bli frisk) Metaanalys Hur har man beaktat detta? Poweranalys: Sannolikheten att ett statistiskt signifikant resultat kommer att uppnås i det fall att det finns en effekt. Power effektstorlek, signifikansnivå, antal n, och reliabilitet t i mätningar. I viss mån även experimentell kontroll av ovidkommande variabler Cohen tyckte.80 var önskvärd power (dvs 80% chans att hämta hem en effekt om den finns) Dock är powerberäkningar per definition hypotetiska (vi kan ju inte veta i förväg) Vad är metaanalys? En statistik procedur som integrerar resultatet från flera oberoende studier vilka anses gå att kombinera Syntetisk meta-analys (slå ihop) Analytisk meta-analys (t.ex. meta- regression) - förklara Systematic review att värdera forskning i stort (t.ex. SBU)

4 Nackdelar med vanlig översiktsartikel? Skillnader i power mellan olika studier (statistisk ti ti kraft) kan missas Små och stora effekter kan tillskrivas samma betydelse Risk för bias (jäv) Historik Kombination av data ej något nytt Begreppet hämtat t från beteendevetenskapen Nu etablerad inom medicin och epidemiologi Många områden saknar dock databas Cochraneprojektet och betydelsen av RCT (randomised controlled trials) Psykoterapiforskning! Fördelar med metaanalys? En observerad trend i ett flertal studier kan sammanlagt innebära en tydlig effekt vid en metaanalys Tvingar oss att vara tydliga vad gäller antagandet om vilka studier som är viktiga, vilka som använder accepterbar metodologi och vilka som har brister Tvingar forskaren att läsa studier och granska data Kan generera nya hypoteser samt förklara konstigheter t i litteraturent Mindre jäv Medline 2000 Psychological Abstracts

5 Logiken bakom Studier som försökspersoner Uppskattning av effekt i populationen o Observationsstudie, men dock ofta baserad på kontrollerade studier Processen II e) Uträkning av effektmått (Cohen s d, Odds ratio, korrelationkoefficienten r). Val av effektstorlek styrs av vilken typ av studier det rör sig om i metaanalysen f) Kontroll av homogenitet g) Vad utmärker studier med effekter? h) Publikationsjäv Processen a) Definiera forskningsfrågan b) Bestäm tillvägagångssätt ätt c) Litteratursökning d) Kodning av studier (t.ex publikationsår, studieort osv) Medel behandling - Medel kontroll Sammanvägd standardavvikelse = Cohens d (mean standarized difference) d=.20 liten effekt, d=.50 medeleffekt, d=.80 stor effekt

6 Lite tekniskt Comprehensive Meta-analysis (och andra program) Random vs fixed models I 2 -statistic = heterogenitet i % (50% måttlig, 75% för mkt) Q-statistic (som ett Chi2) Metaregression Hur används metaanalysen? Behandlingsstudier (stort genomslag) Epidemiologiska pde oogs astude studier Diagnostiska studier (t.ex mammografi) Sambandsstudier (t.ex personlighet och hälsa) Meta Analysis Study name Statistics for each study Std diff in means and 95% CI Std diff Standard Lower Upper in means error Variance limit limit Z-Value p-value Andersson ,880 0,230 0,053 0,430 1,330 3,833 0,000 Andersson, in press 0,769 0,259 0,067 0,261 1,276 2,967 0,003 Carlbring ,991 0,327 0,107 0,350 1,632 3,032 0,002 Carlbring, in press 1,142 0,278 0,078 0,596 1,687 4,100 0,000 Christensen ,365 0,106 0,011 0,157 0,574 3,437 0,001 Clarke ,000 0,116 0,013-0,227 0,227 0,000 1,000 Clarke 2005 Mail 0,310 0,184 0,034-0,050 0,670 1,690 0,091 Clarke 2005 Phone 0,247 0,181 0,033-0,108 0,601 1,364 0,173 Hirai ,812 0,401 0,161 0,026 1,597 2,026 0,043 Kenardy , , ,055-0, , , ,211 Klein ,400 0,422 0,178-0,426 1,226 0,949 0,343 Klein in press 1,516 0,373 0,139 0,785 2,248 4,063 0,000 Patten ,000 0,072 0,005-0,141 0,141 0,000 1,000 0,510 0,115 0,013 0,284 0,736 4,429 0,000-4,00-2,00 0,00 2,00 4,00 Ett exempel Databas som innehåller depressionsstudier Favours A Favours B Meta Analysis Spek et al. 2007

7 Abbass, A. A., Hancock, J. T., Henderson, J., & Kisely, S. (2006). Short-term psychodynamic psychotherapies for common mental disorders. Cochrane Database of Systematic Reviews, CD004687(4). AUTHORS' CONCLUSIONS: STPP shows promise, with modest tomoderate, often sustained gains for a variety of patients. However, given the limited data and heterogeneity between studies, these findings should be interpreted t with caution. Furthermore, variability in treatment delivery and treatment quality may limit the reliability of estimates of effect for STPP. Larger studies of higher quality and with specific diagnoses are warranted. Måttliga effektstorlekar d=.40 d=.70

8 Men oj då Cuijpers, P., van Straten, A., Bohlmeijer, E., Hollon, S. D., & Andersson, G. (In press). The effects of psychotherapy for adult depression are overestimated: t A meta-analysis of study quality and effect size. Psychological Medicine. The standardized mean effect size found for the high-quality studies (d=0.22) was significantly smaller than in the other studies (d=0.74; p<0.001) We found strong evidence that the effects of psychotherapy for adult depression have been overestimated in meta-analytic studies. Although the effects of psychotherapy py pyare significant, they are much smaller than was assumed until now, even after controlling for the type of control condition used. Problem och möjligheter II Är små replikationer bättre än en stor studie som visar nollresultat? Inkonsistenta resultat Möjligen vissa beräkningstekniska problem Har inneburit en tillskärpning Studier mer jämförbara Problem och möjligheter Empiriskt stöd för meta- analys... Äpplen och päron Falskt sken av objektivitet Kräver inte enbart statiska krumbukter även faktakunskap!

9 Problem och möjligheter III Problem med effektstorlekar File drawer databas problematisk Duger metaanalys som Duger metaanalys som beslutsunderlag?