Multivariabel statistik

Transkript

1 Multivariabel statistik beware of the wolf Johan Lindbäck Uppsala Clinical Research Center Kvalitetsregisterforskningskonferens Arlanda 26 maj 2015

2 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Multivariabel statistik Förtydligande Multivariat = flera utfallsvariabler Multivariabel = flera förklaringsvariabler/prediktorer Behöver inte innebära modellering men vi kommer idag uteslutande prata om (regressions)modeller

3 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Innehåll Introduktion Frågeställning Statistiska (regressions)modeller Några saker att beakta vid konstruktion av multivariabla modeller Confounding Modellanpassning/överanpassning Bortfall/saknade observationer Kodning och val av variabler Stegvis regression Utvärdering av modeller Diskriminering Kalibrering Validering

4 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Frågeställning Tre områden där vi typiskt använder multivariabla modeller är Hypotesprövning Finns det ett samband mellan graden av fysisk aktivitet och risken för hjärtsjukdom? Estimering Hur mycket minskar blodtrycket om man får en viss typ av blodtrycksmedicin? Prediktion Vad är sannolikheten att en 70-årig kvinna med förmaksflimmer drabbas av en stroke inom 3 år?

5 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Statistisk modell Vanliga regressionsmodeller inom medicinsk forskning Linjär regressionsmodell Y = β 0 + β 1 X 1 + β 2 X β k X k + ε, ε N ( 0, σ 2) Logistisk regressionsmodell eβ 0+β 1 X 1 +β 2 X β k X k P(Y = 1) = 1 + e β 0+β 1 X 1 +β 2 X ,β k X k [ ] P(Y = 1) ln = β 0 + β 1 X 1 + β 2 X , β k X k P(Y = 0) Cox-regressionsmodell h(t) = h 0 (t)e β 1X 1 +β 2 X β k X k

6 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Confounding Exempel 120 Biomarker X (ng/l) Age

7 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Confounding Exempel Female Male Biomarker X (ng/l) Biomarker X (ng/l) Age Age

8 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning Simulerade data y x

9 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning Hur bra kan vi anpassa en modell till dessa data?

10 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning Linjär modell y x

11 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning Loess (s = 0.2) y x

12 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning Loess (s = 0.1) y x

13 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning Loess (s = 0.05) y x

14 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Modellanpassning 'Verkligheten' & loess (s = 0.1) y Sann ekvation: y = sin(x 3) + x x

15 Modellanpassning Essentially, all models are wrong, but some are useful (George E. P. Box) It is better to be vaguely right than exactly wrong (Carveth Read) J Lindbäck (UCR) Multivariabla modeller 26/ /36

16 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Överanpassning Exempel I en studie på 20 sjukhus mättes blodtrycket i både höger och vänster arm på ett antal patienter för att ta reda på om det fanns någon systematisk skillnad. Den genomsnittliga differensen mellan höger och vänster arms blodtryck plottades för alla sjukhus för att se om det fanns någon skillnad mellan sjukhusen

17 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Överanpassning 10 Skillnad i blodtryck [mmhg] A B C D E F G H I J K L M N O P Q R S T Sjukhus

18 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Överanpassning Skillnad i blodtryck [mmhg] Skillnad i blodtryck [mmhg] A B C D E F G H I J K L M N O P Q R S T I C G Q D H J M R B A P E F T O L S N K Sjukhus Sjukhus (sorterade)

19 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Bortfall Statistikprogram tar typiskt bort alla observationer (rader) där åtminstone någon av variablerna saknar sitt värde Table: First 6 rows of some data... Id Age Sex BP died 1 65 M M M F 0 5 F F 188 0

20 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Bortfall Ju fler variabler med bortfall desto större risk att det endast är få observationer med komplett information Helt slumpmässigt bortfall (ovanligt!) precisionen minskar. Ej slumpmässigt bortfall systematiskt fel. Ofta kan man framgångsrikt imputera nya värden genom att fånga upp samband med övriga variabler

21 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Variabelval Vilka variabler? Hur väljer man vilka variabler som ska vara med i modellen? Klinisk erfarenhet Vetenskaplig litteratur Tillgänglighet Inte alls? Låt datorn (statistikprogrammet) välja

22 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Variabelval Hur många variabler? Hur många variabler kan (ska/bör/får) man ha med i modellen? Alla? Ingen? Några? Hur många?

23 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Variabelval Hur många variabler? För att få tillräckligt bra precision finns några tumregler Linjär regression: minst 10 obs per parameter i modellen Logistisk regression: minst 10 obs i den minsta klassen i utfallet per parameter i modellen Cox-regression: minst 10 händelser per parameter i modellen OBS! parameter variabel

24 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Kodning av variabler För kategoriska variabler med flera klasser kan det ibland vara vettigt att slå ihop (små) klasser Undvik att kategorisera kontinuerliga variabler. Samband är väldigt sällan stegformade Bättre: anpassa smarta splinefunktioner med få parametrar Transformationer: log-transformation gör att vi går från additiv till multiplikativ skala

25 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Kategorisering av kontinuerlig variabel Ålder kontinuerlig Ålder dikotomiserad vid 70 år bp bp age age

26 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Stegvis regression Forward Börja utan variabler (medelvärdet) Lägg till en variabel i taget baserat på vilken som är bäst Sluta när modellen inte förbättras längre Backward (bättre) Börja med alla variabler i modellen. Ta bort den variabel som minst påverkar modellen Sluta då modellen signifikant försämras om ytterligare någon variabel tas bort

27 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Stegvis regression (exempel) I en studiepopulation bestående av patienter med akut kranskärlssjukdom som genomgått någon form av revaskularisering (ballongvidgning med eller utan stent eller bypass-operation) vill vi ta fram en prediktionsmodell för att bestämma risken för en ny allvarlig händelse (stroke, kardiovaskulär död eller spontan hjärtinfarkt) 9448 patienter 841 händelser 30 kandidatvariabler 4 prespecificerade interaktioner Icke-linjära transformationer för samtliga kontinuerliga variabler Totalt 79 parametrar i modellen

28 Stegvis regression 100 bootstrapstickprov CADEX3 sttia GDF_0 BMI NTpBNP_0 stemi3 gender MI TropT_0 PCI_CABG stemi3 * TropT_0 ApoB_0 KILLIP2 HB0 CYST_0 stemi3 * NTpBNP_0 CROBPD PAD stemi3 * WBC0 HRATEBL ApoA1_0 WBC0 AGE diabetes smoker compl_revasc SBPSUBL CRP_0 stemi3 * CRP_0 DYSHCHOL CRENDIS HYP GIBLEED CHF Frequency Frequency selected Number of variables included in final model J Lindbäck (UCR) Multivariabla modeller 26/ /36

29 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Problem med stegvis regression Risk för överanpassning R 2 systematiskt för hög Regressionskoefficienter systematiskt för stora (i absoluta tal) Medelfel systematiskt för små p-värden systematiskt för låga Konfidensintervall systematiskt för smala Dålig på att hantera multikolinjäritet (godtycklighet) It allows us to not think about the problem (F.E. Harrell) Automatiska procedurer är sällan implementerade så att de hanterar interaktioner på rätt sätt

30 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Diskriminering En modell har god diskriminerande förmåga om den klarar av att skilja på individer med höga och låga utfall. D.v.s. om modellen förutsäger att individ A har högre risk än individ B och individ A dör innan individ B så har modellen god diskriminerande förmåga

31 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Kalibrering Om det predicerade utfallet är lika som det observerade utfallet så är modellen välkalibrerad. Plotta observerat mot predicerat utfall Övergripande kalibrering (interceptet på kalibreringskurvan). Om alla predicerade sannolikheter är för höga eller för låga. Det skulle t.ex. kunna bero på att det totala risken har minskats (p.g.a. förändringar i samhället?) Lutningen på kalibreringskurvan. Om lutningen < 1 innebär det att låga prediktioner är för låga och höga prediktioner är för höga. Kan vara ett tecken på överanpassning

32 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Kalibrering Exempel Fraction Surviving 365 Day Predicted 365 Day Survival Black: observed Gray: ideal B=50 based on observed predicted Blue : optimism corrected Mean error = Quantile=0.003

33 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Validering Vi vill veta hur bra modellen generaliserar till nya data Vi skiljer på intern och extern validitet

34 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Extern validitet Extern validitet är gold standard Fungerar modellen i den kliniska verkligheten den var framtagen att användas i? Helst en annan region under en annan tid av andra tillämpare Beräkna prediktioner baserat på den framtagna modellen och jämför med observerat utfall i valideringsdatat (OBS! inte samma sak som att ta fram en ny modell på de nya data)

35 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Intern validitet Modellen utvärderas på samma data som den framtagits på Ser ofta bra ut p.g.a. överanpassning Försök efterlikna extern validitet genom att dela upp data.

36 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Intern validitet Dela i två delar Dela upp i modelleringsdata och ett valideringsdata. Vanligen 2/3 för framtagning av modell och 1/3 för validering. Slöseri med data. Minskar möjligheten till flexibel modellering. Annan indelning ger troligen annat resultat Rekommenderas ej!

37 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Intern validitet Bättre: korsvalidering Dela upp data i k st delar. Ta fram modellen på samma sätt som för alla data men använd bara k 1 av delarna och utvärdera på den del som hölls ute. Upprepa k ggr så att alla observationer utvärderats en gång. Fungerar ofta ok k väljs vanligen till 5 eller 10. Kan upprepas (upprepad korsvalidering) med nya indelningar

38 J Lindbäck (UCR) Multivariabla modeller 26/ /36 Introduktion Några saker att beakta Utvärdering av modeller Intern validitet Bäst: bootstrap Dra nya stickprov (med återläggning) av samma storlek som ursprungsdata Ta fram modellen på samma sätt som för alla data Utvärdera modellen på orginaldatat Beräkna mått för diskrininering, kalibrering, etc. ta genomsnitt över alla bootstrapstickprov. Skillnaden mellan dessa och de ursprungliga måtten mäter överoptimismen. Genom att ta hänsyn till optimismen kan man få en uppskattning om hur modellen kommer att fungera på nya data och justera sin modell utifrån det.