MULTIPEL IMPUTATION. Ett sätt att fylla i hålen i ditt datamaterial?

Transkript

1 MULTIPEL IMPUTATION Ett sätt att fylla i hålen i ditt datamaterial? Pär Ola Bendahl IKVL, Avdelningen för Onkologi Lunds Universitet Par Ola.Bendahl@med.lu.se

2 Översikt 1. Introduktion till problemet 2. Enkla metoder att hantera missing data 3. Multipel imputation 4. Fördelar, nackdelar, tips och exempel

3 1. Introduktion till problemet

4 Bekant situation? Hur hanterar DU detta problem vid modellering?

5 Complete case analysis Default i de flesta programpaket Ineffektivt utnyttjande av data Bias?

6 Varför saknas data?

7 Orsaker Samlades aldrig in avsiktligt (design) eller oavsiktligt Förlorades Prov togs med inget analyssvar Tappade provrör Felaktig mätning Tinade prov (dålig DNA kvalitet) Dåligt kalibrerat mätinstrument

8 Spelar det någon roll varför data saknas?

9 Missing data mekanismer Missing completely at random (MCAR) Missing at random (MAR) Missing not at random (MNAR)

10 Missing completely at random (MCAR) M = P(data missing) beror varken på observerade eller saknade data. Observerade data M Missing data Ex: Blodprov som tappats i golvet

11 Missing at random (MAR) M = P(data missing) beror på observerade data men INTE på de okända saknade mätvärdena Observerade data M Missing data Ex: Högre sannolikhet att blodtrycket mäts på äldre individer. Ålder mäts

12 Missing not at random (MNAR) M = P(data missing) beror på både observerade data och de okända saknade mätvärdena Observerade data M Missing data Ex: Individer med högt blodtryck har högre sannolikhet att komma med i stickprovet än andra individer av samma ålder

13 Hur skiljer man på MCAR, MAR och MNAR? Förslag? Att beskriva data räcker inte Kännedom om datainsamlingsprocessen nödvändig MCAR vs MAR Undersök mönster i missing data Kan vissa variabler prediktera missingness MAR vs MNAR Mätning av fler förklarande variabler (från MNAR mot MAR)

14 Enkla imputationsmetoder

15 3 Mean Imputation Mean Imputation Y x Observed Imputed Ersätt alla saknade värden för Y med medelvärdet för Y Variansen i Y underskattas Associationer kan förvrängas Bias i parameterskattningar (speciellt under MNAR)

16 3 Regression Imputation 2 Regression 1 Y Imputation x Observed Imputed Anpassa en regressionsmodell till fullständigt observerade data Använd denna för att prediktera saknade värden Bättre Associationer mellan variabler bibehålls Korrelationer överskattas

17 3 Stochastic Imputation Stokastisk imputation Y x Observed Imputed Addera ett slumpmässigt normalfördelat fel till det predikterade värdet Ännu lite bättre

18 Multipel Imputation

19 Idé Utnyttja korrelationsstrukturen i data Använd stokastisk imputation för att skapa m fullständiga imputerade dataset Analysera varje dataset separat Kombinera resultaten (Rubins regler)

20 MICE

21 Multiple Imputation by Chained Equations Van Buuren et al Implementerat i Stata av Patrick Royston (uvis/ice) Univariat: X 1 har missing values (förutsätts vara MAR) X 2,, X k fullständigt observerade Anpassa regression av X 1 på X 2,, X k (fullständiga data) Imputera de saknade X 1 -värdena genom slumpmässig dragning från fördelningen för oobserverade data givet observerade data Normalfördelade slumpfel förutsätts Proper imputation Beaktar både estimations- och prediktionsfel

22 MICE Multivariat Missing values för mer än en variabel 1. Fyll i alla hål helt slumpmässigt (initialisera) 2. Univariat Stok. Imp. Regression av X 1 på X 2,, X k Univariat Stok. Imp. Regression av X 2 på övriga Univariat Stok. Imp. Regression av X k på övriga 3. Upprepa cykeln i steg 2 cirka 10 gånger. Detta ger ett imputerat dataset 4. Upprepa steg 1 3 m gånger

23 Regressionsmodeller i MICE Kontinuerliga variabler imputeras med Linjär Regression Variabeltransformation kan vara nödvändig Binära variabler Logistisk regression Kategoriska data > 2 klasser Multinomial logistisk regression Ordnade kategoriska data Ordnad logistisk regression

24 Några kommentarer Imputationsmetoder som bygger på antaganden om multivariata normalfördelningar vanligast i statistikprogrampaket (Ex: mi sviten i Stata) Predictive Mean Matching (PMM) finns implementerat i Stata Idé: Hitta individer som i någon listig mening är lika och ersätt saknade kovariatvärden med närmsta grannens värden. Fördel Aldrig orimliga prediktiktioner Fungerar ofta bra vid skeva fördelningar

25 Bör utfallsvariabeln Y betraktas som en variabel i mängden vid imputation av kovariatvärden?

26 Svaret är ja! Om utfallsvariabeln Y ej med i imputationsmodellen så underskattas associationen mellan kovariaterna och utfallsvariabeln Ingen association alls mellan Y och kovariaterna i den del av data som imputerats om Y inte beaktas vid imputation Associationen späds alltså ut vid felaktig imputation Kan leda till bias i parameterskattningar Moons et al bra exempel

27 4 Observerade data: X MAR 2 Y Missing X Observerade data Observationer för vilka X saknas Sann regression

28 4 Y ej i imputationsmodellen 2 Y Missing X Observerade data Imp. utan hänsyn till Y Sann regression Biased regression

29 4 Y i imputationsmodellen 2 Y Missing X Observerade data Imp. med hänsyn till Y Sann regression Unbiased regression

30 Hur imputerar man överlevnadsdata?

31 Congenialitet Imputationsmodellen bör matcha analysmodellen Om data skall analyseras med Cox regression bör man ta med Nelson Aalen skattningen av den kumulativa hazarden och censureringsindikatorn i imputationsmodellen Idé imputera en gång per projekt

32 Ett exempel

33 på hur illa det kan gå om man använder MI okritiskt Antal individer i studien: 1,280, ,000 i en valideringskohort Huvudresultat: Högt kolesterol ingen riskfaktor för kardiovaskulär sjukdom

34 Vad gick snett? Kolesterolvariabeln (en kvot, total/hdl) var extremt skevfördelad. Täljare och nämnare imputerades separat NA skattning ej med i imputationsmodellen 70% missing för den primära variabeln Problemen hade upptäckts om fördelningarna för imputerade och fullständiga data hade jämförts HR = 1.001; 95% CI: i felaktig analys HR = 1.17; 95% CI: i korrigerad analys

35 Några tumregler Lär känna dina data Studera mönster i missing data Jämför imputerade och observerade värden Jämför MI analys med complete case analys Alla variabler i analysmodellen skall vara med i imputationsmodellen

36 Mer info om MI

37 Tack till: MRC, Cambridge Linn - för foton Er - för visat intresse