Metoder för att hantera bortfall i en klinisk studie. Methods for handling missingness in a clinical study. Ann Louise Jensen och Rana Abdullah

Transkript

1 Kandidatuppsats Statistiska institutionen Bachelor thesis, Department of Statistics Nr 2015:11 Metoder för att hantera bortfall i en klinisk studie Methods for handling missingness in a clinical study Ann Louise Jensen och Rana Abdullah Självständigt arbete 15 högskolepoäng inom Statistik III, VT2015 Handledare: Daniel Thorburn

2

3 Sammanfattning Med utgångspunkt i en randomiserad prövning av en läkemedelsbehandling för barn som har fötts för tidigt simuleras en population med variabler som anses kunna ha samband med för tidig födsel och barns utveckling. Ur populationen dras 500 urval som det sedan skapas bortfall i med två olika typer av bortfallsmekanismer. Därefter tillämpas två typer av multipel imputering, multivariat normalmodell och fully conditional specification på datamaterialet. Dessutom används medelvärdesimputering samt analys med enbart de kompletta fallen. Skattningar av medelvärden och regressionskoefficienter tas fram. Resultaten visar att det överlag inte blir någon större skillnad i bias för skattningarna metoderna emellan. Däremot finns skillnader vad gäller medelfel och MSE. I många fall ger de båda typerna av multipel imputering lägre medelfel och MSE än när endast de kompletta fallen analyseras. Dessutom testas styrka i att upptäcka behandlingseffekt med tre olika regressionsmodeller. Teststyrkan är hög i samtliga fall, men två av modellerna ger lägre standardavvikelser för multipel imputering och medelvärdesimputering än då endast kompletta fall används. Nyckelord: bortfall, multipel imputering, complete case analysis, fully conditional specification, multivariat normalmodell, simulering. 3

4 Förord Vi vill rikta ett stort tack till vår handledare Daniel Thorburn för hjälp och guidning genom arbetet. Tack också till Frank Miller för introduktion till ämnet. 4

5 Innehållsförteckning 1.Introduktion Inledning Syfte Metod Disposition Bortfall Allmänt om bortfall Bortfallsmönster Bortfallsmekanismer Metoder för Bortfallshantering Kriterier för utvärdering av metoder Äldre metoder Att utesluta inkompletta fall Enkel imputering Multipel imputering Antal imputeringar Imputeringsmodellen Multivariat normalmodell Om avrundning Fully conditional specification METOD OCH MATERIAL Populationen Bortfallsmodell Bortfallsmönster i datasetet Beskrivning av populationen Använda metoder Resultat Skattningar av medelvärden Skattningar av regressionskoefficienter Resultat för teststyrka Diskussion och slutsatser Referenser Bilaga

6 6

7 1 INTRODUKTION 1.1 Inledning Bortfall är ett vanligt förekommande problem vid olika typer av statistiska undersökningar. När saknade data inte hanteras på ett korrekt sätt ökar risken för problem såsom skeva skattningar, minskad statistisk styrka och analyser som inte är tillförlitliga (Schafer och Graham 2002). Ett område där bortfall nästan alltid påträffas är inom medicinska studier, och i värsta fall riskerar det att leda till publicering av felaktiga slutsatser om det ignoreras eller hanteras olämpligt (Fielding, Fayers & Ramsay 2012, Janssen et. al. 2010). I en undersökning av randomiserade studier konstaterades till exempel att 89 procent av de försök som hade publicerats i ledande medicinska tidskrifter under en period om sex månader rapporterade bortfall till någon del. (Wood, White & Thompson 2004). I 13 av 71 försök saknades det resultatdata för mer än 20 procent av patienterna. Användandet av moderna metoder för att hantera bortfall var litet. Ofta har forskare helt enkelt använt sig enbart av de kompletta fallen, vilket också är standard i många statistiska mjukvaruprogram. Andra vanliga tillvägagångssätt inkluderar att ersätta saknade data med medelvärdet för de observerade fallen, eller vid longitudinella studier att istället för det saknade använda sig av det senast observerade värdet (Sterne et. al. 2009). De nämnda metoderna är i många situationer olämpliga, och kan leda till snedvridna resultat och minskad validitet. En modern teknik för bortfallshantering är multipel imputering där rimliga värden fylls i istället för de saknade. Multipel imputering innebär att flera dataset med olika imputerade värden skapas, vilket gör det möjligt att uppskatta imputeringsdelens bidrag till slumpfelet. Den ökade osäkerhet som bortfallet medför bevaras i analysen (Janssen et. al. 2010). År 2007 skedde ungefär hälften av all tillämpning av multipel imputering inom det medicinska området, och det finns exempel på utvärderingar av tekniken inom bland annat epidemiologi, folkhälsa och forskning om livskvalitet (Van Buuren 2007). Vissa forskare menar att samtidigt som metoden har fått tilltagande uppmärksamhet och användning i den medicinska litteraturen, så verkar det fortfarande finnas en hel del omedvetenhet kring den (se t.ex. Fielding, Fayers & Ramsay 2012, Janssen et. al. 2010). 1.2 Syfte Ett syfte med den här uppsatsen kommer att vara att undersöka bortfallets effekter på skattningar vid kliniska studier, samt att jämföra hur väl olika metoder för att hantera saknade data fungerar, med särskild tonvikt på två varianter av multipel imputering. Vidare är syftet att undersöka om styrkan i skattningar av en behandlingseffekt påverkas av val av metod för bortfallshantering. Ytterligare ett syfte är att konstruera en population med realistiska egenskaper och bortfallsmönster. Tanken är att populationen och urval från den kan användas för att studera de undersökta metodernas egenskaper. 1.3 Metod För att uppnå syftet har vi valt att utgå från en kandidatuppsats som skrevs vid Statistiska institutionen hösten 2013, Jämförelse av analysmodeller för effekt av behandling av för tidigt 7

8 födda barn. I uppsatsen beräknades styrka för test av hypotetisk effekt av en läkemedelsbehandling som getts till barn födda innan graviditetsvecka 32 (Sipos & Aydin 2013). Även andra variabler förutom behandlingen som ansågs kunna påverka risken att föda för tidigt eller barns utveckling ingick i undersökningen. För en del av variablerna saknades många värden, vilket innebar att det var svårt att använda dem vid modellanpassning. Av 192 patienter var det endast 82 som inte hade några saknade värden. Anledningen till att vi har valt uppsatsen som utgångspunkt är att den behandlar en klinisk studie med bortfall. De metoder vi tillämpar skulle dock kunna användas även i andra situationer. Eftersom vi inte har haft tillgång till det dataset som användes i Aydin och Sipos uppsats, men däremot en del uppgifter om samband, medelvärden, standardavvikelser m.m. så har vi simulerat fram en population. Förutom de ursprungliga variablerna har ytterligare variabler som anses ha samband med för tidig födsel och barns utveckling lagts till. Därefter har bortfall skapats i populationen med två olika bortfallsmekanismer i syfte att kunna jämföra resultaten mellan dessa. Vi har valt att skapa bortfall för en kategorisk och två kontinuerliga variabler, även här är tanken att kunna göra jämförelser. Två olika metoder för multipel imputering tillämpas. Dessutom görs analyser med hjälp av endast de kompletta fallen, och genom att ersätta saknade värden med medelvärdet för de fall som finns observerade. Som vi har sett ovan har båda dessa tillvägagångssätt varit vanliga inom medicinska undersökningar. Slutligen försöker vi också titta på vilken betydelse det hade kunnat ha i ursprungssituationen (det vill säga i fallet med den tidigare uppsatsen) om någon metod för att hantera bortfall hade använts. Hade det exempelvis varit möjligt att hitta någon mer variabel som var signifikant för att förklara utfallet och att hitta en bättre modell? 1.4 Disposition I kapitel 2 ges en generell genomgång av vad bortfall innebär samt en beskrivning av olika bortfallsmönster och bortfallsmekanismer. Teori kring olika metoder för att hantera saknade värden i en undersökning finns i kapitel 3. I kapitel 4 beskrivs hur populationen har konstruerats och dess egenskaper. Dessutom finns beskrivningar av hur bortfall har skapats i datamaterialet, och vilka metoder som kommer att tillämpas i uppsatsen. Kapitel 5 innehåller en redovisning av resultaten. Slutligen kommer kapitel 6 med diskussion kring resultaten och slutsatser. 8

9 2 BORTFALL 2.1 Allmänt om bortfall Bortfall förekommer i alla slags statistiska undersökningar och kan vara en felkälla som försämrar en undersöknings resultat. Värden för vissa av observationsvariablerna kan saknas av en mängd olika anledningar. I en intervjuundersökning exempelvis kan deltagare avstå från att svara på frågor på grund av att personen inte har förstått frågorna eller inte vill lämna uppgift om sin inkomst (Allison 2002, 1). Vid insamlande av data från administrativa register kan en del av dem ha gått förlorade. Bortfall delas ofta in i totalbortfall och partiellt bortfall (Biemer & Lyberg 2003, 63). Partiellt bortfall kan bero på att en deltagare hoppar över eller bortser från att svara på några frågor i frågeformuläret. Skälet kan vara att de inte vill svara eller har personliga skäl som hindrar dem från att fylla i alla svar i en undersökning. Totalt bortfall, eller objektbortfall, innebär att frågeformuläret inte har besvarats alls eller att respondenten inte deltar i alla moment i undersökningen. Bortfall är ett stort problem i statistiska undersökningar och ju större bortfallet är, desto osäkrare blir skattningen. Därför är det viktigt att försöka minska bortfallet och dessutom att använda metoder som tar hänsyn till det bortfall som ändå uppstår. 2.2 Bortfallsmönster Bortfallsmönstret beskriver vilka värden som är observerade och vilka som saknas i en datamatris (Little & Rubin 2002, 4). Låt YY = (YYiiii) beteckna ett dataset med enbart observerade värden. När det finns saknade data betecknar RR = (RRiiii) en indikatormatris för bortfall. Om det finns bortfall är RRiiii = 0 och när det ej finns bortfall är RRiiii = 1. Matrisen RR definierar då bortfallsmönstret. Några exempel på bortfallsmönster är (Little & Rubin 2002, 4-7): 1. Univariat bortfall innebär att det endast är en variabel som har saknade värden. Denna typ av bortfallsmönster uppstår t.ex. i planerade experiment där målet är att titta på förhållandet mellan en beroende variabel och ett antal faktorer, men där utfallet saknas för vissa fall för en av faktorerna. Figur 2.1: Univariat bortfallsmönster Källa: Schafer & Graham 2002,

10 2. Monotont mönster är i praktiken ovanligt, däremot kan bortfallet i många situationer vara nästan monotont. Ett vanligt exempel på ett monotont bortfallsmönster är när en deltagare hoppar av en longitudinell studie där information om fallen samlas in flera gånger över tid. Det kan exempelvis handla om en klinisk studie där deltagare hoppar av innan den är slutförd och inte återvänder. Metoderna för att hantera monotona bortfallsmönster kan vara lättare att tillämpa än metoderna för generella mönster, och därför kan det ibland vara en idé att försöka organisera data till ett monotont mönster om det är möjligt. Figur 2.2: Monotont bortfallsmönster Källa: Schafer & Graham 2002, Ett generellt, eller slumpmässigt bortfallsmönster betyder att vilka variabler som helst kan saknas för samtliga fall (Schafer & Graham 2002). Figur 2.3: Generellt bortfallsmönster Källa: Schafer & Graham 2002, Bortfallsmekanismer Något annat som har betydelse för hur saknade data bör hanteras är de mekanismer som leder till bortfallet (Little & Rubin 2002, 11). När man undersöker bortfallsmekanismen är det särskilt intressant att titta på om det faktum att observationer saknas beror på värden för variablerna i datasetet. Som ovan låter vi RR= RR iiii vara en indikator för saknad data. När YY är observerad är RR = 1, annars är RR = 0. Låt också YY cccccc vara det kompletta datasetet, YY oooooo de observerade värdena och YY mmmmmm de saknade. Det kompletta datatsetet definieras då som YY cccccc = (YY oooooo, YY mmmmmm ). Bortfallet RR kan ses som en uppsättning slumpvariabler med en gemensam sannolikhetsfördelning (Schafer & Graham 2002). Sannolikhetsfördelningen för RR kan sedan refereras till som sannolikheten för bortfall. Ett vanligt sätt att kategorisera olika typer av sannolikhet för bortfall är med hjälp av bortfallsmekanismerna 10

11 Missing completely at random Missing at random Missing not at random. Missing completely at random (MCAR), kan på svenska benämnas fullständigt slumpmässigt bortfall. Denna typ av bortfall uppstår när fördelningen varken beror på de saknade eller de observerade värdena i datasetet (Schafer & Graham 2002). PP(RR YYYYYYYY) = PP(RR) (2.1) Om vi föreställer oss en undersökning där deltagarna dragits från en population oberoende av varandra, och där observationer för variablerna XX och YY samlas in, så innebär MCAR att sannolikheten för att YY saknas för en deltagare inte beror på dennes värden för XX eller YY. Figur 2.4: Illustration av MCAR, fullständigt slumpmässigt bortfall. I figuren representerar X komplett observerade variabler, Y variabler som delvis har bortfall, Z representerar en komponent som består av orsakerna till bortfallet orelaterat till X och Y, och R är bortfallet. Källa: Schafer & Graham 2002, 152. MCAR är egentligen ett specialfall av bortfallsmekanismen missing at random (MAR). MAR innebär att sannolikheten för bortfallet beror på observerade men inte på saknade data (Little & Rubin 2002, 12). MCAR kan alltså sägas vara en mer restriktiv variant av MAR. Matematiskt kan MAR betecknas som PP(RR YYcccccc) = PP(RR YYoooooo). (2.2) Bortfallsmekanismen MAR kan på svenska benämnas slumpmässigt bortfall. Grafiskt kan den vanligaste situationen när data är MAR representeras som i figuren nedan. Figur 2.5: Illustration av den vanligaste situationen av MAR, slumpmässigt bortfall. I figuren representerar X komplett observerade variabler, Y variabler som delvis har bortfall, Z representerar en komponent som består av orsakerna till bortfallet orelaterat till X och Y, och R är bortfallet. Källa: Schafer & Graham 2002, 152. Den tredje typen av bortfallsmekanismen, missing not at random (MNAR), uppstår när bortfallet beror på saknade data (Schafer & Graham 2002). 11

12 PP(RR ) = PP(RR YYoooooo, YYmmmmmm) (2.3) Den här varianten av bortfallsmekanism är alltså inte slumpmässig utan att anledningen till att en observation för YY saknas beror på själva det saknade värdet. Ett exempel som är aktuellt i vårt fall skulle kunna vara att gravida kvinnor som röker inte vill uppge sin konsumtion av cigaretter, och därför inte besvarar en fråga om detta i en undersökning. Figur 2.6: Illustration av MNAR, icke slumpmässigt bortfall. I figuren representerar X komplett observerade variable, Y variabler som delvis har bortfall, Z representerar en component som består av orsakerna till bortfallet orelaterat till X och Y, och R är bortfallet. Källa: Schafer & Graham 2002, 152. En annan uppdelning av bortfallsmekanismer är i ignorable och nonignorable nonresponse (Allison 2002, 5). När bortfallsmekanismen är ignorable (det vill säga ignorerbar) finns det inget behov av att modellera bortfallsmekanismen som en del i skattningsprocessen. Däremot om bortfallsmekanismen är nonignorable (det vill saga inte kan ignoreras) måste ofta bortfallsmekanismen modelleras för att få bra skattningar av parametrarna av intresse. Bortfallsmekanismen MAR kan sägas vara ignorable och MNAR nonignorable. 12

13 3 METODER FÖR BORTFALLSHANTERING 3.1 Kriterier för utvärdering av metoder Det finns många olika metoder som kan användas för att hantera bortfall, och de kan vara mer eller mindre lämpliga i olika situationer. Målet när metoderna tillämpas är att göra giltiga och effektiva inferenser om den population man är intresserad av, och således inte att återskapa de saknade observationerna eller att få exakt samma resultat som helt komplett data hade medfört (Schafer & Graham 2002). För att utvärdera hur väl metoderna fungerar finns det flera olika aspekter att titta på. Schafer och Graham sammanfattar ett antal kriterier som kan användas (2002). Låt QQ beteckna den parameter som ska skattas, och QQ vara en skattning av QQ baserad på ett urval. När en metod för att hantera bortfall tillämpas är det för det första önskvärt att QQ och QQ ligger nära varandra, det vill säga bias ska vara så liten som möjligt. Den undersökta parametern kan vara exempelvis medelvärde, regressionskoefficient eller korrelation. Enligt Schafer och Graham är en tumregel att bias blir problematisk om dess absolutvärde är större än ungefär hälften av skattningens medelfel. Vid högre värden än så börjar täckningsgraden för 95 procentiga konfidensintervall minska nämnvärt. Det är också önskvärt med liten varians och standardavvikelse för skattningen. Bias och varians kan kombineras till medelkvadratfelet (MSE). MSE motsvarar det genomsnittliga värdet för det kvadrerade avståndet mellan QQ och QQ, och kan beräknas genom att summera bias i kvadrat med variansen. Vidare är det lämpligt med mått på osäkerheten i analysen. Medelfelet (SE) är ett exempel på ett sådant mått, och bör ligga så nära den sanna standardavvikelsen som möjligt. Täckningsgraden visar i hur stor andel av fallen som det sanna värdet ligger inom ett visst konfidensintervall vid upprepade mätningar. När täckningsgraden är korrekt, så är också sannolikheten för typ I-fel korrekt. Med en signifikansnivå som exempelvis är satt till 5 procent, bör ungefär 95 procent av konfidensintervallen inkludera det sanna parametervärdet. Om vi fortsätter använda en konfidensgrad på 5 procent som exempel, så eftersträvas att konfidensintervallen, så länge täckningsgraden är närmare 95 procent, ska vara så snäva som möjligt. Schafer och Graham anser att täckningsgraden är för låg om den faller under 90 procent. Det finns två orsaker till för låg täckningsgrad, bias eller att skattningens sanna spridning är undervärderad. Bias medför att intervallen centreras till höger eller vänster om det sanna värdet, och för lågt värderad spridning ger för smala intervall. (Ibid.) För hög täckningsgrad å andra sidan kan indikera att konfidensintervallen är för breda (Janssen et. al. 2010). Alla dessa mått och kriterier kan alltså användas för utvärdering när en metod för att hantera bortfall tillämpas. Nedan följer en teoretisk genomgång av några av de mest använda metoderna. 13

14 3.2 Äldre metoder Att utesluta inkompletta fall Complete case analysis (CCA) är en metod som har fördelen att den är lätt att förstå och tillämpa. Metoden kallas även listwise deletion och innebär att endast de fall för vilka mätvärden finns för alla variabler av intresse inkluderas i analysen (Graham 2012, 48). Förutom enkelhet är fördelar med CCA att den går att använda vid all slag statistisk analys, och att det inte krävs några särskilda metoder när datoranalys ska göras. (Allison 2002, 6) Om data är MCAR ger CCA giltiga inferenser eftersom de reducerade fallen då är ett slumpmässigt urval av det ursprungliga urvalet. (Ibid. 6-7) Det finns dock nackdelar med CCA som uppstår genom att information går förlorad när de inkompletta fallen tas bort (Little & Rubin 2002, 41). När data inte är MCAR kan den saknade informationen leda till minskad precision och även bias hos de skattade parametrarna eftersom de inkluderade fallen inte säkert representativa för hela urvalet (Graham 2012, 48). Enligt Little och Rubin kan CCA vara en användbar metod på grund av sin enkelhet när förlusten av precision och bias är minimala, vilket är mer troligt när bortfallet inte är så stort. (2002, 41-42). Det finns dock ingen tumregel för hur stort bortfall som är acceptabelt eftersom konsekvenserna av att använda metoden beror på mer än bara andelen bortfall och bortfallsmönstret. I vissa situationer kan det bli så att en väldigt stor del av urvalet uteslutas vid CCA. Molenberghs och Kenward anger som exempel ett dataset med 20 variabler där varje variabel oberoende av de andra har 10 procents sannolikhet att saknas (2007, 43). I en sådan situation blir den förväntade andelen kompletta fall enbart 13 procent, vilket bör medföra en stor påverkan på precision och styrka när analyser genomförs. Schafer och Graham visar i en simuleringsstudie av CCA hur bland annat standardavvikelser, medelvärden och konfidensintervall påverkas när bortfallsmekanismen ändras (2002). I studien skapades ett bortfall på 73 procent, vilket kan tyckas högt, men författarna menar att det inte är ovanligt att se ett så stort bortfall i publicerade studier. Ettusen urval drogs, och parameterskattningarna uppvisade i de flesta fall avsevärd bias när bortfallet var MAR eller MNAR. Dessutom innehöll till exempel konfidensintervallen för det skattade medelvärdet det sanna värdet i enbart 18.8 procent av fallen för MAR, och när data var MNAR var siffran 0 procent Enkel imputering Imputering innebär att de saknade värdena ersätts av nya värden, och därefter genomförs analysen som om datasetet vore komplett (Allison 2002, 11). Vid enkel imputering fylls endast ett värde i istället för det saknade. Ett samlingsnamn för dessa metoder är på engelska single imputation. Vi har valt att översätta detta med enkel imputering i betydelsen att det enbart är ett enskilt värde som ersätter det saknade. Multipel imputering (MI), där bortfallet ersätts med flera värden, diskuteras längre ned. Det finns många olika typer av enkel imputering. Schafer och Graham framhåller flera egenskaper som gör att imputering kan ses som ett bra alternativ för att hantera bortfall (2002). Eftersom inga fall behöver uteslutas minskar inte urvalsstorleken, och därmed inte styrkan i testerna som kan vara fallet när inkompletta fall exkluderas. Det finns också möjlighet att bibehålla en högre grad av precision om observationerna innehåller information som kan användas för att förutse de saknade värdena. Genom imputeringen skapas också ett till synes komplett dataset som sedan kan användas för att göra vanliga statistiska analyser. Ytterligare en fördel är att efter att 14

15 imputeringen har gjorts kan analyser genomföras av flera olika personer eller instanser på samma uppsättning av data, vilket underlättar jämförelser i ett senare skede. (Ibid.) Medelvärdesimputering (MVI) som inte är villkorad (unconditional mean imputation) innebär helt enkelt att de saknade värdena ersätts med medelvärdet för de mätningar som finns registrerade för en viss variabel. Metoden kan fungera för att förutsäga saknad data, men det finns också problem med den. Graham menar att MVI är det sämsta möjliga sättet att hantera saknade data på eftersom variansen reduceras och existerande korrelationer och kovarianser förvrids (2012, 51). Utöver detta är det problematiskt att skatta medelfel. Medelfelet blir mindre än när CCA tillämpas eftersom urvalsstorleken är större när inga fall utesluts, men det reflekterar inte den osäkerhet som finns i datan på grund av bortfallet på ett adekvat sätt (Pigott 2001). Allt detta gäller även om data är MCAR, eftersom värdena som fylls i ligger i fördelningens mitt. Också andra författare såsom Rubin och Little uppger att metoden inte kan rekommenderas (2002, 61-62). Det finns en annan typ av medelvärdesimputering som istället fyller i villkorade medelvärden för bortfallet givet de värden som finns observerade (conditional mean imputation). En variant av metoden är regressionsimputering, som går ut på att dela upp datasetet i två grupper, en där variabeln av intresse (Y) inte har några saknade värden, och en annan där observationer för Y saknas (Graham 2012, 52). Därefter beräknas en regressionsekvation för den första gruppen på sedvanligt vis. yy = ββ 0 + ββ 1XX 1 + ββ 2XX 2 (3.1) Med hjälp av den skattade regressionen kan sedan värden som saknas för Y beräknas. Det som är positivt med denna variant av imputering är att den utnyttjar mycket av den information som finns för att förutse saknade de saknade värdena (Graham 2012, 52). Ju högre korrelationerna är mellan prediktorerna och responsvariabeln, ju bättre fungerar metoden. En nackdel är dock att variansen blir för låg eftersom de imputerade värdena alltid faller precis på regressionslinjen (se figur XX nedan). Metoden överdriver därför sambanden mellan respons och prediktorer, och lämpar sig inte för korrelations- och kovariansanalys (Schafer & Graham 2002). Ett sätt att komma tillrätta med snedvridningen av kovarianser är att istället ersätta saknade värden genom att dra slumpmässiga värden från en villkorad fördelning av troliga utfall (Rubin och Little 2002, 64). På så sätt undviks att imputeringen sker från fördelningens mitt. Ett exempel på denna metod är stokastisk regressionsimputering (även kallad conditional draws på engelska). Ekvationen som används för metoden är som följer: yy iiii = ββ 0 + ββ 1XX 1 + ββ 2XX 2 + zz iiii (3.2) Vi kan se att vi här har lagt till z ik, som är en slumpmässig normalfördelad avvikelseterm som ser till att imputeringen görs från de saknade värdenas villkorade distribution istället för medelvärdet (Rubin & Little 2002, 65). Enligt Schafer och Graham kan det i vissa fall vara svårt att korrekt modellera den villkorade fördelningen (2002). Särskilt med ett slumpmässigt bortfall kan det krävas nästan lika stor arbetsinsats som för att göra multipel imputering. Enklast brukar det enligt författarna vara för univariata bortfallsmönster. Om modellen är korrekt specificerad kan metoden dock ge skattade parametrar som i princip är utan bias om bortfallsmekanismen är MAR (ibid.). Rubin och Little framhåller att imputerade värden som 15

16 dras från en villkorad fördelning generellt kan sägas vara den bästa varianten av enkel imputering, men att metoden medför en förlust av precision (2002, 65, 72). Det finns också ett antal varianter av hot deck-procedurer. I dessa metoder ersätts bortfallet med samma värden som enheter i urvalet med liknande egenskaper har (Rubin & Little 2002, 66). Metoderna är vanliga inom surveyområdet. Alla imputeringsmetoder som beskrivits ovan har ett gemensamt problem, nämligen att det uppstår en systematisk underskattning av medelfelen, p-värdena för statistiska tester blir för små, och konfidensintervallen för snäva (Rubin & Little 2002, 72). Anledningen är att metoderna inte tar hänsyn till att imputering involverar en osäkerhet kring de saknade värdena. I figuren nedan (som har lånats från Schafer & Graham 2002) kan vi på ett enkelt sett se skillnader mellan några av de genomgångna metoderna. Saknade data gällande blodtrycksmätningar har fyllts i med hjälp av medelvärdesimputering, hot deck, regressionsimputering, samt från en villkorad fördelning för Y givet X. Bortfallsmekanismen är MAR. Variablerna är normalfördelade med en korrelation på 0.60, vilket innebär att en plot av datan borde ha en viss lutning och vara formad som ett elliptiskt moln (ibid.). Den enda metoden som uppnår detta någorlunda är imputering från den villkorade fördelningen vilket kan ses i figur XX nedan. Figur 3.1: Illustration av utfall för olika imputeringsmetoder. Källa: Schafer & Graham 2002, 160. Schafer och Graham gör också en simuleringsstudie med olika bortfallsmekanismer liknande den som nämnts ovan och tillämpar metoderna som finns med i figur XX. Resultatet blir bland annat att medelvärdesimputering och hot deck ger snedvridna skattningar för många parametrar, oberoende av bortfallsmekanismen (Schafer och Graham 2002). Regressionsimputering fungerar något bättre, men medför ändå bias för flera parametrar. Vid imputering från villkorad fördelning förekommer bias om bortfallsmekanismen är MNAR. 16

17 När det gäller hur stor andel av konfidensintervallen som innehåller det sanna parametervärdet uppvisar samtliga metoder stora problem oavsett vilken bortfallsmekanism data har. Schafer och Graham menar att det ändå kan finnas situationer när enkel imputering är bättre än att exkludera inkompletta fall, exempelvis om ett dataset med ganska många variabler har ett litet och utspritt bortfall. Ett urval med 25 variabler och tre procents uniformt utspritt bortfall kan till exempel leda till att mer än hälften av fallen utesluts med CC. Om man istället använder imputering från en villkorad fördelning kan hela urvalet användas, med endast en liten inverkan på skattningar och osäkerhetsmått. (Ibid.) 3.3 Multipel imputering Multipel imputering är en metod som till skillnad från enkel imputering inkorporerar osäkerhet i skattningarna av de saknade värdena (se t.ex. Schafer 1999). Idén om multipel imputering introducerades av Donald B. Rubin under 1970-talet och går ut på att varje saknat värde ersätts av två eller fler innan analys (Van Buuren 2012, 26 ). Resultatet blir flera kompletta dataset som ger något olika parameterskattningar varje gång (Allison 2002, 29). Variabiliteten som skapas gör att man tar hänsyn till osäkerheten i skattningarna. Till en början utvecklades förfarandet inom surveyområdet, men det är numera inom många områden accepterat som den generellt bästa metoden för att hantera inkompletta data (Van Buuren 2012, 25-27). Under 1990-talet och början av 2000-talet riktades kritik mot MI. Kritiken gällde bland annat att metoden ansågs underskatta kovarianser systematiskt, samt att Rubins sätt att skatta varians medförde bias. Gällande den sistnämnda kritiken argumenterade Rubin dock att variansskattning endast är ett mellansteg och att den bias som observerades inte verkade påverka täckningsgraden, varför det inte kunde anses utgöra en generell ogiltigförklaring av MI. Enligt Van Buuren skedde en förändring runt 2005, och nuförtiden används MI som måttstock när nya metoder introduceras. Multipel imputering består av tre steg som kort kan sammanfattas som följer (Graham 2012, 57): 1. Saknade data imputeras mm > 1 gånger med troliga värden, vilket genererar mm kompletta dataset. 2. Därefter analyseras alla dataseten med statistiska standardmetoder för att få fram de skattningar som är av intresse. 3. Slutligen kombineras resultaten för de mm dataseten till ett värde för varje parameterskattning som eftersöks. Beskrivningen i punktlistan är en mycket kortfattad beskrivning av proceduren vid MI. Det finns olika typer av MI som påverkar på vilket sätt själva imputeringen sker, vilket beskrivs närmare längre ned. De dataset som skapas med hjälp av multipel imputering kan analyseras med i princip alla metoder som hade kunnat användas på komplett data. Resultaten från de m dataseten kombineras enligt ett antal regler som Rubin (1987, 86-87) etablerade. Tillvägagångssättet finns också beskrivet i bl.a. Schafer och Olsen (1998). Den kombinerade, eller övergripande, skattningen för alla imputeringarna ges av 17

18 QQ = 1 mm QQ mm ii=1 ii. (3.3) Varje QQ ii motsvarar en parameterskattning för ett av de imputerade dataseten, vilket innebär att den övergripande skattningen är genomsnittet av dessa. För att beräkna den totala variansen för parameterskattningen krävs två olika komponenter, variansen inom varje dataset, och variansen mellan dataseten. Den genomsnittliga variansen inom dataseten ges av mm UU = 1 UU mm ii=1 ii, (3.4) där UU ii är variansen för de individuella skattningarna. För att beräkna variansen mellan de imputerade dataseten används BB = 1 mm mm 1 ii=1 (QQ ii QQ) 2, (3.5) vilket motsvarar urvalsvariansen för de individuella skattningarna. Den totala variansen, TT, är slutligen summan av de två varianskomponenterna ovan tillsammans med en korrektionsfaktor som justerar för fel hos BB som uppstår på grund av simulering. Formeln för att beräkna TT är TT = UU BB. (3.6) mm För att få fram medelfelet för QQ tas kvadratroten ur TT. Storleken på variansen mellan dataseten i förhållande till den genomsnittliga variansen inom dataseten är ett mått på hur mycket information som finns i den saknade delen av data i relation till den information som finns i den observerade delen. Konfidensintervall beräknas genom att använda approximationen QQ ± tt dddd TT. (3.7) I formeln tas den kombinerade skattningen plus/minus en kvantil av Students tt-fördelning multiplicerat med det övergripande standardfelet. Frihetsgraderna ges av ekvationen dddd = (mm 1) 1 + mmuu (mm+1)bb 2. (3.8) Enligt Berglund och Heeringa har simuleringsstudier visat att konfidensintervallen som produceras när multipel imputering tillämpas i SAS för stora urval, ger sanna täckningsgrader för populationsvärdet som ligger väldigt nära den konfidensgrad (1 αα) som har valts (2014, 28). Åtminstone gäller detta när bortfallsmekanismen är MAR och modellen rätt specificerad. Utifrån ekvation XX kan vi se att antalet frihetsgrader påverkas både av antal imputeringar och av storleken på BB och UU i förhållande till varandra (Schafer & Olsen 1998). Värden nära det minimala värdet mm 1 fås när BB dominerar över UU. När det är tvärtom kan antalet frihetsgrader närma sig oändligheten. Detta innebär att när antalet frihetsgrader är litet kan större effektivitet i form av mer precisa skattningar och snävare intervall uppnås genom att öka antalet imputeringar. Däremot tyder ett stort antal frihetsgrader på att ett ökat antal imputeringar inte ger någon större vinning. Graham uppger att frihetsgraderna kan anses ge en 18

19 indikation om stabiliteten för parameterskattningarna som skapats genom multipel imputering (2012, 59). Om antalet frihetsgrader är stort i förhållande till mm så är parameterskattningarna stabila och trovärdiga, däremot om frihetsgraderna är få så har skattningarna inte stabiliserats, och fler imputeringar bör göras. Nollhypotesen QQ = 0 kan testas genom att jämföra QQ / TT med tt-fördelningen. Den osäkerhet som medförs av bortfallet återspeglas vid MI i bredden på konfidensintervallen (Van Buuren 2007) Antal imputeringar När det gäller hur många imputeringar som behövs finns det olika uppfattningar. Till en början ansågs ett ganska litet antal vara tillräckligt. Rubin angav till exempel att det räcker med så få som 5 stycken i de flesta fall (1996). Effektiviteten för en skattning baserad på m imputeringar, jämfört med en baserad på ett oändligt antal är (1 + λλ/mm) 1, där λλ är graden av saknad information. Det innebär att vad som är ett lämpligt antal imputeringar beror på hur stor andel av informationen som saknas, men även att en ökning av antalet inte gör så stor skillnad om graden av saknad information inte är ovanligt hög (Schafer 1999, Schafer & Graham 2002). Med saknad information avses här den andel information som har förlorats för en parameteskattning på grund av bortfall (Graham 2012, 59). I enkla situationer är graden av saknad information densamma som graden av saknade data. I fall där det finns variabler som är korrelerade med den variabel som har bortfall så minskar graden av saknad information dock eftersom en del av den återfås genom korrelationerna. Berglund och Heeringa uppger att vid en måttlig grad av saknad information (< 20 procent) så uppnås mer än 96 procents effektivitet med 5-10 upprepningar (2014, 30). Vid en högre grad (30-50 procent) kan 20 eller 30 imputeringar vara lämpliga för att upprätthålla en relativ effektivitet om 95 procent eller mer. Schafer och Graham påpekar att den extra tid och ansträngning som krävs för att hantera 20 upprepningar istället för 10 oftast inte har någon större konsekvens när analysen genomförs (2002). Enligt Allison (2012) så är problemet med tidigare rekommendationer om 3-5 imputeringar att fokus var enbart på effektivitet. Han menar dock att även om krav på effektivitet kan uppnås med få imputeringar, så är ofta så inte fallet när det gäller att ta fram standardfel, konfidensintervall och p-värden. Det kan vara svårt att skatta korrekt varians med så få som 3-10 observationer, vilket riskerar att leda till väldigt instabila medelfel och p-värden. Allison rekommenderar som en tumregel att antalet imputeringar ska vara ungefär lika stort som andelen inkomplett data, det vill säga, om bortfallet är 19 procent är 20 imputeringar lämpligt, om det är 42 procent kan 40 imputeringar vara lämpligt. En svårighet som ett ökat antal imputeringar medför är dock att det tar längre tid att göra datorkörningarna. Graham et. al. undersöker i en simuleringsstudie hur styrkan för att testa effekt påverkades av antalet imputeringar (2007). Resultaten visar att vid en högre andel saknad information (λλ 0.50) så blir förlusten i styrka kännbar. Författarna anser att den förlust av styrka som går att förebygga på detta sätt bör vara mindre än 1 procent. Rekommendationen blir då att för ett sant λ på 0.30 bör mm vara 20, för λ=0.50 ska mm vara 40, samt att mm bör vara 100 om λ är 0.70 eller större. Om en förlust i styrka på 3 procent är acceptabel räcker det med 20 imputeringar om λ är 0.50, och 40 om graden av saknad information är 0.70 eller större. Det är främst för att kunna upptäcka små effekter som det är viktigt med ett större antal imputeringar. 19

20 3.3.2 Imputeringsmodellen En viktig del av processen vid MI är att definiera imputeringsmodellen. En generell regel är att hellre inkludera fler variabler än att riskera att utesluta någon som kan vara av vikt vid analysen. Följande typer av variabler bör tas med i modellen (Berglund & Heeringa, 16): Beroende och oberoende variabler som ska ingå i analysen. Variabler som är korrelerade eller associerade med analysvariablerna. Variabler som förutsäger bortfall för analysvariablerna. Att utesluta analysvariabler kan medföra bias när skattning och inferens ska utföras efter genomförd MI. Genom att ta med variabler som egentligen inte är av intresse för analysen, men som är goda prediktorer för analysvariablerna förbättrar precisionen vid imputeringen. Medtagandet av variabler som förutsäger bortfall kan minska bias sammankopplad med bortfallsmekanismen förutsatt att data är MAR. (Ibid.) Däremot kan inte resultat tillhörande en variabel av intresse snedvridas på grund av att en onödig variabel (som sedan inte inkluderas i analysen) har tagits med vid imputeringen (Schafer & Olsen 1998). Det är därför önskvärt med en bred imputeringsmodell som bevarar en stor mängd av sambanden mellan variablerna. Den kan sedan användas för en stor mängd olika slags analyser efter imputeringen. Enligt Graham (2009) kan inklusion av hjälpvariabler som inte ingår i själva analysmodellen, men som är högt korrelerade med analysvariablerna, även reducera snedvridenhet i skattningarna som beror på en bortfallsmekanism som är MNAR, och till viss del återställa statistisk styrka som har förlorats på grund av bortfall. Genom att använda en mer generell imputeringsmodell så reduceras också risken för att en snävare modell ska användas vid imputeringen än vid analysen när de olika delarna utförs av olika personer, något som ibland framhålls som en risk med MI (Schafer 1999, 2003) Multivariat normalmodell Liksom för enkel imputering finns det flera olika varianter av multipel imputering. Den som har varit mest använd och som Rubin introducerade innebär att slumpmässiga imputeringsvärden dras från en Bayesiansk fördelning för den saknade observationen givet observerade data (Molenberghs & Kenward 2007, ). Inom det Bayesianska perspektivet representeras kännedomen om en parameter av en bakomliggande distribution, som baseras på tidigare kunskaper (Schafer & Graham 2002). Informationen om en parameter summeras med hjälp av en likelihoodfunktion. När urvalsstorleken ökar så minskar influensen av den bakomliggande kunskapen. Enligt Schafer och Graham har denna kännedom om parametern därför oftast inte så stor inverkan vid multipel imputering, eftersom metoden förlitar sig på approximationer för stora urval när det gäller distributionen för komplett data. Det är inte nödvändigt att använda ett Bayesianskt perspektiv vid MI, men det är det vanligast förekommande. Schafer förde i slutet av 1990-talet fram metoder för att imputera kontinuerliga, kategoriska eller mixade variabler med hjälp av joint modeling (JM) (1997). Den mest använda av dessa använder sig av en multivariat normal modell (MVNM), och Schafer utvecklade även ett datorprogram kallat NORM för att tillämpa metoden. Den är numera standardmodell för multipel imputering i SAS om andra inga specifikationer görs. 20

21 JM förutsätter att en gemensam bakomliggande fördelning existerar för samtliga variabler i modellen. I fallet med MVNM är denna fördelning just en multivariat normalfördelning. Om vi som ovan låter QQ beteckna den parameter vi undersöker, så är vi intresserade av att specificera en parametrisk multivariat fördelning PP(YY QQ) för YY givet parametrarna för QQ (Van Buuren et.al, 2006). Låt även YY oooooo = yy 1 oooooo,, yy kk oooooo beteckna den observerade delen av data och YY mmmmmm = yy 1 mmmmmm,, yy kk mmmmmm beteckna den saknade delen. Med hjälp av ett Bayesianskt perspektiv kan imputeringar då genereras genom att slumpmässiga värden dras från den bakomliggande fördelningen eftersom (Schafer, 1999) PP(YY mmmmmm YY oooooo ) = PP(YY mmmmmm YY oooooo, QQ)PP(QQ YY oooooo )dddd. (3.9) Detta görs i två steg. Först dras ett slumpmässigt värde för de okända parametrarna utifrån den bakomliggande informationen för observerade data. QQ ~PP(QQ YY oooooo ) (3.10) Därefter görs ett slumpmässigt drag för de saknade värdena från deras villkorade sannolikhetsfördelning. YY mmmmmm ~PP(YY mmmmmm YY oooooo, QQ ) (3.11) Det första steget kräver ofta att man använder sig av exempelvis en Markov Chain Monte Carlo-metod (MCMC) eftersom data typiskt inte följer någon standardfördelning som är lätt att simulera (Schafer 1999). Det finns olika typer av MCMC, men kortfattat är det en metod som genom iterationer möjliggör simulerade slumpmässiga dragningar från en population, och som så småningom konvergerar till en stabil fördelning (Graham 2012, 57). Informationen som används vid en upprepning kommer från den föregående omgången, vilket gör att skattningar och imputeringar från två på varandra följande steg är mycket mer lika än vad de skulle ha varit vid två oberoende dragningar från populationen. Efter ett visst antal steg så blir dock skillnaden mellan två dataset lika stor som om de vore två oberoende urval. Hur många steg som krävs mellan två imputerade dataset kan variera (ibid.). Antagandet om multivariat normalitet när MVNM tillämpas är egentligen ofta inte särskilt troligt, speciellt när kategoriska variabler är inblandade (Lee & Carlin 2010). Det finns dock studier som tyder på att metoden ofta kan fungera bra även när antagandet om multivariat normalitet inte är uppfyllt och data avviker från imputeringsmodellen (se t.ex. Schafer & Graham 2002; Schafer & Olsen 1998). För variabler med väldigt skeva fördelningar kan logtransformationer göras för att approximera normalitet (Schafer & Olsen 1998). Efter imputering kan variablerna sedan transformeras tillbaka till sin ursprungliga skala. Den största fördelen med MVNM kan sägas vara att det är lätt att specificera imputeringsmodellen, samtidigt som ett orosmoment kan vara det många gånger orealistiska antagandet om multivariat normalitet (Lee & Carlin 2009). Multipel imputering görs ofta under ett antagande om att bortfallsmekanismen kan ignoreras (Van Buuren et.al. 2006). Dock finns det inget i teorin kring MI som säger att det inte kan fungera även när bortfallsmekanismen inte är ignorerbar, så länge som osäkerheten om de saknade värdena reflekteras i imputeringarna (Van Buuren 2007). Enligt Schafer och Graham kan vi ofta förvänta oss avvikelser från MAR, men frågan är om de är tillräckligt stora för att det ska bli problematiskt när metoder som förutsätter MAR tillämpas (2002). 21

22 3.3.4 Om avrundning När det gäller binära kategoriska variabler finns en diskussion gällande huruvida det är acceptabelt eller inte att avrunda dem till närmaste kategori efter att imputering gjorts under ett antagande om normalitet. I lite äldre artiklar och böcker anges att en binär variabel som kan anta värdena 0 eller 1 kan imputeras under multivariat normalitet och sedan avrundas beroende på om det imputerade värdet är mindre eller större än 0,5 (Allison 2002, 40; Schafer & Graham, 2002; Schafer & Olsen 1998). I en artikel från 2009 anger dock Graham att avrundning bör ske i så liten utsträckning som möjligt eftersom det adderar för mycket spridning till de imputerade värdena. Om variabeln ska användas som kovariat i en regressionsanalys så bör de imputerade värdena behållas som de är. Däremot om variabeln måste användas som en binär variabel i en analys så ska den avrundas till närmaste observerade värde. I en studie från 2005 undersöker Allison hur avrundning påverkar resultatet när en dummyvariabel imputeras. Han använder olika sannolikhet för att variabeln ska få utfallet 1 (mellan 0,01 och 0,50), två olika bortfallsmekanismer (MAR och MCAR), och ungefär 50 procents bortfall. I studien studeras både utfall för proportion och regressionskoefficienter efter det att olika metoder för att behandla bortfall har tillämpats. Resultaten visar att alla metoder (CCA, MVNM utan och med avrundning, samt imputering med hjälp av logistisk regression eller en diskriminantmetod) fungerade bra när proportionen var 0,50 och data MCAR. Däremot när proportionen sänktes, och data var MAR, började flera metoder uppvisa problem. För MVNM med avrundning uppstod bias när proportionen var 0,20, och resultaten för punktskattning, täckningsgrad och medelfel började bli riktigt dåliga när den verkliga parameterproportionen var 0,05. När det gäller att skatta regressionskoefficienten fungerar alla metoder förutom den avrundade ungefär lika bra. Enligt Allison fungerar MVNM utan avrundning ganska bra överlag, särskilt för att imputera regressionskoefficienter. Han menar dock att den logistiska eller diskriminantmetoden är att föredra. När undersökningen genomfördes fanns dessa metoder endast tillgängliga för monotona bortfallsmönster, vilket oftast inte är fallet vid regression med många variabler. Numera finns alternativen tillgängliga i SAS även för slumpmässiga bortfallsmönster genom alternativet fully conditional specification (FCS). Berglund och Heeringa rekommenderar i sin bok om multipel imputering i SAS att FCS ska användas för modeller med mixade kovariater, även då den eller de variabler som ska imputeras inte är kategoriska (2014, 83) Fully conditional specification Fully conditional specification (FCS) är ett flexibelt alternativ till MVNM som inte förlitar sig på ett antagande om multivariat normalitet, utan skapar villkorade fördelningar för varje enskild variabel med bortfall (Lee & Carlin 2010). Fördelningarna baseras på alla andra variabler i imputeringsmodellen. Genom att skapa separata villkorade fördelningar PP YY jj YY jj, QQ jj för varje YY jj så definieras den gemensamma fördelningen PP(YY QQ) implicit (Van Buuren et.al., 2006). Fördelningen används sedan för att imputera de saknade värdena, yy jj mmmmmm, givet yy jj. Imputering med FCS är en iterativ process, och vid varje upprepning gås samtliga variabler, YY jj igenom. Antalet iterationer specificeras i koden. I PROC MI i SAS är 10 standard, och målet är att fördelningarna ska konvergera till en stabil gemensam fördelning (Berglund & Heeringa 2014, 25). För varje variabel väljer användaren vilken metod som ska tillämpas vid imputeringen. Exempelvis kan linjär regression användas för kontinuerliga variabler, och för binära variabler logistisk regression. Enligt Van Buuren kan bra resultat ofta 22

23 uppnås med ett litet antal iterationer, även om det alltid är fördelaktigt att lägga till några extra upprepningar (2007). En klar fördel med FCS kan sägas vara just detta, att det är möjligt att skapa mer flexibla multivariata modeller. Om behov finns går det att använda modeller som inte tillhör någon av standardfördelningarna (Van Buuren et.al. 2006). Dessutom är det lätt att inkorporera metoder som bevarar unika särdrag eller interaktioner i datan eller förhållanden mellan olika variabler. Van Buuren et.al. menar också att det kan vara lättare att tillämpa metoden på modeller med bortfallsmekanismer som inte är ignorerbara. Nackdelar som brukar lyftas fram med FCS är bland annat att det krävs mer arbete vid modellskapande eftersom varje fördelning i imputeringsmodellen måste specificeras separat. När antalet variabler är litet behöver detta inte medföra särskilt stora problem, men i stora dataset med många variabler blir det svårare (Lee & Carlin 2009). Dessutom tar ofta själva arbetet vid dator när analyserna ska genomföras mer tid än vid JM (Van Buuren et.al. 2006). Vid användande av FCS finns också en risk att de olika villkorade fördelningarna är inkompatibla, vilket kan medföra osäkra imputeringar. Enligt Lee och Carlin är det dock inte klarlagt hur ofta detta kan leda till problem i praktiken (2009). Det finns en del bevis för att FCS fungerar även när det finns problem med inkompatibilitet (Van Buuren 2007). Slutligen finns det fortfarande vissa frågetecken gällande den bakomliggande teorin och kvaliteten på imputeringarna som FCS resulterar i (Berglund och Heeringa 2014, 25; Van Buuren et.al. 2006). I många situationer verkar dock FCS fungera bra, konvergera till stabila gemensamma fördelningar, och vara lätt att tillämpa. Både Van Buuren och Berglund och Heeringa rekommenderar användande av FCS när en blandning av kontinuerliga och diskreta variabler behöver imputeras, och den gemensamma fördelningen inte lätt kan specificeras (Berglund & Heeringa 2014, 83; Van Buuren 2007). Vid genomgång av litteraturen om multipel imputering har vi inte sett särskilt många studier där FCS och MVNM tillämpas på samma datamaterial. Van Buuren jämför de båda metoderna i en undersökning där kategoriska variabler imputeras och parametrar sedan skattas i olika linjära regressionsmodeller (2007). Resultaten visar på mindre bias överlag när FCS tillämpas, men i studien avrundas de imputerade värdena för MVNM, en metod som vi har sett är ifrågasatt ovan. Lee och Carlin jämför de båda metoderna med CCA i en simuleringsstudie där tre olika bortfallsmekanismer tillämpas i en studie typisk för epidemiologisk forskning (2009). Författarna var särskilt intresserade av att undersöka om MVNM, som förlitar sig på ett orealistiskt antagande om multivariat normalitet, fungerade sämre än den mer flexibla FCS. Resultaten visar att både FCS och MVNM generellt ger mindre snedvridna resultat än CCA, och dessutom liknande resultat även med binära variabler på ordinalskalenivå som uppenbart inte var normalfördelade. Det fanns inget som tydde på att MVNM gav sämre resultat, och dessutom medförde metoden något bättre täckningsgrader än FCS. Enligt Lee och Carlin har tidigare jämförelser mellan metoderna uppvisat mixade resultat, och mer forskning, både med verkliga data där bortfallsmodellen är okänd, och med simuleringsmodeller, skulle behövas (ibid.) 23