Datakvalitet. Hva duger data til? Jonas Ranstam

Transkript

1 Hva duger data til? Jonas Ranstam Registercentrum Syd, Skånes Universitetssjukhus och Inst. f. kliniska vetenskaper, Lunds Universitet, Klinikgatan 22, Lund, Sverige 15 Jan 2015

2 Big data

3 Big data

4 Big data

5 Big data There are a lot of small data problems that occur in big data. They don t disappear because you ve got lots of the stuff. They get worse. David Spiegelhalter

6 Big data Statistics have never been cooler; it s never been more useful. It just seems to me te be a wonderful time to be a statistician. Brian Tarran

7 Detta föredrag Disposition Studiedesign, datainsamling och statistisk analys hänger samman. Här kommer fokus att ligga på data, främst datakvalitet. Vad är datakvalitet? Vad har bristande datakvalitet för konsekvenser? Hur kontrollerar jag datakvaliteten i mitt register? Diskussion

8 Vad är datakvalitet? Absolut definition Relevanta, fullständiga, korrekta och konsistenta data.

9 Vad är datakvalitet? Relativ definition Tillräckligt bra för att uppfylla användarens behov.

10 Vad är datakvalitet? Relativ definition Tillräckligt bra för att uppfylla användarens behov. Vad är tillräckligt bra?

11 Vad är datakvalitet? Relativ definition Tillräckligt bra för att uppfylla användarens behov. Vad är tillräckligt bra? Det beror på vad data ska användas till.

12 Bortfall Vad är konsekvensen av bortfall?

13 Två exempel: Vissa höftprotesreoperationer oregistrerade

14 Exempel 1. Skattning av 2-årig reoperationsrisk.

15 Exempel 1. Skattning av 2-årig reoperationsrisk Förutsättning: totalt i höftregistret under primäroperationer 819 reoperationer 819 Skattad reoperationsrisk: = (95%Ki: ) Antag att en oberoende underrsökning visar att 5% av genomförda reoperationer inte registreras.

16 Exempel 1. Skattning av 2-årig reoperationsrisk Skattad reoperationsrisk = (95%Ki: ) Bortfallskorrektion 5% bortfall ger en korrektionsfaktor på Korrigerad skattad reoperationsrisk = (95%Ki: ) dvs

17 Exempel 1. Skattning av 2-årig reoperationsrisk

18 Exempel 2. Rangordning av reoperationsrisker

19 Exempel 2. Rangordning av reoperationsrisker Beräkningar Monte-Carlo simulering för att bedöma möjliga konsekvenser (för rangordningen) av att 43 reoperationer genomförts men inte registrerats.

20 Exempel 2. Rangordning av reoperationsrisker

21 Exempel 2. Rangordning av reoperationsrisker

22 Exempel 2. Rangordning av reoperationsrisker

23 Registreringsfel Vad är konsekvensen av registreringsfel?

24 Registreringsfel Misclassification bias Systematiskt felaktiga forskningsfynd som uppstår vid bristande sensitivitet/specificitet i fastställning av exponering och/eller effekt. Felklassificeringen kan vara Non-differential Differential

25 Registreringsfel Non-differential misclassification bias Felklassificeringen är densamma i olika grupper. Exponering kan, t.ex. vara lika felklassificerad bland fall som kontroller. För binära variabler leder sådana fel till att skillnader underskattas.

26 Registreringsfel i binär variabel

27 Registreringsfel i binär variabel

28 Registreringsfel i binär variabel Differential misclassification bias I en fall-kontrollstudie kan den rapporterade exponeringen t.ex. skilja sig mellan fall och kontroller (t.ex. recall bias). Fenomenet kan både innebära att skillnader över- och underskattas.

29 Registreringsfel i binär variabel

30 Registreringsfel i binär variabel

31 Registreringsfel i kontinuerlig variabel Regression dilution bias Slumpmässiga mät-(och/eller registrerings-) fel i en kontinuerlig variabel manifesterar sig olika beroende på om felen finns i exponerings- eller utfallsvariabeln.

32 Registreringsfel i kontinuerlig variabel Fel i en utfallsvariabel Slumpmässiga mät- (eller registrerings-) fel i en kontinuerlig utfallsvariabel (t.ex. systoliskt blodtryck) ökar osäkerheten i parameterskattningar (bredare konfidensintervall). Ökad stickprovsstorlek kan kompensera förlusten av statistisk precision.

33 Registreringsfel i kontinuerlig variabel Fel i en exponeringsvariabel Slumpmässiga mät- (eller registrerings-) fel i en kontinuerlig exponeringsvariabel innebär underskattade parametrar (effektmått). Ökad stickprovsstorlek ger visserligen ökad precision, men minskar inte bias.

34 Registreringsfel Korrektionsmetoder För kategoriska variabler estimated misclassification probabilities markov models För kontinuerliga exponeringsvariabler regression calibration multiple imputation moment reconstruction simulation extrapolation

35 Misclassification and missing

36 Misclassification and imputation

37 Validering Hur kontrollerar jag datakvaliteten i mitt register?

38 Validering Tillvägagångssätt Kontroll av variablers fördelning (orimliga värden) Utvärdering av intern konsistens Adjudicering, eftergranskning, o.d. Jämförelser med källdata

39 Validering Validering Validering av alla data, som i en klinisk läkemedelsprövning, är ofta praktiskt omöjliga i ett register. Stickprovsundersökningar kan vara ett gott alternativ.

40 Stickprov och population

41 Stickprov och population

42 Stickprov och population Grunder I en valideringsundersökning av ett helt register kan man teoretiskt sett, om man bortser från konsekvenser av praktiska misstag, beräkna andelen korrekta värden för en viss variabel, π, direkt. I en urvalsvalidering får man istället skatta π, och skattningar, ˆπ i, är osäkera. Individuella variationer ger nämligen olika skattningar i olika urval. ˆπ i = π + ɛ i (1)

43 Obundet slumpmässigt urval Under vissa förutsättningar, som att varje element i populationen haft samma sannolikhet att ingå i urvalet, kan osäkerheten dock beräknas. E( ˆπ i ) = π (2) σ 2ˆπ i = ˆπ i(1 ˆπ i ) n i (3) z N(0, 1) (4) P( ˆπ i z α/2 σ ˆπi < π < ˆπ i + z α/2 σ ˆπi ) = 1 α (5)

44 Obundet slumpmässigt urval Om α = 0.05 är således urvalsfelet, ɛ i, med 95% sannolikhet mindre än 1.96 ˆπi (1 ˆπ i ) Osäkerheten beror alltså på ˆπ i, den skattade datakvaliteten n i, antal observationer n i

45 Obundet slumpmässigt urval Stickprovsstorlek Lämplig urvalsstorlek beror på hur stor osäkerhet man kan acceptera och vilken datakvalitet man skattar. Mindre urval ger alltid större osäkerhet.

46 Stickprovsstorlek Tabell: 1. Urvalsstorlek för att med ett obundet slumpmässigt urval skatta prevalensen felregistrerade data. Halvt 95% konfidensintervall Prevalens 0,01 0,05 0,10 0,15 0,20 0,25 0, , , , , , , , , , ,

47 Komplikation 1. Ett register är en finit population Finitpopulation Ett stort urval (> 5%) från en finit population leder till överskattning av variansen och osäkerheten. En finitpopulationskorrektion, fpc, av variansen behövs då. fpc = N ni N 1 (6) Där n i är antalet observationer i urvalet och N antalet element i populationen. Med korrektion kan medelfelet av π i skrivas: ˆπ i (1 ˆπ i ) N ni σ ˆπi = (7) n i N 1

48 Komplikation 2. Begränsning av deltagande sjukhus Tvåstegsurval I praktiken innebär valideringsarbete ofta resor till olika kliniker för att på plats kunna jämföra registerade data med källdokument, t.ex. journalhandlingar. För att underlätta arbetet och begränsa reskostnader kan det vara fördelaktigt att begränsa antalet deltagande sjukhus. Man kan då t.ex. först göra ett (obundet slumpmässigt) urval av kliniker och därefter, inom varje klinik, ett andra (obundet slumpmässigt) urval av patienter. Även ett sådant tvåstegsförfarande påverkar emellertid variansskattningen.

49 Designeffekt Denna designeffekt på variansskattningen, def, kan skrivas: def = 1 + ρ(m 1) (8) Där m är medelantalet patienter per klinik och ρ klinikernas intraklasskorrelation (ICC). ρ = σ 2 b σ 2 b + σ2 w (9) Här är σ 2 b variansen mellan och σ2 w inom klinikerna.

50 Designeffekt Designeffekten kan användas för att beräkna hur mycket större ett tvåstegsurval måste vara för att ge samma statistiska precision som ett ettstegsurval. För beräkningen krävs, m, som beror på studiens design och intraklasskorrelationskoefficienten, ρ, som beror på hur klinikerna varierar i datakvalitet.

51 Hur hög är ICC?

52 Exempel 3. Obundet slumpmässigt urval av patienter från 97 sjukhus Andel felregistrerade = 5% Osäkerhet = ±5% Antal observationer =?

53 Hur många registreringar måste kontrolleras? Tabell: 1. Urvalsstorlek för att med ett obundet slumpmässigt skatta prevalensen felregistrerade data. Konfidensintervall, halv bredd Prevalens 0,01 0,05 0,10 0,15 0,20 0,25 0, , , , , , , , , , ,

54 Exempel 3. Obundet slumpmässigt urval av patienter från 97 sjukhus Andel felregistrerade = 5% Osäkerhet = ±5% Antal observationer = 73 Ganska många sjukhus måste uppsökas.

55 Exempel 4. Samma undersökning med tvåstegsurval Obundet slumpmässigt urval = 73 Medelantal patienter per sjukhus = 50 Intraklasskorrelation = 0,10 Designeffekt =?

56 Hur stor är designeffekten Tabell: 2. Designeffekt vid tvåstegsurval Observationer Intraklasskorrelationskoefficient per 1:a urval 0 0,1 0,2 0,3 0,4 0,5 10 1,0 1,9 2,8 3,7 4,6 5,5 20 1,0 2,9 4,8 6,7 8,6 10,5 30 1,0 3,9 6,8 9,7 12,6 15,5 40 1,0 4,9 8,8 12,7 16,6 20,5 50 1,0 5,9 10,8 15,7 20,6 25,5 75 1,0 8,4 15,8 23,2 30,6 38, ,0 10,9 20,8 30,7 40,6 50, ,0 20,9 40,8 60,7 80,6 100, ,0 30,9 60,8 90,7 120,6 150, ,0 40,9 80,8 120,7 160,6 200, ,0 50,9 100,8 150,7 200,6 250,5

57 Exempel 4. Samma undersökning med tvåstegsurval Obundet slumpmässigt urval = 73 Medelantal patienter per sjukhus = 50 Intraklasskorrelation = 0,10 Designeffekt = 5,9 Totalt antal patienter: 5, , Antal sjukhus: 431/50 9.

58

59 Beräkning med program R, epicalc och n.for.survey Kommando n.for.survey(p=0.05, delta=0.05, deff=5.9) Sample size for survey. Assumptions: Proportion = 0.05 Confidence limit = 95% Delta = 0.05 from the estimate. Design effect = 5.9 Sample size = 431

60 Sammanfattning

61 Slut Tack för uppmärksamheten!

62 Diskussion Frågor att diskutera i mån av tid.

63 Diskussionspunkt 1 Förutsättningar Ett register samlar information om biverkningar av olika läkemedel mot högt blodtryck. Tyvärr stämmer inte alltid den registrerade informationen. Vilka konsekvenser får detta: om läkemedel felregistreras? om komplikationer felregistreras? om vissa komplikationer särskilt felregistreras för ett visst läkemedel? Tips: differential och non-differential misclassification.

64 Diskussionspunkt 2 Förutsättningar Samma registret samlar också information om uppnått blodtryck för de olika blodtryckssänkande läkemedlena. Tyvärr även denna registrering bristfällig. Vad blir konsekvenserna: om läkemedel ibland slumpmässigt felregistreras? om fel blodtryck ibland slumpmässigt registreras? om noggrannheten i blodtrycksregistreringen beror på läkemedlet? Tips: regression dilution bias.

65 Diskussionspunkt 3 Förutsättningar För att undersöka ett registers datakvalitet startas en validitetesstudie. Registrerade data jämförs med journaluppgifter i ett tvåstegsurval. Först väljs kliniker ut och sedan patienter inom varje klinik. Vilka påstående är sanna? Designeffekten anger hur mycket större ett tvåstegsurval måste vara för att ge samma precision som ett obundet slumpmässigt urval. När bara en patient väljs per klinik finns finns ingen designeffekt. När intraklasskorrelationen är 0 finns ingen designeffekt.

66 Diskussionspunkt 4 Vilka påstående är sanna? Varför? Ett kvalitetsregister är alltid ett stickprov. Ett systematiskt bortfall är ett större problem än ett slumpmässigt bortfall. Felregistrerade data ger alltid utspädningseffekter på analysresultat.

67 Diskussionspunkt 5 Vilka påståenden är sanna och varför? Adjudicering är en form av validering. Vissa former av validering kan göras maskinellt. Validerade data ska aldrig rättas.

68 Exemplen på misclassification bias hämtades från