Verifiering av mätmetoder Henrik Sjöstedt, 2018 Bakgrund Diskussioner kring validering/verifiering efterfrågades vid fjolårets möte 1
Skillnaden mellan validering och verifiering Validering: Skapa och bevisa påståenden om en metod. Omfattande och grundligt arbete. Verifiering: Bekräfta redan existerande påståenden om en metod. Selektivt och måttligt arbete. Ofta IVD-märkta kit, och då räcker det med verifiering (som tur är)... Verifiering Två frågor: Vad vill vi undersöka? (d.v.s. vad är mest meningsfullt att undersöka?) Vad kräver ackrediteringsstandarder att vi gör? 2
Vad säger standarderna? ISO 17025 (Allmänt för lab) Innan metoder introduceras i arbetet ska laboratoriet verifiera att metoderna kan tillämpas på ett korrekt sätt. ISO 15189 (Medicinska lab) Validerade undersökningsrutiner som används utan modifiering ska undergå en oberoende verifiering av laboratoriet före rutinmässig användning. Laboratoriets verifiering ska bekräfta att angivna prestanda uppfylls. (Ickestandardiserade-, egenutvecklade- eller modifierade metoder ska genomgå regelrätt validering.) Vad säger SWEDACs tolkningsdokument? Validering/verifiering av kvantitativa och kvalitativa metoder Vägledning (SWEDAC DOC 01:55) Verifieringen ska innehålla skattningar av repeterbarhet OCH mellanliggande precision. metodens riktighet, t.ex. genom jämförelser med certifierat referensmaterial eller annat publicerat tillvägagångssätt. //Utöver detta blandar och ger tolkningsdokumentet ganska friskt 3
Skattning av mellanliggande precision Serie 1 Serie 2 Serie 3 100 102 110 102 104 112 102 104 112 104 106 114 CV%= 1,6 CV%= 1,6 CV%= 1,5 CV%_inom: 1,5 CV%_alla: 4,5 Felaktig skattning av mellanliggande precision! CV%_total: 5,2 Korrekt skattning (m.h.a. ANOVA) av mellanliggande precision. Varför blir det fel? Räknat som en och samma serie: Data antas höra till en och samma population. Men antagandet är felaktigt för bakomliggande serier har olika mv. (Data är alltså INTE hämtade från samma population.) 4
Övre gräns för 95%-KI för sant CV% 2018-11-26 Men, i praktiken Mellanliggande precision i betydelsen inomlab-reproducerbarhet: För att få ett trovärdigt mått skulle man behöva -säg, åtminstone 3 reagensloter och 3 kalib-loter. Annars blir det nog en markant underskattning hur man än räknar. Hur många reagens- respektive kalib-loter brukar ni få tag i? Är SWEDACs vägledningsdokument FÖRSLAG eller TVINGANDE? Svar: FÖRSLAG. 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 Övre konfidensintervallgränser för CV% s/µ*100 = 1 s/µ*100 = 2 s/µ*100 = 5 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 antal observationer (n) 5
Bekräftat eller ej? Exempel: Om kitinsert informerar om CV%= 2,2 för en given nivå, och du kommer fram till (efter likvärdiga egna undersökningar) CV%= 2,6 för samma nivå, har du då BEKRÄFTAT eller BESTRIDIT metodens påstådda prestanda? Kanske kan besvaras med ett F-test, men spelar det någon roll? Vi får nog snarare välja en helt annan tolkning av Verifiera, d.v.s.: Är metoden bra nog för oss i vår miljö? snarare än Lyckas vi bekräfta kit_insert-data till 100%? 6
Nära nog? Kit-insert. Egna resultat. Skattning av riktighet Mätning av referensmaterial + Tydligt målvärde, men - Ibland svårt/dyrt att få tag på. - Ibland är materialet olämpligt för spädningsserier, så metoden blir bara testad vid någon enstaka nivå. Jämförelse mot annan metod + Ofta enkelt att göra, men - Hur utvärderar man resultaten? 7
Antal minuter 2018-11-26 59 1200 1000 Inrapporterade skogsbränder (SOS Alarm) TAT-tid P-Fosfat, RVN 57 55 53 800 600 51 49 47 400 45 43 200 41 2014 2015 2016 2017 2018 Inledande halvår [1 jan - 30 juni] Metodjämförelse Låg korrelation säger egentligen att: Minst en av metoderna mäter fel (kanske båda). Metoderna bör rimligtvis ha olika beslutsgränser/ref-intervall. Man bör gråta en skvätt om metoderna delar NPU-kod. Hög korrelation säger att: Metoderna mäter lika. (Men inte nödvändigtvis rätt ) 8
+/- % av medelvärde 2018-11-26 Storlek på 95%-KI för medelvärde (t-fördelade data) 39 36 33 30 27 24 21 18 15 12 9 6 3 0 CV%=1 CV%=2 CV%=3 CV%=5 CV%=10 2 3 4 5 6 7 8 9 10 11 12 n Övrigt: Smittning mellan prov Exempel på hur man kan testa för smittning: (Kräver två provnivåer en Låg och en Hög.) Grönmarkerade resultat följer direkt på ett lågt resultat, och antas därför vara rättvisande (opåverkade av föregående). Orangemarkerade resultat följer direkt på höga resultat, och skulle därför kunna vara falskt höga. En hypotesprövning kan nu ge info kring huruvida dessa populationer skiljer sig åt. Ordning Nivå Resultat 1 Låg 7,11 2 Låg 7,07 3 Låg 7,14 4 Låg 7,10 5 Hög 2501 6 Låg 7,22 7 Hög 2479 8 Låg 7,18 9 Hög 2513 10 Låg 7,21 9
Övrigt: LOQ (Limit Of Quantitation): Görbart (troligen). Referensområde: Intressant, men hör väl egentligen inte hemma i verifieringen? Interferenser: Görbart (i någon mån). Så gör jag Tyvärr blir det oftast bara precis det som krävs, nämligen: Repeterbarhet Inom_lab-Reproducerbarhet* Metodjämförelse Spridning: minst 2 kontrollnivåer a minst 4 serier (kalib. mellan) a minst 4 mätvärden Metodjämförelse: gärna >= 30 prover *d.v.s. underskattning av Acceptanskriterier: generösa 10
HDLC4 2018-11-26 Kontroller är inte patprover 3,25 3 Linjär regression: HDLC4 mot HDLC3 (cobas c501) Pat-prover Pat-prov: 35 st Lutn=0,95 2,75 2,5 2,25 2 1,75 Kontroller (BioRad) y = 0,9493x + 0,0432 R² = 0,996 Kontr: 16 st (2 nivåer, 2 loter vardera) Lutn=0,64 1,5 1,25 1 0,75 y = 0,6429x + 0,2771 R² = 0,9465 0,5 0,5 0,75 1 1,25 1,5 1,75 2 2,25 2,5 2,75 3 3,25 HDLC3 Frågor/Funderingar? Tack för uppmärksamheten! 11