Verifiering av mätmetoder

Transkript

1 Verifiering av mätmetoder Henrik Sjöstedt, 2018 Bakgrund Diskussioner kring validering/verifiering efterfrågades vid fjolårets möte 1

2 Skillnaden mellan validering och verifiering Validering: Skapa och bevisa påståenden om en metod. Omfattande och grundligt arbete. Verifiering: Bekräfta redan existerande påståenden om en metod. Selektivt och måttligt arbete. Ofta IVD-märkta kit, och då räcker det med verifiering (som tur är)... Verifiering Två frågor: Vad vill vi undersöka? (d.v.s. vad är mest meningsfullt att undersöka?) Vad kräver ackrediteringsstandarder att vi gör? 2

3 Vad säger standarderna? ISO (Allmänt för lab) Innan metoder introduceras i arbetet ska laboratoriet verifiera att metoderna kan tillämpas på ett korrekt sätt. ISO (Medicinska lab) Validerade undersökningsrutiner som används utan modifiering ska undergå en oberoende verifiering av laboratoriet före rutinmässig användning. Laboratoriets verifiering ska bekräfta att angivna prestanda uppfylls. (Ickestandardiserade-, egenutvecklade- eller modifierade metoder ska genomgå regelrätt validering.) Vad säger SWEDACs tolkningsdokument? Validering/verifiering av kvantitativa och kvalitativa metoder Vägledning (SWEDAC DOC 01:55) Verifieringen ska innehålla skattningar av repeterbarhet OCH mellanliggande precision. metodens riktighet, t.ex. genom jämförelser med certifierat referensmaterial eller annat publicerat tillvägagångssätt. //Utöver detta blandar och ger tolkningsdokumentet ganska friskt 3

4 Skattning av mellanliggande precision Serie 1 Serie 2 Serie CV%= 1,6 CV%= 1,6 CV%= 1,5 CV%_inom: 1,5 CV%_alla: 4,5 Felaktig skattning av mellanliggande precision! CV%_total: 5,2 Korrekt skattning (m.h.a. ANOVA) av mellanliggande precision. Varför blir det fel? Räknat som en och samma serie: Data antas höra till en och samma population. Men antagandet är felaktigt för bakomliggande serier har olika mv. (Data är alltså INTE hämtade från samma population.) 4

5 Övre gräns för 95%-KI för sant CV% Men, i praktiken Mellanliggande precision i betydelsen inomlab-reproducerbarhet: För att få ett trovärdigt mått skulle man behöva -säg, åtminstone 3 reagensloter och 3 kalib-loter. Annars blir det nog en markant underskattning hur man än räknar. Hur många reagens- respektive kalib-loter brukar ni få tag i? Är SWEDACs vägledningsdokument FÖRSLAG eller TVINGANDE? Svar: FÖRSLAG Övre konfidensintervallgränser för CV% s/µ*100 = 1 s/µ*100 = 2 s/µ*100 = antal observationer (n) 5

6 Bekräftat eller ej? Exempel: Om kitinsert informerar om CV%= 2,2 för en given nivå, och du kommer fram till (efter likvärdiga egna undersökningar) CV%= 2,6 för samma nivå, har du då BEKRÄFTAT eller BESTRIDIT metodens påstådda prestanda? Kanske kan besvaras med ett F-test, men spelar det någon roll? Vi får nog snarare välja en helt annan tolkning av Verifiera, d.v.s.: Är metoden bra nog för oss i vår miljö? snarare än Lyckas vi bekräfta kit_insert-data till 100%? 6

7 Nära nog? Kit-insert. Egna resultat. Skattning av riktighet Mätning av referensmaterial + Tydligt målvärde, men - Ibland svårt/dyrt att få tag på. - Ibland är materialet olämpligt för spädningsserier, så metoden blir bara testad vid någon enstaka nivå. Jämförelse mot annan metod + Ofta enkelt att göra, men - Hur utvärderar man resultaten? 7

8 Antal minuter Inrapporterade skogsbränder (SOS Alarm) TAT-tid P-Fosfat, RVN Inledande halvår [1 jan - 30 juni] Metodjämförelse Låg korrelation säger egentligen att: Minst en av metoderna mäter fel (kanske båda). Metoderna bör rimligtvis ha olika beslutsgränser/ref-intervall. Man bör gråta en skvätt om metoderna delar NPU-kod. Hög korrelation säger att: Metoderna mäter lika. (Men inte nödvändigtvis rätt ) 8

9 +/- % av medelvärde Storlek på 95%-KI för medelvärde (t-fördelade data) CV%=1 CV%=2 CV%=3 CV%=5 CV%= n Övrigt: Smittning mellan prov Exempel på hur man kan testa för smittning: (Kräver två provnivåer en Låg och en Hög.) Grönmarkerade resultat följer direkt på ett lågt resultat, och antas därför vara rättvisande (opåverkade av föregående). Orangemarkerade resultat följer direkt på höga resultat, och skulle därför kunna vara falskt höga. En hypotesprövning kan nu ge info kring huruvida dessa populationer skiljer sig åt. Ordning Nivå Resultat 1 Låg 7,11 2 Låg 7,07 3 Låg 7,14 4 Låg 7,10 5 Hög Låg 7,22 7 Hög Låg 7,18 9 Hög Låg 7,21 9

10 Övrigt: LOQ (Limit Of Quantitation): Görbart (troligen). Referensområde: Intressant, men hör väl egentligen inte hemma i verifieringen? Interferenser: Görbart (i någon mån). Så gör jag Tyvärr blir det oftast bara precis det som krävs, nämligen: Repeterbarhet Inom_lab-Reproducerbarhet* Metodjämförelse Spridning: minst 2 kontrollnivåer a minst 4 serier (kalib. mellan) a minst 4 mätvärden Metodjämförelse: gärna >= 30 prover *d.v.s. underskattning av Acceptanskriterier: generösa 10

11 HDLC Kontroller är inte patprover 3,25 3 Linjär regression: HDLC4 mot HDLC3 (cobas c501) Pat-prover Pat-prov: 35 st Lutn=0,95 2,75 2,5 2,25 2 1,75 Kontroller (BioRad) y = 0,9493x + 0,0432 R² = 0,996 Kontr: 16 st (2 nivåer, 2 loter vardera) Lutn=0,64 1,5 1,25 1 0,75 y = 0,6429x + 0,2771 R² = 0,9465 0,5 0,5 0,75 1 1,25 1,5 1,75 2 2,25 2,5 2,75 3 3,25 HDLC3 Frågor/Funderingar? Tack för uppmärksamheten! 11