Illustrerad noggrannhet riktighet och precision med mål och mening Equalis Allmän klinisk kemi 15-16 november 2012 Mikaela Norman, Sjukhuskemist, Klinisk kemi, Falu Lasarett mikaela.norman@ltdalarna.se
95%-beta expectation tolerance interval 10,00 8,00 6,00 4,00 %Total Error 2,00 0,00 0,00 100,00 200,00 300,00 400,00 500,00 600,00 700,00-2,00-4,00-6,00 %Riktighet medel Låg relativ B-toleransgräns Hög relativ B-toleransgräns %Analytiskt mål min %Analytiskt mål max -8,00-10,00 Koncentration
Bakgrund klin kem lab, Falun Avvikelser 2008/2009: Acceptansgränser saknas för metodöverensstämmelse mellan ny och gammal metod. Analytiska mål införda 2009. Noggrannhetsprofil ( accuracy profile ) med toleransintervall och analytiskt mål som acceptansgräns.
Riktighet och precision Linjär regression för riktighet. Metodjämförelse, patientprover Beräkning av precision. Kontroller, patientpool Samlad bedömning, förkasta eller acceptera.
"accuracy profile" 80 70 60 50 1999-2012: Accuracy profile + clinical chemistry = 17 st Accuracy profile + chromatography = 163 st 40 30 20 10 0 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012
Noggrannhetsprofil Val av kalibreringsmodell (pub.) Mellanlaboratoriejämförelse (pub.) Ver/Val jämfört med referensmetod (pub.)
Noggrannhetsprofil (forts) Toleransintervall; riktighet och precision, uttryck för noggrannhet. Innehåller risken för framtida resultat att hamna utanför acceptansgränser. Toleransintervall, beräkning bias (%) ± k*cv tot (%)
10,00 8,00 6,00 Medelvärde 95%-beta expectation tolerance interval Acceptansgräns = analytiskt mål Toleransgräns 4,00 %Total Error 2,00 0,00 0,00 100,00 200,00 300,00 400,00 500,00 600,00 700,00-2,00-4,00 %Riktighet medel Låg relativ B-toleransgräns Hög relativ B-toleransgräns %Analytiskt mål min -6,00-8,00 Justerat mätintervall? %Analytiskt mål max -10,00 Koncentration
Noggrannhetsprofil (forts)
Noggrannhetsprofil (forts) Visuellt, enkelt, en bild för bedömning. Simulerar framtida utfall. Ett beslut, är metoden acceptabel eller inte. Inkluderat: riktighet, precision, kvantifieringsgränser/mätintervall, linjäritet, korrektionskoefficient.
Förutsättningar och upplägg Fundera ut lämpligt upplägg innan start! Hållbarhet upp till fem dagar alt frysta alikvoter. Tillräckligt med prov för upprepade tester. Selektera patientprover över mätintervallet. Analys replikat i flera dagar; ny metod + referens. Kostnad för reagens. Åtkomst på instrument.
Exempel från klinisk kemi, Falu Lasarett
%Relative Error 10,00 8,00 6,00 4,00 2,00 0,00-2,00 Urat: ny metod vs rutinmetod Resultaten visar att vi med rutinmetoden är samstämmiga i metodgruppen, men vi mäter ca 4-5 % högre i jämförelse med totalt. Detta innebär att vi med byte till ny metod skulle bli mer samstämmiga med övriga deltagare i externkontrollprogrammet. 200,00 300,00 400,00 500,00 600,00 700,00 800,00 %Riktighet medel Låg relativ B- toleransgräns Hög relativ B- toleransgräns %Analytiskt mål min -4,00 %Analytiskt mål max -6,00-8,00 Medel bias: -4,6 % -10,00 Koncentration (umol/l) Analytiskt mål: 8 % (= Equalis kvalitetsmål)
Urat: totalimprecision för ny metod (nytt) vs rutinmetod (referens) 2,50 2,00 Ny metod CV tot : 0,41 0,87 % Imprecision (CV% total) 1,50 1,00 Rutinmetod CV tot : 0,74 2,24 % Referens Nytt 0,50 0,00 3 4 10 6 1 2 5 7 8 9 11 12 13 14 15 16 17 18 19 20 Prov nr
Lutning Skärning (umol/l) Korr. koefficient Medel bias (%) Medel bias (umol/l) Korrigeringsfaktor (umol/l) Undersökt mätområde (umol/l) Enligt verifiering 0,97-7,14 0,998-4,6-20,2 1,03 215 730 OK Enligt leverantör 0,96 13,5 0,998 94 1840
Ca: ny metod vs rutinmetod 50,00 40,00 30,00 %Relative Error 20,00 10,00 0,00 1,00 1,50 2,00 2,50 3,00 3,50 4,00 %Riktighet medel Låg relativ B- toleransgräns Hög relativ B- toleransgräns %Analytiskt mål min %Analytiskt mål max -10,00-20,00 Koncentration (mmol/l)
Ca: totalimprecision för ny metod (nytt) vs rutinmetod (referens) 9,00 Imprecision (CV% total) 8,00 7,00 3,00 2,00 1,00 0,00 Nytt Prov 1 2 3 4 5 6 7 8 9 10 Dag 1 R1 1,56 1,93 2,02 2,27 2,35 2,49 2,54 2,66 2,77 3,11 R2 1,56 1,94 2,02 2,22 2,3 2,48 2,55 2,64 2,75 3,07 R2 R4 R5 Dag 2 R1 1,63 2,03 2,08 2,33 2,32 2,6 2,63 2,79 2,83 3,24 6,00 R2 1,65 2,01 2,11 2,34 2,35 2,59 2,59 2,86 2,9 3,26 R2 R4 5,00 R5 Dag 3 R1 1,67 2,05 2,17 2,46 2,34 2,76 2,62 3,01 3,1 3,43 Referens R2 1,74 2,1 2,17 2,42 2,43 2,67 2,67 2,96 3,02 3,44 Nytt 4,00 R2 R4 R5 Dag 4 R1 1,72 2,18 2,24 2,47 2,36 2,8 2,64 3,13 3,04 3,68 R2 1,75 2,18 2,26 2,45 2,36 2,82 2,65 3,1 3,06 3,66 R2 R4 R5 Dag 5 R1 1,74 2,26 2,33 2,52 2,39 2,91 2,74 3,23 3,1 3,75 R2 1,82 2,2 2,29 2,53 2,48 2,96 2,69 3,32 3,16 3,81 R2 R4 1 2 R5 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Hållbarhetsproblem! Prov nr Skillnad tid RT jfr rutin. Bättre frysa alikvoter?
Ca ny vs rutinmetod, nytt försök 8,00 6,00 4,00 %Relative Error 2,00 0,00 1,00 1,50 2,00 2,50 3,00 3,50 4,00-2,00 %Riktighet medel Låg relativ B- toleransgräns Hög relativ B- toleransgräns %Analytiskt mål min %Analytiskt mål max -4,00-6,00 Koncentration (mmol/l) Analytiskt mål: 4 % (Equalis kvalitetsmål = 3 %)
Ca: totalimprecision för ny metod (nytt) vs rutinmetod (referens), nytt försök 2,00 1,80 1,60 1,40 Imprecision (CV% total) 1,20 1,00 0,80 0,60 Referens Nytt 0,40 0,20 0,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Prov nr
Sammanfattning Tydlig bild: förkasta eller acceptera. Inkluderar riktighet och precision. Korrektionsfaktor kan beräknas. Information om mätintervall. Koppling till analytiska mål. Simulerar hur metoden kommer att fungera (β). Försöksupplägget viktigt (provhantering).
Referenser Om accuracy profiler: Hubert P. The SFSTP guide on the validation of chromatographic methods for drug bioanalysis: from the Washington Conference to the laboratory. Anal Chim Acta 1999;391:135-48. Boulanger B et al. An analysis of the SFSTP guide on validation of chromatographic bioanalytical methods: progress and limitations. J Pharm Biomed Anal 2003;32:753-65. Hubert P et al. Harmonization of strategies for the validation of quantitative analytical procedures. A SFSTP proposal--part I. J Pharm Biomed Anal 2004;36:579-86. Hubert P et al. Harmonization of strategies for the validation of quantitative analytical procedures. A SFSTP proposal--part II. J Pharm Biomed Anal 2007;45:70-81. Hubert P et al. Harmonization of strategies for the validation of quantitative analytical procedures. A SFSTP proposal--part III. J Pharm Biomed Anal 2007;45:82-96. Hubert P et al. Harmonization of strategies for the validation of quantitative analytical procedures: a SFSTP proposal part IV. Examples of application. J Pharm Biomed Anal 2008;48:760-71. Statistik: Mee RW. b-expectation and b-content Tolerance Limits for Balanced One-Way ANOVA Random Model. 1984. Satterthwaite FE. An approximate distribution of estimates of variance components. Biometrics 1946;2:110-4. Tillämpning: Rozet E et al. Methodologies for the transfer of analytical methods: a review. J Chromatogr B Analyt Technol Biomed Life Sci 2009;877:2214-23. Feinberg M et al. Interpretation of interlaboratory trials based on accuracy profiles. J AOAC Int 2010;93:725-33. Cavalier E et al. Analytical evaluation of the new Abbott Architect 25-OH Vitamin D assay. Clinical Biochemistry 2012;45:505-8 mfl.
Tack för er uppmärksamhet