Validering och Verifiering: Vad är det och hur bör det utföras? Kerstin Elvin EQUALIS användarmöte 18 april 2013

Transkript

1 Validering och Verifiering: Vad är det och hur bör det utföras? Kerstin Elvin EQUALIS användarmöte 18 april 2013

2

3 Vad är det????? Validering Engelskans validate göra giltigt, bekräfta. Validering fastställer att man mäter det man har för avsikt att mäta Tillverkarens utvärdering av reagens / kit Verifiering Latinets verificare eller verus sant Verifiering bekräftar att metoden uppför sig på specificerat sätt Laboratoriet undersöker alltså om valideringen stämmer

4 Validering In Europe it is the statutory responsibility of the manufacturer to determine, describe and verify the performance of the measuring system (EU IVD Directive 98/79 {2})

5 Validering/Verifiering SWEDAC DOC 01:55 från 2011 Kravreferenser Standarder ISO/IEC 17025; 5.4.1, 2, 4 och 5 ISO 15189; och 2

6 Validering/Verifiering Metoden ska motsvara kliniska verksamheternas krav Kvalmanualen Vilka är ansvariga Riktlinjer och rutiner Rapport alt. checklista m bilagor Arkiveras med primärdata Leverantörens validering ska finnas tillgängligt Protokoll skall vara godkända och signerade innan metoden tas i bruk

7 Validering Tillverkaren validerar Kit-bundna metoder och metoder utvecklade för speciellt instrument ex ImmunoCap allergi Tillverkaren/Laboratoriet Metod (vedertagen) som anpassas till instrument ex CCP, ELISA-robot Laboratoriet In-house metod utifrån publicerad vetenskaplig lit. Lab validerar/verifierar (väletablerad metod) ex. ELISA gliadin In-house metod Egenutvecklad Laboratoriet validerar ex. ELISA Anti-TNFa

8 Verifiering Precision Repeterbarhet (inomserie) Mellanliggande precision (total precision) Mätosäkerhet uppskattas Täcka rel mätområde minst 2 nivåer! Stabilitet Riktighet IRP EK Tre-lab Referensintervall Cut-off Friska blodgivare Diagnostisk sensitivitet och specificitet bör verifieras (prediktivt värde) Jämförelsemetod Dataöverföring

9 Clinical and Laboratory Standards Institute (EP15och EP5) (förut NCCLS) Precision Repeterbarhet (Inomserie) 3 replikat x 5 =15 (helst 5 x 5 =25! Khatami et al) Total precision (CV%) Minst 20 dagars analyser 2 aliquot för varje konc och 2 analyser/dag Prover sätts i olika ordning Minst 2 nivåer! Minst 30 dagar om endast 1 analys/dag

10 Measurement verification in the clinical laboratory: Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5 Anders Kallner6 Repeterbarhet Minst två poolade patientprov Ingen störande hemolys, lipidemi eller annat enl leverantör Förvarande enl leverantör (helst kylförvarat) Utförande 5 replikat x 5 dagar =25 Analysis of variance (ANOVA).

11 Clinical and Laboratory Standards Institute (EP15och EP5) (förut NCCLS) Riktighet (Bias) Jämförelsemetod (EP15) Minst 20 prov inom det kliniskt intressanta mätområdet vanligt (E Theodorsson 2012) Referensmaterial CRM=IRP EK Preparation fr tillverkaren Preparation tredje part Två koncentrationer Duplikat x 3-5

12 Diff Test - Reference Measurement verification in the clinical laboratory: Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5 Anders Kallner6 Difference graph 2 1 Jämförelsematerial >20 patientprov inom relevant mätområde jämförs Mean of Test and Reference Diff +/- 1,96 s Mean bias Partition bias Regr

13 Riktighet referensmaterial Duplikat x 3-5 omgångar Medelvärde och Standarddeviation Estimera bias från förväntat värde Evaluera signifikans av skillnader med Student s t-test

14 Klinisk betydelse Med Sjukdom Utan Sjukdom Positivt test Sant positiva Falskt positiva Negativt test Falskt negativa Sant negativa PPV = Sant pos/tot pos NPV = Sant neg /Tot neg Sensitivitet Sant pos/ Tot sjukdom Specificitet Sant neg/ Tot Ej sjukdom

15 Exempel: Anti BP-180-ak (IgG) och BP-230-ak (IgG) ELISA verifiering Orsak till validering/verifiering Införande av ny metod för bestämning av antikroppar mot BP 180 och BP 230 med ELISA. Ansvar BMA: Anna-Britta Johansson Tekniskt ansvar: Ulf Sundin och Anders Wannberg Medicinskt ansvar: Kerstin Elvin

16 Validering/verifieringskrav Tillverkarens data Euroimmun tillhandahåller kommersiella ELISA-baserade kit för bestämning av antikroppar mot BP 180 och BP 230. Analyserna är validerade av Euroimmun 20 RU/ml bedöms positiva. I sin validering rapporterar Euroimmun BP 180 Sensitivitet: 90% Specificitet: 98%. BP 230 Sensitivitet: 57% Specificitet: 97% Verifieringsplan 1. Cut off nivå och specificitet för anti-bp 180 respektive anti-bp 230 skall verifieras genom analys av 60 friska blodgivare av båda könen i åldern år. Krav: Cut-off skall överstiga 95:e percentilen för respektive analys vilket ger en specificitet på >95%. 2. Den kvalitativa överensstämmelsen mellan IFL BM och de nya ELISA-metoderna skall undersökas genom analys av prov positiva med IFL; 21 st prov positiva för IFL BM. Krav: Överenstämmelsen d.v.s. relativa sensitiviteten skall vara > 50% för respektive analys. 3. Patienter med annan blåsdermatos (pemfigus), positiva för anti-desmoglein 1 eller 3, skall vara negativa för anti-bp180 och 230. Krav: specificitet >95 4. Inom och mellanserievariation ska bedömas genom analys av låg och hög IK 5 i 6replikat vid 5 tillfällen

17 Utförande Resultat Andel negativa blodgivare för båda analyserna var 59/60 = 98% (specificitet 98%). En cut-off på 20 RU/mL motsvarade 98:e percentilen för BP180 och 99:e percentilen för BP 230. Relativ sensitivitet jämfört med IFL BM var 71% för BP 180 och 81% för BP 230 Samtliga patienter med annan blåsdermatos (pemfigus, n=8) var negativa för både BP 180 och BP 230 (specificitet 100%) Uppföljning 1. Inom- och mellanserievariation 2. Mätosäkerhet 3. Riktighet Ackreditering av metoden planeras då vi fått tillräcklig erfarenhet och kan bedöma variation, mätosäkerheten och riktighet.

18 Konklusioner I vår verifiering har Euroimmuns kit för analys av antikroppar mot BP 180 och BP 230 en hög specificitet (>95%) för bullös pemfigoid, och relativ sensitivitet ca 70-80% vid analys av BM positiva sera (IFL). BP 180 visade lägre relativ sensitivitet än tillverkarens sensitivitetsdata och BP230 högre än tillverkarens validering. Detta kan bero på att provurvalet skedde på basen av positiva IFL resultat. Verifieringresultaten betraktas som tillfredställande. Tillverkarens cut-off på 20 RU/mL kan användas. Analyserna implementerade i rutindrift fr.om

19 Inom- och mellanserievariation Totalt sträva efter 25 mätningar 5 replikat 5 analystillfällen

20 Riktighet IRP CDC, WHO, NIBSC ex ANA specificiteter Avsaknad tidigare krav verifiering av IK 2 ackr lab Jämförelsemetod EK EQUALIS Nequas Instand Tre-labjämförelse ex ECP, allergen, Anti-C1q

21 Variationskoefficienten: CV% Mätosäkerhet CV%= standardavvikelse x 100 medelvärde Uttrycker standardavvikelsen som procent av medelvärdet dvs hur många procent i genomsnitt avviker observationerna från medelvärdet. Över längre tid, olika BMA, temperaturer och batcher Helst minst ett år!

22 Ackrediteringens omfång

23 Tack!!!