Validering och Verifiering: Vad när och hur? Kerstin Elvin EQUALIS 26 mars 2015

Transkript

1 Validering och Verifiering: Vad när och hur? Kerstin Elvin EQUALIS 26 mars 2015

2

3 Vad är det????? Validering Engelskans validate göra giltigt, bekräfta. Validering fastställer att man mäter det man har för avsikt att mäta Tillverkarens utvärdering av reagens / kit Verifiering Latinets verificare eller verus sant Verifiering bekräftar att metoden uppför sig på specificerat sätt Laboratoriet undersöker alltså om valideringen stämmer

4 Var finns informationen? Kravreferenser Standarder ISO/IEC 17025; 5.4.1, 2, 4 och 5 ISO 15189: och 2 SWEDAC DOC 01:55 från 2011 Kvalitetsmanual, Centuri

5 Validering In Europe it is the statutory responsibility of the manufacturer to determine, describe and verify the performance of the measuring system (EU IVD Directive 98/79 {2})

6 Validering; vad krävs? ISO Riktighet Mätintervall Noggrannhet Prestanda Detektionsgräns Precision Sensitivitet Specificitet Analytisk/Dia gnostisk Mätosäkerhet

7 Vem ska validera? Tillverkaren validerar Alt 1. Kit-bundna metoder och metoder utvecklade för speciellt instrument ex ImmunoCap allergi Tillverkaren/Laboratoriet Alt 2. Metod (vedertagen) som anpassas till instrument ex CCP, ELISA-robot Laboratoriet Alt 3. In-house metod utifrån publicerad vetenskaplig lit. Lab validerar (verifierar om väletablerad metod Alt 1 ) Alt 4. In-house metod Egenutvecklad Laboratoriet validerar ex. ELISA Anti-TNFa

8 Processen in a nutshell Flera instrument KM. instrument av samma typ räcker bias mot befintligt instrument, t ex med Split Sample. Verifiering Validering

9 Verifiering Metodens prestanda ska motsvara kliniska verksamheternas användning Riktlinjer och rutiner Leverantörens validering ska finnas tillgängligt Verifieringsplan De som är delaktiga dokumenteras Rapport alt. checklista m bilagor Arkiveras med primärdata Rapport o metodbeskrivning skall vara godkänd och signerad innan metoden tas i bruk

10 Verifiering basal Riktighet Dataöverföring LIS Precision Sensitivitet Specificitet Mätosäkerhet Ref.intervall Cut-Off

11 Verifiering utökad Sensitivitet Funktionell Analytisk Analytisk specificitet Detektionsgräns Lägsta mätbara koncentration Linjäritet: resultat som är direkt proportionella mot komponentkoncentrationen Stabilitet: Ex pröva frysning tining Carry over: smitta Interferenser: ex Korsreagerande ak, enzymer, joner Antigeneffekt: Ag eller ak överskott falskt låga resultat Matrixeffekt: köpta kontroller jmfr patientprov

12 Riktighet (Bias) Clinical and Laboratory Standards Institute (EP15 och EP5) (förut NCCLS) Jämförelsemetod (EP15) Minst 20 prov inom det kliniskt intressanta mätområdet vanligt (E Theodorsson 2012) KM: minst 20 prov Regressionsdiagram (t.ex. SD, CV%, r 2 (korr koef), k (lutning), m (intercept) 95% CI ) Biasplot Referensmaterial CRM=IRP Externa Kontrollprogram EQUALIS NEQAS 3-labsjämförelse Preparation från tillverkaren Preparation tredje part Två koncentrationer Duplikat x 3-5 KM: 3 konc 5 mätn/nivå Resultat inom 15% sant värde

13 BioPlex2200 Regressionsdiagram Jämförelse TTG IgA Bioplex220 med pos prov IC250 n= y = 20,412x - 274,55 R² = 0, IC250

14 Diff Test - Reference Measurement verification in the clinical laboratory: Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5 Anders Kallner6 Difference graph Mean of Test and Reference Diff +/- 1,96 s Mean bias Partition bias Regr

15 Clinical and Laboratory Standards Institute (EP15och EP5) (förut NCCLS) Precision Repeterbarhet (Inomserie) 3 replikat x 5 =15 Helst 5 x 5 =25! (Khatami et Minst 2 nivåer! KM: 2nivåer 4 plikat x 5dagar Total precision (CV%) (Mellanserie) Minst 20 dagars analyser 2 aliquot för varje konc och 2 analyser/dag Prover sätts i olika ordning Minst 30 dagar om endast 1 analys/dag

16 Inom- och mellanserievariation Minst 3 men helst 5 replikat 5 dagar (Khatami Z etal) Minst 2 nivåer! KM: 4-plikat 5 dagar

17 Variationskoefficienten: CV% Mätosäkerhet CV%= standardavvikelse x 100 medelvärde Uttrycker standardavvikelsen som procent av medelvärdet dvs hur många procent i genomsnitt avviker observationerna från medelvärdet. Över längre tid, olika BMA, temperaturer och batcher Helst minst ett år!

18 Referensintervall Vanligen 95 % av en utvald population Friska blodgivare optimalt 120st Cut-off för ex autoantikroppar KM: Optimalt minst 120 köns- o åldersrelevant Ange bakgrunden till det referensintervall som beslutas t ex medelvärdet 2 SD eller anpassning till normalfördelning.

19 Diagnostisk sensitivitet specificitet PPV och NPV Med Sjukdom Utan Sjukdom Positivt test Sant positiva Falskt positiva Negativt test Falskt negativa Sant negativa PPV = Sant pos/tot pos NPV = Sant neg /Tot neg Sensitivitet Sant pos/ Tot sjukdom Specificitet Sant neg/ Tot Ej sjukdom

20 Tack!!!

21

22 Verifiering Bekräftar prestanda Riktighet IRP EK Tre-lab Jämförelsemetod Precision Repeterbarhet (inomserie) Mellanliggande precision (total precision) Mätosäkerhet uppskattas Täcka rel mätområde minst 2 nivåer! Stabilitet Referensintervall Cut-off Friska blodgivare Diagnostisk sensitivitet och specificitet bör verifieras (prediktivt värde) Jämförelsemetod/Relativ Dataöverföring

23 Exempel: Anti BP-180-ak (IgG) och BP-230-ak (IgG) ELISA verifiering Orsak till validering/verifiering Införande av ny metod för bestämning av antikroppar mot BP 180 och BP 230 med ELISA. Ansvar BMA: Anna-Britta Johansson Tekniskt ansvar: Ulf Sundin och Anders Wannberg Medicinskt ansvar: Kerstin Elvin

24 Validering/verifieringskrav Tillverkarens data Euroimmun tillhandahåller kommersiella ELISA-baserade kit för bestämning av antikroppar mot BP 180 och BP 230. Analyserna är validerade av Euroimmun 20 RU/ml bedöms positiva. I sin validering rapporterar Euroimmun BP 180 Sensitivitet: 90% Specificitet: 98%. BP 230 Sensitivitet: 57% Specificitet: 97% Verifieringsplan 1. Cut off nivå och specificitet för anti-bp 180 respektive anti-bp 230 skall verifieras genom analys av 60 friska blodgivare av båda könen i åldern år. Krav: Cut-off skall överstiga 95:e percentilen för respektive analys vilket ger en specificitet på >95%. 2. Den kvalitativa överensstämmelsen mellan IFL BM och de nya ELISA-metoderna skall undersökas genom analys av prov positiva med IFL; 21 st prov positiva för IFL BM. Krav: Överenstämmelsen d.v.s. relativa sensitiviteten skall vara > 50% för respektive analys. 3. Patienter med annan blåsdermatos (pemfigus), positiva för anti-desmoglein 1 eller 3, skall vara negativa för anti-bp180 och 230. Krav: specificitet >95 4. Inom och mellanserievariation ska bedömas genom analys av låg och hög IK 5 i 6replikat vid 5 tillfällen

25 Utförande Resultat Andel negativa blodgivare för båda analyserna var 59/60 = 98% (specificitet 98%). En cut-off på 20 RU/mL motsvarade 98:e percentilen för BP180 och 99:e percentilen för BP 230. Relativ sensitivitet jämfört med IFL BM var 71% för BP 180 och 81% för BP 230 Samtliga patienter med annan blåsdermatos (pemfigus, n=8) var negativa för både BP 180 och BP 230 (specificitet 100%) Uppföljning 1. Inom- och mellanserievariation 2. Mätosäkerhet 3. Riktighet Ackreditering av metoden planeras då vi fått tillräcklig erfarenhet och kan bedöma variation, mätosäkerheten och riktighet.

26 Konklusioner I vår verifiering har Euroimmuns kit för analys av antikroppar mot BP 180 och BP 230 en hög specificitet (>95%) för bullös pemfigoid, och relativ sensitivitet ca 70-80% vid analys av BM positiva sera (IFL). BP 180 visade lägre relativ sensitivitet än tillverkarens sensitivitetsdata och BP230 högre än tillverkarens validering. Detta kan bero på att provurvalet skedde på basen av positiva IFL resultat. Verifieringresultaten betraktas som tillfredställande. Tillverkarens cut-off på 20 RU/mL kan användas. Analyserna implementerade i rutindrift fr.om

27 Measurement verification in the clinical laboratory: Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5 Anders Kallner6 Repeterbarhet Minst två poolade patientprov Ingen störande hemolys, lipidemi eller annat enl leverantör Förvarande enl leverantör (helst kylförvarat) Utförande 5 replikat x 5 dagar =25 Analysis of variance (ANOVA).

28 Riktighet IRP CDC, WHO, NIBSC ex ANA specificiteter Avsaknad tidigare krav verifiering av IK 2 ackr lab Jämförelsemetod EK EQUALIS Nequas Instand Tre-labjämförelse ex ECP, allergen, Anti-C1q

29 Riktighet referensmaterial Duplikat x 3-5 omgångar Medelvärde och Standarddeviation Estimera bias från förväntat värde Evaluera signifikans av skillnader med Student s t-test

30 Ackrediteringens omfång

31 Utvärdering - Trelabsjämförelse Gradering av deltagarnas resultat mot förutbestämda kriterier % skillnad, Z score z score = labresultat - börvärde jämförelsens standardavvikelse z 2 Utan anmärkning 2 < z 3 Tvivelaktigt varning z > 3 Otillfredsställande aktion