Validering av kontroller Equalis användarmöte 2017-03-14 Håkan Janson Klinisk mikrobiologi, Region Kronoberg
Tillgång till stabila kontroller krävs för: Jämförelse av metoder Byte av reagenser och substrat Godkännande av analysomgångar Felsökning
Frågorna vi ställer oss Vilka kontroller ska man välja? Hur ofta ska de analyseras? Hur ska utfallet bedömas? Hur validerar vi vår kontroll?
Mikrobiologiska kontroller till: Kvantitativa analyser Analyt med känd koncentration / titer / värde Kvalitativa analyser Positiv / Negativ kontroll Resistensbestämning Referensstammar med känd resistens (zon / MIC) Biokemiska kontroller Referensstammar med kända egenskaper Substratkontroller Referensstammar med kända egenskaper Apparatkontroller Standard med känt värde / stam med kända egenskaper
Generella regler för val av kontroller Undvik för starka kontroller Späd i relevant matrix Undvik kontroller som ligger kring detektionsgränsen Dock strax över cut-off för metoder som har sådan För kvantitativa analyser bör man ha minst två kontroller En hög och en låg Båda bör ligga inom metodens linjära intervall Välj gärna kontroller som kan användas till att mäta mer än en sak Inhibitions- / extraktions- / positiv kontroll Bakteriestammar med flera unika egenskaper Flera analyter i en kontroll
Vad säger Ur SWEDAC DOC 01:31 2006-12-12 Utgåva 4
Vilka regler gäller för validering av kontroller? Samma som för metoder, dvs bl a bestämning av repeterbarhet och mellanliggande precision skattning av metodens riktighet t ex genom jämförelser med certifierat referensmaterial eller ackrediterat laboratorium eller annat publicerat tillvägagångssätt under en inkörningsperiod bör laboratoriet använda en hög frekvens kontroller på mer än en nivå för att under driftsförhållanden säkerställa angiven mätosäkerhet och riktighet bedömning av metoders stabilitet över tiden. Detta ska tjäna som underlag för antal kontroller, kontrollfrekvens och kontrollregler
Validering respektive verifiering Validering Ofta knuten till utvecklingen av en metod Upprättande av analytisk kravspecifikation där gränser sätts för metodens egenskaper Fastställer att metoden mäter det den avser att mäta Verifiering Att säkerställa att metoden uppför sig på ett specificerat sätt Kan innehålla en eller flera komponenter från valideringen Monitorerar att gränserna hålls
Verifiering Valideringens omfattning Validering IVD-godkända tester och kontroller verifieras bara Leverantörens validering kan accepteras efter bedömning av leverantörens bifogade dokumentation Annat laboratoriums validering kan accepteras efter bedömning av valideringsprotokollet Om validerade komponenter från fler leverantörer används åligger det laboratoriet att verifiera/validera att specificerade krav uppfylls Tillämpning av metod publicerad i vetenskaplig litteratur eller modifiering av tidigare ackrediterad metod, alternativt etablerad metod Egentillverkad metod Ska valideras
Val av kontroller Tänk till så att de uppfyller det som förväntas Använd inte en höggradigt resistent stam för att kontrollera antibiotikalappar/strips Kanske inte nödvändigt att ha med en högpositiv kontroll om grad av positivitet inte påverkar den medicinska bedömningen Använd kontrollmaterial från välrenommerade leverantörer Märkta med batch/lotnummer Lagringsrekommendationer Utgångsdatum Egentillverkade kontroller Hållbarhet? Stabilitet? Större krav på validering/verifiering
Var får man tag på bra oberoende kontroller? Inköp av kontroll från leverantör (WHO, Vircell, BioRad, SeraCare, NIBSC mfl) Ett externt laboratorium delar med sig av kontroll som de har definierat Ett eller flera patientprov har identifierats som lämpligt för ändamålet Problem att få tag på högpositiva kontroller (de tar snabbt slut)
Det lokala laboratoriet ska för alla typer av metoder alltid genomföra en verifiering: Den ska omfatta: Precision/variation mellan upprepade mätningar, dvs mätning av imprecision. Inomserieprecision (repeterbarhet) alla faktorer hålls konstanta Mellanserieprecision (reproducerbarhet) en eller flera faktorer varieras Mätosäkerhet (=Organisations-CV, det vi rapporterar till Swedac) Rapporteras som standardavvikelse eller variationskoefficient (CV %)
Hur väljer man en korrekt nivå på kontrollen? Diagnostiskt intervall (gråzon runt gränser för klinisk beslutsfattning) Framför allt för serologiska analyser Biologisk variation (diagnos och screening) Nära cut-off Professionella rekommendationer Tyroidea tester Regulatoriska rekommendationer I jämförelse med referenslab NEQAS, QCMS, EQUALIS, EUCAST, publikationer
Fastställande av gränser Definiera börvärden Helst två nivåer i närheten av relevanta beslutsnivåer (cut off-värden) Sätt gränser och utgå från metodens naturliga variation
Hur sätter man gränsvärdena? Räkna ut medelvärde och standardavvikelse (SD) Enkelmätning eller ANOVA En mätning som upprepas 20-30 gånger Duplikat som körs 10 gånger Fem mätningar som körs 4 gånger
Görs enkelt i Excel Plotta sedan ett Levey-Jennings diagram
Mål med en bra kontroll Hög precision Bra normalfördelning Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
Variationskoefficient (CV) Visar hur stor standardavvikelsen är i förhållande till medelvärdet Finns angivet för IVD-godkända kvantitativa metoder Fås genom att dividera standardavvikelsen med medelvärdet CV = (SD / Medelvärde) x 100
Medelhög spridning Medelvärde: 233 Standardavvikelse: 27 CV: 11,7 3 SD 2 SD 1 SD
Liten spriding Medelvärde: 233 Standardavvikelse: 4,5 CV; 2,0
(För) stor spridning Medelvärde: 233 Standardavvikelse: 54 CV; 23,2
Westgard enkelregler 1 2s och 1 3s Larmgränser och stoppgränser baserat på medelvärde +/-2 och 3 SD Larm vid 2 SD Stopp vid 3 SD
Acceptansnivå Vanlig kontrollregel (sätts av egna laboratoriet) När kontrollen hamnar utanför gränsvärdet ± 2 SD två gånger i rad eller ± 3 SD en gång är acceptansgränsen överskriden Gör gärna flödeschema för acceptansnivå Spårbart resultat Skapa gränser i LIS
Hur väljer man rätt intervall? Sätt gränser för kontroller som motsvarar den CV som metodvalideringen kommit fram till. Om metoden har ett CV på 10% så bör gränserna motsvara detta. Ett för snävt intervall måste definieras om vid varje reagensbyte Ett för stort intervall upptäcker inte avvikelser och brister Ett lagom stort intervall (inom metodens normala precision) tillåter variation mellan olika reagensloter utan att påverka förmågan att hitta avvikelser
HCV lågpositiv oberoende kontroll
Westgard multipla regler Använder en kombination av 5 st kontrollregler för godkännande av en analysomgång. Westgard multipla regler kräver i normalt 2 till 4 kontrollmätningar per analysomgång, dvs man mäter 2 olika kontroller 1 till 2 gånger per analysomgång. Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
QC regel 2 2s Triggas om kontrollen faller utanför samma 2 SD två gånger i rad QC regel R 4s Triggas om två efterföljande kontroller avviker över 2 SD på varsitt håll om medelvärdet Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
QC regel 4 1s Triggas om 4 efterföljande kontroller faller utanför samma 1 SD 4 gånger i rad QC regel 10 x Triggas om kontrollen hamnar på samma sida om medelvärdet 10 gånger i rad. Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
QC regel för trender 7 T triggas när kontrollen ökar eller minskar 7 gånger i rad. Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
Westgard reglerna i praktiken Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
Varför använda den mer komplicerade multiregelmetoden? Bättre träffsäkerhet än 1 2S bedömningen Med 1 2s (+/- >2 SD) får man många falskt positiva fel. I sakens natur ska kontrollen falla utanför 2 SD var 20:e gång. Har du två kontroller är det var 10:e gång. Med fyra kontroller var 5:e gång. Högre sensitivitet än 1 3s bedömningen Med 1 3s (+/- >3 SD) får man hög specificitet men dålig sensitivitet på att hitta mindre fel. Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
Ett exempel på kontrollpaket på ett serologiskt analysinstrument Kapacitet Kan lagra 25 000 kontrollpunkter Kan lagra kontrolldata på CD-ROM Upp till sex kontrollnivåer per analyt Levy Jennings diagram Tre kontrollnivåer visas på skärmen Grafer (i regel 31 dagar) kan visas i datumordning Kontrollpunkter kan inkluderas eller exkluderas Data kan visas som Förväntad statistik Kumulativ statistik Westgard regler 10 regler finns tillgängliga. Kan aktiveras eller inaktiveras 2 flaggor kan väljas: Varning eller Underkänt Normalregler 1 2s / Varning 1 3s / Underkänd Baserad på bild från Erik Christensen, Kvalitetskontroll Westgard regler, Legeforeningen
Vad säger Ur SWEDAC DOC 01:31 2006-12-12 Utgåva 4
Generösa gränser på kitkontrollen Underkändes ej
Gränserna måste vara tillräckligt snäva för att upptäcka fel Lotbyte
GC-PCR
Hur länge håller kontroller? Frystorkad ampull Oändligt? Poolat eget material till kvalitativt test/bakteriestammar vid -70 o C Väldigt länge. (Oändligt?) Poolat eget material till kvantitativt test vid - 70 o C Länge (10 år?) Kontrolleras med trelabsjämförelse vart 5:e år Utspädda kontroller 1 år?
Stabilitet av kontroller En vanlig anledning till underkännande av analysomgångar är problem med kontrollen. Halten brukar sjunka över tid Utspädda kontroller känsligast Undvik frystining Försök härma ett normalt prov, dvs späd i annat än vatten Tillsätt någon carrier vid molekylärbiologisk eller serologisk analys
Utvärdering av carrier
Extraherat patientmaterial med carrier (trna)
Förlängning av hållbarhet för brukslösning av kontroller
Förvaring påverkar - HPV Kylförvaring inleddes
HPV kitkontroll
HCV högpositiv oberoende kontroll - avskaffad
När ska gränserna definieras om? Vid lotbyte av kontroller Parallelltesting (samtestning) är viktigt Helst ej vid byte av reagenslot Om inte leverantören har en bra förklaring
Hur vet man att det är fel på kontrollen och inte på metoden? Titta på utfallet av: Andra kontroller Patientprov från tidigare analysomgångar Rimligheten Om naturlig förklaring inte hittas: Kör om hela eller delar av analysomgången Ta upp ny kontroll Gör spädningsserie och jämför med tidigare limit of detection
Tack till de som delat med sig av sin kunskap om kontroller till mig! Kontrollfreaks Maria Bergdahl, Växjö Martina Larsson, Växjö Maysae Quttineh, Jönköping Linda Lindh, Gävle