Provningsjämförelse / Proficiency Test

Transkript

1 ITM-rapport 224 Provningsjämförelse / Proficiency Test Suspenderat material Suspended Solids Marsha Hanson Marcus Sundbom Institutionen för tillämpad miljövetenskap Department of Applied Environmental Science

2 ITMs provningsjämförelser IT M-n r Av lo p p ; -s ko g s in d. -ko m m u n a lt Re c ip ie n t S y n te t J ONBALANS NÄRS ALTER AOX, BOD, COD och TOC METALLER J ONBALANS, FÄRG, ph, KOND och KLOROFYLL METALLER i S LAM NÄRS ALTER AOX, BOD, COD och TOC METALLER I VATTEN J ONBALANS METALLER I S LAM NÄRS ALTER AOX, BOD, COD, TOC och S u s p METALLER J ONBALANS, ph och KOND OLJ A & FETT, FENOLER OCH CYANID I VATTEN NÄRS ALTER AOX, BOD, COD, TOC och EOX METALLER I VATTEN S P ÅRÄMNEN J ONBALANS, ph, KOND och FÄRG NÄRS ALTER AOX, BOD, COD och TOC B NÄRS ALTER J ONBALANS, ph, KOND och FÄRG METALLER I VATTEN METALLER I S LAM & Cr(VI) i vatten AOX, BOD7, CODCr, CODMn, TOC och ph J ONBALANS, ph och KONDUKTIVITET NÄRS ALTER och ph AOX, BOD7, CODCr, CODMn, TOC och S u s p METALLER I VATTEN METALLER I S LAM J ONBALANS, ph, KOND och FÄRG AOX, BOD7, CODCr, CODMn, TOC och S u s p NÄRS ALTER och Turbiditet METALLER I VATTEN J ONBALANS, ph, KOND, FÄRG och TURBIDITET NÄRS ALTER (recipient låga halter) AOX, BOD7, CODCr, CODMn, TOC, ph och KOND J ONBALANS, turb, färg, ph, kond och CODMn METALLER I S LAM och S EDIMENT NÄRS ALTER METALLER I VATTEN J ONBALANS, turb, färg, ph, kond och CODMn AOX, BOD, COD, TOC, kon d, p H och s u s p NÄRS ALTER METALLER I VATTEN J ONBALANS, ph, KOND, FÄRG, TURB. TOC, CODMn AOX, BOD, COD, TOC, ph, KOND. och Na NÄRS ALTER AOX, BOD, COD, TOC och h ög t p H J ONBALANS, färg, ph och kond METALLER I S LAM & Cr(VI) i vatten NÄRS ALTER AOX, BOD, COD, TOC, p H, KOND, S u s p, GR J ONBALANS, ph, KOND, FÄRG, TURB. Corg, CODMn METALLER I VATTEN J ONBALANS, ph, KOND, FÄRG, TURB AOX, BOD, COD, TOC, p H, KOND METALLER I VATTEN och KONDENS AT J ONB, ph, KOND, FÄRG, TURB. Corg, CODMn, KLOROFYLL NÄRS ALTER och ph AOX, BOD, COD, TOC, KOND och h ög t p H METALLER I VATTEN NÄRS ALTER, ph, KOND och FÄRG/ABS ORBANS AOX, BOD, COD, TOC, Na, KOND, p H och S u s p J ONBALANS och METALLER NÄRS ALTER, ph och KONDUKTIVITET AOX, BOD, COD, CORG/TOC, ph, KOND och Na METALLER, S P ÅRÄMNEN & Cr (VI) NÄRS ALTER J ONBALANS, CODMn, Corg, Färg, Kond, ph, Turb AOX, BOD7, CODCr, CODMn, Corg, p H, Na, Kon d & S u s p METALLER, S P ÅRÄMNEN NÄRS ALTER och extremt ph J ONBALANS, CODMn, Corg, Färg, Kond, ph, Turb AOX, BOD7, CODCr, CODMn, Corg, p H, Na, Kon d & S u s p METALLER, S P ÅRÄMNEN NÄRS ALTER J ONBALANS, CODMn, Corg, Färg, Kond, ph, Turb AOX, BOD7, CODCr, CODMn, Corg, p H, Na, Kon d & S u s p METALLER, S P ÅRÄMNEN S US P ENDERAT MATERIAL 2 2

3 Provningsjämförelse / Proficiency Test Suspenderat material / Suspended solids Marsha Hanson Marcus Sundbom

4 Innehåll / Table of Contents Förord / Preface... 3 Inledning... 4 Prover... 4 Metoder och analyskoder... 4 Sammanfattning av resultat... 5 English summary... 5 Sammanfattningstabell / Summary Table... 6 Z-score sammanfattning / Z-score summary... 7 STR torrsubstans / total suspended solids... 8 SFR glödrest / fixed solids S70 susp70 Vira Litteratur Statistisk bearbetning och diagram Statistical calculations and diagrams Deltagare Del A / Participants Part A Deltagare Del B / Participants Part B

5 Förord Statens Naturvårdsverk började 1973 erbjuda de svenska laboratorier som regelbundet utförde kemiska analyser inom miljövårdsområdet att delta i provningsjämförelser för de vanligast förekommande parametrarna. Deltagandet var frivilligt fram till 1991 då det blev obligatoriskt för ackrediterade laboratorier. Provningsjämförelserna organiseras och utförs numer av ITM Institutionen för Tillämpad Miljövetenskap vid Stockholms universitet på uppdrag av SWEDAC (Styrelsen för teknisk ackreditering) till självkostnadspris för laboratorierna. Resultaten redovisas i rapporter där analysresultaten är anonyma nyckel till sambandet mellan laboratoriekod och resultat finns endast hos SWEDAC och ITM. SWEDAC använder sig av resultaten från provningsjämförelserna vid sin tillsyn och kontroll av de ackrediterade laboratorierna. Det är emellertid inte något krav på ackreditering för att delta i provningsjämförelserna alla laboratorier deltar under samma premisser. Denna rapport, nummer 115 i serien, har sammanställts av Marsha Hanson, ITM. I den behandlas resultaten från analyser av suspenderat material i spikat utgående kommunalt avloppsvatten (Del A) och spikat utgående skogsindustriellt avloppsvatten (Del B). Provningsjämförelserna underlättar för laboratorierna att upptäcka fel på sina analyser samt att varsebli och sålla bort olämpliga analysmetoder. De ger dessutom en mer övergripande information om kvalitet och mätosäkerhet inom området miljöanalyser verksamheten befrämjar tillförlitligheten hos de analyser och mätresultat som utförs inom miljövårdsområdet. Stockholm, 13 april 2014 ITM, Institutionen för Tillämpad Miljövetenskap Stockholms universitet Preface In 1973 the Swedish environmental protection agency first organized proficiency tests of common parameters for Swedish laboratories performing environmental chemical analyses. Participation for accredited laboratories became mandatory in ITM, the Department of Applied Environmental Science, at Stockholm University currently organizes these proficiency tests under commission by SWEDAC, the Swedish Board for Accreditation and Conformity Assessment. Participation is anonymous. Results are presented in the reports according to an assigned lab code only SWEDAC and ITM have the key. SWEDAC uses the results when reviewing the laboratories they accredit. But accreditation is not necessary to participate the tests are open to all laboratories performing relevant analyses. This report, number 115 in the series, has been compiled by Marsha Hanson, ITM. It presents results of analyses of suspended solids in spiked municipal wastewater (Part A) and spiked paper industry wastewater (Part B). Proficiency tests help laboratories discover flaws in their analyses and provide an overview of the general quality of analytical methods and their margins of error. This has led to the gradual replacement of inadequate methods and consequently to the promotion of more reliable methods and results in the field of environmental analysis. Stockholm, April 13, 2014 ITM, The Department of Applied Environment Science Stockholm University 3

6 Inledning Måndagen den 10 mars 2014 sändes från ITM två provpar för en provningsjämförelse av suspenderat material omfattande parametrarna suspenderad torrsubstans, glödrest och susp70. Provningsjämförelsen består av två delar. För Del A rapporterade samtliga 47 anmälda laboratorier resultat för en eller flera parametrar, för Del B rapporterade 43 av 46 anmälda laboratorier. Av totalt 79 deltagande laboratorier deltog 13 i båda delarna. Prover ITMs provningsjämförelser använder sig av prover i par. Vattnet i de enskilda proverna inom ett provpar har samma ursprung men är blandade i två separata kar. Analysresultaten ska därmed skilja sig något mellan de två proverna. Proven i Del A innehöll ett spikat utgående kommunalt avloppsvatten och proven i Del B innehöll ett spikat utgående skogsindustriellt avloppsvatten. Del A: Utgående kommunalt avloppsvatten spikades med ca 10 mg/l bentonit. Del B: Utgående skogindustriellt avloppsvatten spikades med ca 20 mg/l pappersmassa. Stickprov togs vid tre tillfällen under upptappningen av prover på flaska. Stickprovsanalyser indikerar ingen tidsberoende trend för någon av de ingående parametrarna och vi bedömer att provvattnens homogenitet varit tillfredsställande. Metoder och analyskoder Från och med interkalibreringarna år 1993 använder vi oss av kort beskrivna analyskoder när vi delar upp och redovisar analysmetoderna som deltagarna använt. Koderna har sitt ursprung i Naturvårdsverkets gamla kalkningsregister KRUT men har gradvist anpassats för att passa provningsjämförelserna. En lista med koder skickas med i paketen tillsammans med proverna. Laboratorierna uppmanas att använda dessa koder för rapportering av sina analysmetoder. Användning av koderna har lett till större precision i databehandlingen och vi får ut mer detaljerad information ur materialet. Specialmetoder och ofullständigt redovisad metodik får koden "XX". Information om metoderna finns under rubriken "Analyskoder & metoder" under respektive parameters avsnitt. Vid utvärderingen av materialet kan vi vid behov ha grupperat eller delat upp ett antal liknande metoder (med avseende på antingen förbehandlingsmetod eller slutbehandlingsmetod) för att kunna se större linjer i materialet. Resultatet av dessa övningar redovisas då som kommentarer i texten för respektive parameter och prov. 4

7 Sammanfattning av resultat Resultaten för denna provningsjämförelse sammanfattas i form av statistiska kommentarer och omfattar observationer av signifikanta avvikelser från normalfördelning, signifikanta skillnader mellan metoder och beräknad andel systematiskt fel för varje prov eller provpar, samt en jämförelse med tidigare provningsjämförelser vad gäller halter och variationens storlek. Kommentarerna återfinns även i avsnitten för de enskilda parametrarna. Efter kommentarerna följer en sammanfattande tabell med beskrivande statistik samt en figur som illustrerar deltagarnas samlade prestation med hjälp av beräknade Z-scores. Beskrivning av aktuella beräkningar och diagram återfinns i kapitlet Statistisk bearbetning och diagram. Torrsubstans Del A Andelen systematiska fel är 55.1% vilket är lågt. Del B Andelen systematiska fel är 55.0% vilket är lågt. Prov 2: Fördelningen är spetsigare än vid normalfördelning. Glödrest Del A Andelen systematiska fel är 77.8% vilket är högt. Prov 2: Fördelningen är spetsigare än vid normalfördelning. Avvikelser: Lab 56 och Lab 97 uppger at de redovisat resultat i procent av torrsubstansen. Lab 97 räknade om sina resultat till de korrekta enheterna: 5.86 mg/l resp mg/l. Del B Andelen systematiska fel är 51.5% vilket är mycket lågt. Susp70 Del B Andelen systematiska fel är 75.7% vilket är högt. Prov 2: Fördelningen är spetsigare än vid normalfördelning. English summary On Monday, March 10, 2014, ITM dispatched two sample pairs for the analysis of suspended solids, including total suspended solids, fixed residue and coarse particles. The two samples within each pair are of the same origin but mixed in separate tanks. The samples were, for Part A, treated municipal wastewater spiked with ~10 mg/l bentonite, and for Part B, treated paper industry wastewater spiked with ~20 mg/l paper pulp. Three random samples from each tank were analyzed to ensure homogeneity. Of the 79 labs participating in this proficiency test by reporting results for one or more parameters, 47 labs participated in Part A and 43 labs in Part B; 13 labs reported results for more than one part. The analysis codes used to describe the analytical methods increase the precision of the data analysis, providing more informative results. Relevant analysis codes and method descriptions are under the section for each parameter. This summary includes statistical details such as significant deviations from normal distribution, significant differences between methods and estimated systematic error, together with comparisons of concentration levels and variation coefficients with the most recent test in a similar matrix. This is followed by a table summarizing the descriptive statistics for all included parameters and a Z-score diagram with the total performance of each participating laboratory. Total suspended solids Part A The portion of systematic errors is 55.1% which is small. Part B The portion of systematic errors is 55.0% which is small. Sample 2: The distribution is narrower than normal distribution. Fixed residue Part A The portion of systematic errors is 77.8% which is large. Sample 2: The distribution is narrower than normal distribution. Reporting errors: Lab 56 and Lab 97 reported results as percent of TSS. Lab 97 recalculated the results in the correct units: 5.86 mg/l and 5.66 mg/l. Part B The portion of systematic errors is 51.5% which is much smaller than normal. Coarse particles Part B The portion of systematic errors is 75.7% which is large. Sample 2: The distribution is narrower than normal distribution. 5

8 Sammanfattningstabell / Summary table Parameter Round Unit XBAR Median Stdev Range CV% Entries Outlier Matrix Parameter Provning Sort XBAR Median Stdev Range CV% Antal Utlig. Provtyp STR , A1 mg/l Kommunalt avloppsvatten , A2 mg/l Kommunalt avloppsvatten , B1 mg/l Skogsindustriellt avloppsvatten , B2 mg/l Paper industry wastewater SFR , A1 mg/l Kommunalt avloppsvatten , A2 mg/l Kommunalt avloppsvatten , B1 mg/l Skogsindustriellt avloppsvatten , B2 mg/l Paper industry wastewater Susp , B1 mg/l Skogsindustriellt avloppsvatten (Vira duk) , B2 mg/l Paper industry wastewater Förkortning/ Abbreviation Svenska English XBAR medelvärde average concentration STDEV standardavvikelse standard deviation CV% variationskoefficient coefficient of variation ANTAL antal som ingår i statistiken number included in the statistics UTLIG antal uteslutna ur statistiken number of exluded values 6

9 Z-score sammanfattning / Z-score summary Diagrammet visar godkända z-scores för att ge en överblick över varje labs samlade prestation. Ett kryss till höger betecknar ett eller fler Z-scores utanför intervallet. The diagram plots passing z-scores to give an overview of each lab s total performance. A red X on the right indicates one or more Z-scores outside of the interval. Lab Z-score Lab Z-score 7

10 STR / TSS Susp, torrsubstans / Total Suspended Solids Del A Andelen systematiska fel är 55.1% vilket är lågt. Del B Andelen systematiska fel är 55.0% vilket är lågt. Prov 2: Fördelningen är spetsigare än vid normalfördelning. Part A The portion of systematic errors is 55.1% which is small. Part B The portion of systematic errors is 55.0% which is small. Sample 2: The distribution is narrower than normal distribution. Analyskoder & metoder STR-STG SUBSTANS SUSPENDERAD TORKAD GLASFIBERFILTER Suspenderad substans. Glasfiberfilter. Torkat i 105 C. SS 28112; SS-EN STR-STM SUBSTANS SUSPENDERAD TORKAD MEMBRANFILTER Suspenderad substans. Membranfiltrer (0.45 µm). Torkat i 105 C. SNV (SEPA) STR-XX SUBSTANS SUSPENDERAD TORKAD EGEN METOD Analysis codes & methods STR-STG SOLIDS SUSPENDED DRIED GLASS FIBER FILTER Suspended dried solids. Glass fiber filter. Dried at 105 C. SS 28112; SS-EN STR-STM SOLIDS SUSPENDED DRIED MEMBRANE FILTER Suspended dried solids. Membrane filter (0.45 µm). Dried at 105 C. SNV (SEPA) STR-XX SOLIDS SUSPENDED DRIED OTHER METHOD Denna och tidigare provningsjämförelser / Current and previous proficiency tests Parameter Round Unit XBAR Median Stdev Range CV% Entries Outlier Matrix Parameter Provning Sort XBAR Median Stdev Range CV% Antal Utlig. Provtyp Susp , A1 mg/l Kommunalt avloppsvatten Susp , A2 mg/l Kommunalt avloppsvatten Susp , B1 mg/l Skogsindustriellt avloppsvatten Susp , B2 mg/l Paper industry wastewater Susp , 1 mg/l Skogsindustriellt avloppsvatten Susp , 2 mg/l Paper industry wastewater Susp , 1 mg/l Skogsindustriellt avloppsvatten Susp , 2 mg/l Paper industry wastewater Susp , 1 mg/l Skogsindustriellt avloppsvatten Susp , 2 mg/l Paper industry wastewater Susp , 1 mg/l Skogsindustriellt avloppsvatten Susp , 2 mg/l Paper industry wastewater Susp , 1 mg/l Skogsindustriellt avloppsvatten Susp , 2 mg/l Paper industry wastewater Susp , 3 mg/l Skogsindustriellt avloppsvatten Susp , 4 mg/l Paper industry wastewater Susp , 3 mg/l Skogsindustriellt avloppsvatten Susp , 4 mg/l Paper industry wastewater Susp , 3 mg/l Skogsindustriellt avloppsvatten Susp , 4 mg/l Paper industry wastewater Förkortning/ Abbreviation Svenska English XBAR medelvärde average concentration STDEV standardavvikelse standard deviation CV% variationskoefficient coefficient of variation ANTAL antal som ingår i statistiken number included in the statistics UTLIG antal uteslutna ur statistiken number of exluded values 8

11 Outside Antal torrsubstans / TSS Del A / Part A STR Prov1 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM XX Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. 362 (STG) X 471 (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STM) (STG) (STG) (STG) (STG) (STG) (XX) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) X 310 (STG) (STG) (STG) (XX) X 1 (STG) (STG) (STG) STR Prov/Sample mg/l 9

12 Outside Antal torrsubstans / TSS Del A / Part A STR Prov2 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM XX Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. 362 (STG) X 330 (STG) (STG) (STG) (STG) X 120 (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STM) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) X 1 (STG) (STG) (STG) (XX) X 97 (XX) (STG) (STG) STR Prov/Sample mg/l 10

13 362 (STG) 173 (STG) 175 (STG) 210 (STG) 29 (STG) 49 (STG) 12 (STG) 476 (STG) 373 (STG) 376 (STG) 471 (STG) 1 (STG) 97 (XX) 120 (STG) 330 (STG) 309 (STG) 305 (STG) 365 (STG) 246 (STG) 107 (STG) 89 (STG) 310 (STG) 101 (STG) 85 (STG) 112 (STG) 254 (STG) 315 (STG) 42 (STG) 32 (STG) 281 (STG) 183 (STG) 50 (STG) 66 (STG) 341 (STG) 329 (STG) 472 (STG) 140 (STG) 73 (STG) 27 (STG) 244 (STG) 56 (STG) 122 (STM) 123 (STG) 361 (STG) 18 (STG) 128 (STG) 233 (XX) Z-Score for STR Prov/Sample 2 mg/l torrsubstans / TSS Del A / Part A 12 STR, Youdendiagram Prov/Sample 1 & % confidence Medel/Mean 1 Medel/Mean 2 45º STG STM XX Prov/Sample 1 mg/l Z-Score Sample 1 Z-Score Sample 2 Questionable Unsatisfactory Lab Code (Method) 11

14 Outside Antal torrsubstans / TSS Del B / Part B STR Prov1 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. 308 (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STM) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) X STR Prov/Sample mg/l 12

15 Outside Antal torrsubstans / TSS Del B / Part B STR Prov2 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. 308 (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STM) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) STR Prov/Sample mg/l 13

16 308 (STG) 137 (STG) 308 (STG) 254 (STG) 299 (STG) 96 (STG) 90 (STG) 262 (STG) 75 (STG) 317 (STG) 1 (STG) 314 (STG) 114 (STG) 315 (STG) 476 (STG) 326 (STG) 347 (STG) 471 (STG) 237 (STG) 47 (STG) 191 (STG) 32 (STG) 216 (STG) 49 (STG) 122 (STM) 320 (STG) 264 (STG) 472 (STG) 269 (STG) 107 (STG) 310 (STG) 89 (STG) 95 (STG) 99 (STG) 319 (STG) 304 (STG) 125 (STG) 316 (STG) 27 (STG) 301 (STG) 51 (STG) Z-Score for STR Prov/Sample 2 mg/l torrsubstans / TSS Del B / Part B 47 STR, Youdendiagram Prov/Sample 1 & % confidence Medel/Mean 1 Medel/Mean 2 45º 37 STG STM Prov/Sample 1 mg/l Z-Score Sample 1 Z-Score Sample 2 Questionable Unsatisfactory Lab Code (Method) 14

17 SFR / TFS Susp, glödrest / Total Fixed Solids Del A Andelen systematiska fel är 77.8% vilket är högt. Prov 2: Fördelningen är spetsigare än vid normalfördelning. Avvikelser: Lab 56 och Lab 97 uppger at de redovisat resultat i procent av torrsubstansen. Lab 97 räknade om sina resultat till de korrekta enheterna: 5.86 mg/l resp mg/l. Del B Andelen systematiska fel är 51.5% vilket är mycket lågt. Part A The portion of systematic errors is 77.8% which is large. Sample 2: The distribution is narrower than normal distribution. Reporting errors: Lab 56 and Lab 97 reported results as percent of TSS. Lab 97 recalculated the results in the correct units: 5.86 mg/l and 5.66 mg/l. Part B The portion of systematic errors is 51.5% which is much smaller than normal. Analyskoder & metoder SFR-STG GLÖDREST SUSPENDERAD GLASFIBERFILTER Glödrest. Suspenderad (ej filtrerbart) substans. Glasfiberfilter. Bränt i 550 C. SS 28112; SS-EN SFR-STM GLÖDREST SUSPENDERAD MEMBRANFILTER 0.45 µm Glödrest. Suspenderad (ej filtrerbart) substans. Membranfilter (0.45 µm). Bränt i 550 C. SNV (SEPA) SFR-XX GLÖDREST SUSPENDERAD EGEN METOD Glödrest. Suspenderad (ej filtrerbart) substans. Egen metod. Analysis codes & methods SFR-STG FIXED SOLIDS SUSPENDED GLASS FIBER Suspended (nonfiltrable) fixed solids. Residue on ignition. Glass fiber filter. Ignited at 550 C. SS 28112; SS-EN SFR-STM FIXED SOLIDS SUSPENDED MEMBRANE 0.45 µm Suspended (nonfiltrable) fixed solids. Residue on ignition. Membrane filter (0.45 µm). Ignited at 550 C. SNV (SEPA) SFR-XX FIXED SOLIDS SUSPENDED OTHER METHOD Suspended (nonfiltrable) fixed solids. Residue on ignition. Other method. Denna och tidigare provningsjämförelser / Current and previous proficiency tests Parameter Round Unit XBAR Median Stdev Range CV% Entries Outlier Matrix Parameter Provning Sort XBAR Median Stdev Range CV% Antal Utlig. Provtyp Susp, SFR , A1 mg/l Kommunalt avloppsvatten Susp, SFR , A2 mg/l Kommunalt avloppsvatten Susp, SFR , B1 mg/l Skogsindustriellt avloppsvatten Susp, SFR , B2 mg/l Paper industry wastewater Susp, SFR , 1 mg/l otillförlitlig statistik / unreliable statistics 15 Skogsindustriellt avloppsvatten Susp, SFR , 2 mg/l otillförlitlig statistik / unreliable statistics 15 Paper industry wastewater Susp, SFR , 1 mg/l Skogsindustriellt avloppsvatten Susp, SFR , 2 mg/l Paper industry wastewater Susp, SFR , 1 mg/l Skogsindustriellt avloppsvatten Susp, SFR , 2 mg/l Paper industry wastewater Susp, SFR , 1 mg/l Skogsindustriellt avloppsvatten Susp, SFR , 2 mg/l Paper industry wastewater Susp, SFR , 1 mg/l Skogsindustriellt avloppsvatten Susp, SFR , 2 mg/l Paper industry wastewater Susp, SFR , 3 mg/l Skogsindustriellt avloppsvatten Susp, SFR , 4 mg/l Paper industry wastewater Förkortning/ Abbreviation Svenska English XBAR medelvärde average concentration STDEV standardavvikelse standard deviation CV% variationskoefficient coefficient of variation ANTAL antal som ingår i statistiken number included in the statistics UTLIG antal uteslutna ur statistiken number of exluded values 15

18 Outside Antal SFR / TFS Del A / Part A SFR Prov1 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM XX 2 Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. 56 (STG) X 107 (STG) (STG) (XX) X 18 (STG) (STG) (STG) (XX) X 1 (STG) (STG) (STG) (STG) X 42 (STG) (STM) (STG) (STG) (STG) (STG) SFR Prov/Sample mg/l 16

19 Outside Antal SFR / TFS Del A / Part A SFR Prov2 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM XX 2 Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. 56 (STG) X 32 (STM) (STG) (XX) X 18 (STG) (STG) (STG) (XX) X 1 (STG) (STG) (STG) (STG) X 476 (STG) (STG) (STG) (STG) (STG) (STG) SFR Prov/Sample mg/l 17

20 56 (STG) 18 (STG) 1 (STG) 476 (STG) 42 (STG) 310 (STG) 107 (STG) 471 (STG) 32 (STM) 50 (STG) 244 (STG) 472 (STG) 112 (STG) 361 (STG) 140 (STG) 97 (XX) 233 (XX) 128 (STG) Z-Score for SFR Prov/Sample 2 mg/l SFR / TFS Del A / Part A 9 SFR, Youdendiagram Prov/Sample 1 & % confidence Medel/Mean 1 Medel/Mean 2 45º STG STM Prov/Sample 1 mg/l Z-Score Sample 1 Z-Score Sample 2 Questionable Unsatisfactory Lab Code (Method) 18

21 Outside Outside Antal Antal SFR / TFS Del B / Part B SFR Prov1 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM 1 Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. 476 (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STG) (STM) <7 - X SFR Prov2 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STG STM 1 Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. 310 (STG) X 191 (STG) (STG) (STG) (STG) (STG) X 107 (STG) (STG) (STM) <7 - X SFR Prov/Sample 1 SFR Prov/Sample mg/l mg/l 19

22 310 (STG) 1 (STG) 107 (STG) 476 (STG) 191 (STG) 471 (STG) 347 (STG) 472 (STG) Z-Score for SFR Prov/Sample 2 mg/l SFR / TFS Del B / Part B 7 SFR, Youdendiagram Prov/Sample 1 & % confidence Medel/Mean 1 Medel/Mean 2 45º STG Prov/Sample 1 mg/l Z-Score Sample 1 Z-Score Sample 2 Questionable Unsatisfactory Lab Code (Method) 20

23 Susp70 Susp, grova partiklar / Coarse suspended solids Del B Andelen systematiska fel är 75.7% vilket är högt. Prov 2: Fördelningen är spetsigare än vid normalfördelning. Part B The portion of systematic errors is 75.7% which is large. Sample 2: The distribution is narrower than normal distribution. Analyskoder & metoder S70-STV SUSP70 TORRSUBSTANS VIRADUK Suspenderad substans. Grova partiklar. Vira-duk (~70 µm) torkat i 105 C. SS Analysis codes & methods S70-STV SUSP 70 COARSE SOLIDS SUSPENDED DRIED Suspended solids. Coarse particles. "Vira"-mesh (~70 µm) dried at 105 C. SS Denna och tidigare provningsjämförelser / Current and previous proficiency tests Parameter Round Unit XBAR Median Stdev Range CV% Entries Outlier Matrix Parameter Provning Sort XBAR Median Stdev Range CV% Antal Utlig. Provtyp Susp, Vira , B1 mg/l Skogsindustriellt avloppsvatten Susp, Vira , B2 mg/l Paper industry wastewater Susp, Vira , 1 mg/l för få giltiga resultat / too few valid results 6 Skogsindustriellt avlopp Susp, Vira , 2 mg/l för få giltiga resultat / too few valid results 6 Paper industry wastewater Susp, Vira , 1 mg/l Skogsindustriellt avloppsvatten Susp, Vira , 2 mg/l Paper industry wastewater Susp, Vira , 1 mg/l Skogsindustriellt avlopp Susp, Vira , 2 mg/l Paper industry wastewater Susp, Vira , 1 mg/l Skogsindustriellt avloppsvatten Susp, Vira , 2 mg/l Paper industry wastewater Susp, Vira , 3 mg/l Skogsindustriellt avlopp Susp, Vira , 4 mg/l Paper industry wastewater Susp, Vira , 3 mg/l Skogsindustriellt avloppsvatten Susp, Vira , 4 mg/l Paper industry wastewater Förkortning/ Abbreviation Svenska English XBAR medelvärde average concentration STDEV standardavvikelse standard deviation CV% variationskoefficient coefficient of variation ANTAL antal som ingår i statistiken number included in the statistics UTLIG antal uteslutna ur statistiken number of exluded values 21

24 Outside Outside Antal Antal Susp70 Del B / Part B S70 Prov1 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STV Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. Lab (Metod) Prov1 Z-Score utl. 169 (STV) (STV) (STV) (STV) (STV) (STV) (STV) (STV) S70 Prov2 mg/l Metod XBAR Median Stdev Range CV% Antal(n) Outl. Total STV Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. Lab (Metod) Prov2 Z-Score utl. 191 (STV) (STV) (STV) (STV) (STV) (STV) (STV) (STV) S70 Prov/Sample 1 S70 Prov/Sample mg/l mg/l 22

25 191 (STV) 169 (STV) 316 (STV) 269 (STV) 137 (STV) 51 (STV) 255 (STV) 182 (STV) Z-Score for S70 Prov/Sample 2 mg/l Susp70 Del B / Part B 27 S70, Youdendiagram Prov/Sample 1 & % confidence Medel/Mean 1 Medel/Mean 2 45º 17 STV Prov/Sample 1 mg/l Z-Score Sample 1 Z-Score Sample 2 Questionable Unsatisfactory Lab Code (Method) 23

26 Litteratur 1. Youden, W.J. and Steiner, E.H. Statistical Manual of the AOAC. Association of Official Analytical Chemists, Washington, Youden, W.J. The Role of Statistics in Regulatory Work. Journal of AOAC, vol 50, no 5, Pettersen, J.M. och Jensen, V.B. Interlaboratory Analytical Quality Control in Water Chemistry. Vandkvalitetsinstitutet, ATV, Hørsholm, Danmark. 4. Svensk Standard Vattenundersökningar. Utgivna av Standardiseringskommisionen i Sverige 1974 till Naturvårdsverket, Allmänna Råd 87:4 Analysmetoder, Vattenområdet. 6. Intern kvalitetskontroll. Handbok för vattenlaboratorier, SNV, Rapport 3372, Dybdahl, Hans P., Andersen, Kirsten J. och Lund, Ulla. Kompendium over metoder til vandanalyser - erfaringer fra interkalibreringer 2:1992. Vandkvalitetsinstitutet, ATV, Hørsholm, Danmark. 24

27 Statistisk bearbetning och diagram Grundläggande definitioner samt uteslutningskriterier Antal, n x : Antal värden XBAR, x : Medelvärde Median: Det mittersta värdet vid udda antal värden. Medelvärdet av de två mittersta vid jämnt antal värden. Stdev: Standardavvikelse Range: Variationsbredd Skillnaden mellan det högsta och lägsta värdet i ett material. CV%: Variationskoefficienten Före de statistiska beräkningarna utesluts resultat av typen mindre än och även extrema resultat som helt förrycker den statistiska bearbetningen utesluts genom att ta bort resultat som är mindre än median/5 och större än median 5. Där parvis statistik tillämpas (Youdendiagram och differensstatistik), utesluts resultat där endast ett prov i provparet angivits. Efter den manuella uteslutningen beräknas medelvärdet (XBAR). Resultatpar med något eller båda värdena utanför XBAR ± 50% utesluts. Ett nytt medelvärde samt standardavvikelsen (Stdev) beräknas på återstående värden. Resultatpar med något eller båda värdena utanför XBAR ± 3Stdev utesluts. Statistiska beräkningar på individuella prov Efter uteslutningar beräknas några grundläggande statistiska parametrar: medelvärde, median, standardavvikelse, variationsbredd och variationskoefficient. Dessa beräkningar görs dels för hela materialet tillsammans, dels för varje ingående metod (metodgrupp). Histogram (frekvensdiagram) Histogram visar antalet fall i ett intervall som en stapel där höjden av stapeln är proportionell mot antalet. Histogram visar om materialets fördelning: om det finns flera olika grupperade värden (flera toppar i diagrammet) och om materialet är normalfördelat, alternativt symmetriskt eller asymmetriskt fördelat. Youdendiagram På analysresultaten utförs statistiska beräkningar enligt Youdentekniken. Metoden bygger på analyser av provpar (prov 1 och 2). Samma laborant analyserar både prover enligt samma metod. Resultaten från de både proverna avsätts som en punkts i ett koordinatsystem. Två räta linjer motsvarande medelvärdena för prov 1 och 2 läggs in i diagrammet. Skärningen mellan dem anger det sanna värdet, dvs. den punkt där alla analysresultat borde representeras av sin punkt. Eftersom de systematiska felen vanligen dominerar och dessa påverkar de båda analyserna lika mycket så fördelar sig resultaten vanligtvis längs en 45 linje. Denna linje är inlagd i diagrammet. Om slumpfelen dominerar fördelar sig resultaten slumpmässigt över diagrammet. Denna uppdelning av felen gör att mätfelens olika komponenter kan uppskattas. Avståndet från punkten vinkelrätt mot 45 linjen är ett mått på slumpfelets storlek och avståndet längs linjen till det sanna värdet är ett mått på det systematiska felets storlek. Det totala felet = slumpfel + systematiskt fel. Efter uteslutning enligt ovan beräknas på resterande värden: Medelvärde (XBAR) för båda proven i ett provpar samt D1 och D2. D1 = t0.975(n) Stdevd1 D2 = t0.975(n) Stdevd2 Detta betyder att Stdevd1, Beroende på antalet deltagande laboratorier, multipliceras med 2.0 (som exempel är t 0.975(n) 1.98 för 100 värden och 2.04 för 30). 25

28 Ett analyspar har 95% chans att hamna innanför den uppritade rektangeln med sidorna 2 D1 respektive 2 D2. Det betyder att alla punkter som hamnar utanför rektangeln avviker tydligt ifrån resten av materialet slumpmässigt eller på grund av systematiska avvikelser, allt beroende på var i diagrammet de hamnat. Beräkningar som endast kommenteras i texten För att testa om resultaten är normalfördelade (ett krav för bestämning av t.ex. standardavvikelse) används en rutin i statistikprogrammet SPSS som räknar ut skevhet och "spetsighet". Ibland kan skevheten påverka medelvärdesberäkningen signifikant; i dessa fall utförs en alternativ medelvärdesberäkning enligt Huber i vilken flera värden utesluts enligt en given algoritm för att ge ett något "sannare" värde. Betydelsen av en eventuell avvikelse ifrån normalfördelning för medelvärdesberäkningen utförs med hjälp av ett antal tester i SPSS. Signifikanta avvikelser kommenteras i texten. För att se om det finns några statistiska skillnader i medelvärde för olika metoder så används ett traditionellt t-test (95% signifikansnivå) som också ingår i SPSS. Subjektiv skala för systematiska fel Det ungefärliga förhållandet mellan systematiska och slumpmässiga fel räknas ut ifrån youdendiagrammen och graderas enligt följande: mycket lågt (systematiska fel <52%), lågt (52-58%), lägre än normalt (58-64%), normalt (64-69% ), högre än normalt (69-75%), högt (75-81%) och mycket högt (81% och över). Beräkning av z-scores Utöver beskrivande statistik i form av histogram och Youdendiagram beräknar vi z-scores för alla provsvar i våra provningsjämförelser. Z-scores är ett mått på ett mätresultats relativa avvikelse från det nominella ( sanna ) värdet som tillåter jämförelser mellan olika matriser och koncentrationer. Den generella formeln för att beräkna z-score är: där x är uppmätt resultat, μ det nominella värdet och σ standardavvikelsen. ITMs provningsjämförelser använder sig oftast av provvatten med okänd sammansättning och det finns inga direktiv angående tillåten spridning. I sådana fall används vanligtvis s.k. koncensusvärden (Thompson et al., 2006) vilket innebär att skattningen av det nominella värdet och standardavvikelsen baseras på deltagarnas resultat. För beräkning av z-scores har vi använt medelvärde och standardavvikelse av rapporterade provsvar där misstänkta utliggare har uteslutits från beräkningarna för att skattningarna av dessa ska bli så representativa som möjligt. Beräkning av z-score görs enligt formeln: där x är uppmätt resultat, x är medelvärdet (XBAR) och s är standardavvikelsen (Stdev). Individuella z-scores presenteras för varje parameter och matris för sig i tabeller och figurer. Dessutom finns en sammanfattande figur med z-scores för samtliga parametrar och matriser. I sammanfattningstabellen finns de värden på XBAR och Stdev som använts för att beräkna z-scores. Beräkning av z-scores med Excel (Exempel från AOX) Överför medelvärden (XBAR) och standardavvikelser (Stdev) från rapporten till egna kolumner i ett Excelblad och mata in motsvarande mätdata från ditt lab. Formeln för z-score anges enligt ovan. Alternativt kan man använda den inbyggda funktionen Standardisera. I exemplet erhålls alltså tillfredsställande resultat för alla analyser utom för högt ph där resultaten är för låga och labbet har sannolikt allvarliga problem med sin metod. 26

29 Statistical calculations and diagrams Basic definitions and exclusion criteria Antal, n x : Number of values XBAR, x : Mean value Median: The middle value. If the number of values is even, the mean of the two middle values. Stdev: Standard deviation Range: The difference between the high- est and lowest values. CV%: Coefficient of variation Less-than values and extreme values distorting the statistical calculations (less than median/5 and greater than median 5) are excluded prior to statistical analysis. For calculations requiring data pairs, e.g. Youden diagrams, it is necessary to exclude results where only one sample of the sample pair has been reported. After manual exclusion the mean value is calculated, and pairs where either or both results exceed XBAR ± 50% are excluded. The remaining values are used to calculate a new mean value and the standard deviation. Pairs with either or both values exceeding XBAR ± 3Stdev are excluded. Statistical calculations After data exclusion the descriptive statistics are calculated: the mean value, median, standard deviation, range and coefficient of variation, for the whole material and separately for each analytical method. Histogram A histogram is a bar graph of the frequency distribution where the number of cases in a interval is proportional to the height of the bar. It shows if there are groups of values, if the material is normally distributed, or symmetrically or asymmetrically distributed. Youden diagram Youden diagrams are based on the results of a sample pair (sample 1 and sample 2), both analyzed using the same method and by a single analyst. The results of both samples are plotted in a coordinate system. The mean values are represented by straight lines perpendicular to the axes, their intersection indicates the true value. The total error is usually dominated by systematic error. Since this type of error affects both analyses equally the results are generally distributed along the 45 line which is drawn in the diagram. If random error were to dominate the results would be scattered randomly over the diagram. The separate contributions of systematic and random error can be evaluated. The distance from the data point to the 45 line is a measurement of the degree of random error and the distance along the line to the true value is a measurement of the systematic error. The rectangle represents the 95% confidence interval. Results outside the rectangle deviate significantly from the rest of the material, due to either random or systematic error. Calculations commented on in the text To test if the results are normally distributed (required for the determination of, for example, standard deviation), a routine in the statistical program SPSS is used to calculate if the material is skew or acute. Skewness may significantly affect the calculation of the mean, in which case an alternative method according to Huber is used in which excludes additional values by a given algorithm to give a slightly "more true" value. A number of tests are performed with SPSS to determine the significance of any deviation from normal distribution on the calculation of the mean value. Significant discrepancies are commented in the text. Statistical differences in the mean values for different analytical methods are tested by a traditional t-test (95% significance level) which is also included in SPSS. Subjective scale for systematic errors The approximate relationship between systematic and random errors are calculated from the Youden diagrams and graded as follows: very low (systematic error <52%), low (52-58%), lower than normal (58-64%), normal (64-69 %), higher than normal (69-75%), high (75-81%) and very high (81% and above). 27

30 Calculation of z-scores In addition to descriptive statistics such as histograms and Youden diagrams, ITM calculates z-scores for each result. The z-score is a measurement of the relative deviation from the assigned value and is therefore independent of concentration and type of matrix. The general formula for calculating the z-score is where x is the participant s laboratory measurement, µ the assigned or true value, and σ the standard deviation. ITM s proficiency tests often use samples with unknown composition and there are no target criteria for the standard deviation. Under such circumstances consensus values are typically used (Thompson et al., 2006), which means that the assigned values and standard deviations are based on the participants results. We exclude obvious errors and outliers before calculating mean values and standard deviations so the values will be as accurate as possible. Z-scores are then calculated using the formula where x is the participant s result, x the sample mean and s the sample standard deviation. Z-scores are presented in tables and figures for each parameter and matrix. The report contains a figure summarizing all the z- scores for each participant. The values for XBAR and Stdev used for calculating the z-scores are provided in a summary table. Z-scores are evaluated according to the following scale: z 2 Satisfactory 2 < z 3 Questionable z > 3 Unsatisfactory Please note that z-scores are less useful when there are few participants or the results clearly deviate from normal distribution because the estimates of the assigned value and standard deviation then will be uncertain. Calculation of z-scores using Excel (Example from AOX) Transfer mean values (XBAR) and standard deviations (Stdev) for each parameter from the report into separate columns and enter the corresponding measurements from your laboratory. The z-score formula can be entered as shown above. This can also be accomplished by using the Excel function STANDARDIZE. All of the analyses in the example are satisfactory except for alkaline ph which is far too low. There is likely a problem with the method that needs to be investigated. 28

31 Deltagare Del A / Participants Part A Ahlström Ställdalen AB Ställdalen ALcontrol AB Umeå ALcontrol AB Linköping ALS Scandinavia AB Luleå Arctic Paper Grycksbo AB Grycksbo Boliden Mineral AB Skelleftehamn Coor Service Management Analysservice Helsingborg Eurofins Environment Testing Sweden AB Lidköping Göteborg Vatten Angered ITM, Enheten för biogeokemi Stockholm Käppalaverket Lidingö Mjölby kommun Mjölby Motala kommun Motala Perstorp Specialty Chemicals Perstorp Roslagsvatten AB Åkersberga Skellefteå Kommun Tekniska kontoret Skellefteå SSAB Tunnplåt Borlänge Säffle kommun Säffle Tekniska förvaltningen Örebro Tekniska kontoret VA-gruppen Oskarshamn Akzo Nobel Functional Chemicals AB Stenungsund ALcontrol AB Karlstad ALS Scandinavia AB Täby Anox Kaldnes AB Lund Arvika Teknik AB Arvika Cambrex Karlskoga AB Karlskoga Eskilstuna Energi och Miljö AB Eskilstuna Gryaab AB Göteborg INEOS Sverige AB Stenungsund Karlskrona kommuns vattenlab Lyckeby LKAB Kiruna Mondi Dynäs AB Väja Nyköpings kommun Nyköping Preemraff Lysekil Lysekil SCA Munksund AB Piteå SLU, Inst. för vatten och miljö Uppsala SSAB-EMEA Luleå Sörmland Vatten och Avfall AB Katrineholm Tekniska förvaltningen, VA-lab Växjö Tekniska kontoret VA-Lab Jönköping 29