Modellutvärdering eller hur man kan bedöma kvalitén på modellresultaten?

Transkript

1 Modellutvärdering eller hur man kan bedöma kvalitén på modellresultaten? Gunnar Omstedt, SMHI 1. Vetenskapliga kvaliteter, modell utvärdering (validering), dokumentation 1. Hur väl är modellen integrerad i den programvara som används 2. Kvalitet på indata 3. Hur väl tillämpningen är utförd Kvalitén på modellresultaten är aldrig bättre än kvalitén på indata! Det finns inte bra eller dåliga modeller, bara bra eller dåliga tillämpningar!? Meteorologi Halter Emissions data Deposition Parametrar

2 Modell utvärdering Modeller måste utvärderas för att klargöra hur väl modellen fungerar. Det vanligaste sättet är att jämföra beräknade och uppmätta halter Dåliga överensstämmelse mellan beräknade och uppmätta halter kan bero på: Fel i modellen Fel i indata till modellen Fel i mätdata Orepresentativa mätningar { Notera skillnaden { Notera skillnaden etc Validering görs ofta både med användning av objektiva statistiska mått och visuellt genom att undersöka data med hjälp av grafer och kartor

3 Modell utvärdering: exempel på objektiva statistiska mått Medelvärden, standardavvikelse och percentiler Mean error (Bias), 1 N MBE = C i M N i Ett mått på över- eller underskattning i = 1 RMS-error, 1 N N 2 (Ci Mi) i= 1 Ger storleken på felet korrelation C i = beräknat värde M i = mätt värde N = antal datapunkter r = 1 N N (M i= 1 M)(Ci C σ σ i ) C M Example Ett mått på hur väl resultaten samverkar. σ X = standardavvikelsen av X X = medelvärdet av X

4 Olika statistiska objektiva mått ger olika betyg för modellen Identiskt medelvärde, dålig korrelation (r 0), ingen bias, stort RMS-error, standard avvikelsen stor Identiska medelvärden, ingen bias, dålig korrelation(r=-1),stort RMS-error, samma standardavvikelse Samma standardavvikelse, hygglig korrelation (0 < r < 1), olika medelvärden, stort RMS-error

5 Modell utvärdering - visuellt granska resultaten Resultaten bör/skall också granskas subjektivt genom att rita upp resultaten på olika sätt t.ex. genom att använda: Tidsserier Scatter plottar Kartor

6 Modellutvärdering -mätdata Modellerarens önskemål: fullständiga mätdata av god kvalitet, som utförts på väl utvalda representativa platser och som är väl dokumenterade Det finns en del mätdata idag som är av god kvalitet och som kan användas för modellvalidering Miljö gaturum Svenska mätdata SLB analys, IVL, Urban projektet, Nordic, Vägverket fullständiga indata Modell utveckling motorväg ITM, Vägverket vedeldning BHM, ITM punktkällor saknas!? urban bakgrund Urban projektet, SLB analys, Nordic regional bakgrund EMEP luftkvalitet och nederbördskemi ofullständiga indata Modell tillämpning Svårigheter: mätdata inte fullständiga saknas t.ex. data för emissionsberäkningar, meteorologiska data etc., orepresentativa mätningar lagring och dokumentation av mätdata ibland dålig Vid praktiska tillämpningar hamnar man många gånger i sådana här svårigheter

7 Exempel på enkel modellutvärdering - bara jämförelse av 90-percentiler (dygnsmedel) PM10 90-percentil > 50 µg/m µg/m µg/m µg/m 3 <35 µg/m 3 Norrköpings kommun Miljö- och hälsoskyddskontoret Robert Sandsveden Åtgärdsprogram-PM10

8 Modell utvärdering - exempel på resultat Amiralsgatan, Malmö hushöjd(m) gatubredd(m) orientering i förhållande till norr (grader) årsdygnstrafik (fordon/dygn) andelar tung trafik (%) Jämförelse mellan mätta och SIMAIR beräknade NO 2 -halter för Amiralsgatan i Malmö

9 Modell utvärdering - PM10 modell Hornsgatan/ Stockholm När man utvecklar en modell behövs data av relativt god kvalité. Omstedt G., Bringfelt B. and C. Johansson, 2005: A model for vehicle induced non-tailpipe emissions of particles along Swedish roads. Atm. Env. 39,

10 Modell utvärdering -Urban bakgrund PM10 Femman i Göteborg Stationen placerad på Femman-huset i Nordstan i centrala Göteborg Uppmätt SIMAIR Reg. back. SIMAIR Årsmedelvärde [µg/m 3 ] %-il [µg/m 3 ] %-il [µg/m 3 ] Antal dygn > 50 µg/m Antal dygnsmedel < 0.5 * mätdata: 13 Antal dygnsmedel > 1.5 * mätdata: 24 Totalt 37 dygn av % av dygnen uppfyller kvalitetskravet

11 Modellutvärdering - Staketgatan, Gävle Mätplatsen SIMAIR Mätaren placerad för nära vägkorsning! Mätdata olämpliga för utvärdering av gaturumsmodell men kan vara intressant ändå!

12 Jämförelser mot mätdata Staketgatan, Gävle PM10 dygnsmedelvärden [µg/m3] Antal mätpunkter: 83 Medelvärde uppmätt: 29.1 µg/m3 Medelvärde SIMAIR: 20.4 µg/m3 r = 0.54 Uppmätt Beräknade SIMAIR 02-apr 17-apr 02-maj 17-maj 01-jun 16-jun 01-jul

13 Gaturum PM10 Table 1. Street and traffic information for the six Swedish streets used in this study. Street Height of buildings (m) side 1/side 2 Width of the street (m) Traffic intensity (vehicles/day) Heavy duty vehicles (%) Antiskid treatment Share of studded tyres (%) Sundsvall/Skolhusallen 10/ sand 90 Uppsala/Kungsgatan 20/ sand 76 Stockholm/Sveavägen 25/ salt 75 Stockholm/Norrlandsg 25/ salt 75 Stockholm/Hornsgatan 24/ salt 75 Malmö/Amiralsgatan 25/ salt Figure 2. Comparison of measured (+) and modelled (grey solid line) daily mean concentrations of PM10 (µg/m 3 ) at six different streets in Sweden: (a) Skolhusallen in Sundsvall for six month during the year 2002, (b) Kungsgatan in Uppsala for the year 2001, (c) Sveavägen (d) Norrlandsgatan and (e) Hornsgatan in Stockholm for the year 2003, (f) Amiralsgatan in Malmö for about four month during the year r is the correlation coefficient. The results from (b) - (e) are also presented and discussed by Gidhagen et al. (2008).

14 Urban bakgrund NO2 - Stadsbiblioteket Uppsala Jämförelse mellan mätta och beräknade dygnsmedelhalter av NO 2 (µm 3 ) vid IVLs Urbammätstation vid Stadsbiblioteket i Uppsala år r anger koorrelationskoefficienten.

15 Exempel: Halvbra placerad mätare Mätstationen för PM10 i Falun vid Annexet nära Stadshusgränd ca 1890 fordon/dygn Jämförelse mellan mätta och beräknade dygnsmedelhalter av PM10 i Falun vid Stadshusgränd

16 Olika mätmetoder: DOAS och passiva provtagare Mätsträcka för DOAS mätningarna i Falun. Utrustningen sitter ca 20 meter ovanför markplan och mätsträckan är ca 435 meter

17 Bensen Jämförelse mellan mätta och beräknade halter av bensen (µg/m3) vid referensstationen i Sundborn för åren 2004 och Veckomedelvärden jämförs.

18 Bostadsområde med vedeldning F TEOM

19 SIMAIR validering - bostadsområde med vedeldning PM10 Figure 3. Comparison of measured (+) and modelled (grey solid line) daily mean concentrations of PM10 (µg/m 3 ) at Lycksele/Sweden for two different time periods. Grey broken line is background concentrations and thin grey solid line is daily mean temperature. (a) Time period , (b) Time period

20 Vilka krav ställer MKN? I förordningen om miljökvalitetsnormer för utomhusluft definieras normvärden och utvärderingströsklar för olika föroreningar. Dessa definieras för såväl medel- som extremvärden för kalenderår. Vid mätningar och beräkningar gäller det att fastlägga dessa. Inga krav ställs dock på att fastlägga dem rätt i tiden. Kvalitetskrav för beräkningar av kvävedioxid och partiklar (PM10). Källa: Naturvårdsverkets, NFS 2006:3, bilaga 4. Osäkerhet för beräknad halt Kvävedioxid -timmedelvärde 50-60% - Partklar (PM10) -dygnsmedelvärde 50% Ännu ej fastställt -årsmedelvärde 30% 50% Kvalitetsmål för luftkvalitetsmätningar för kvävedioxid och partiklar. Källa: NFS 2006:3 Kontroll av miljökvalitetsnormer Kontinuerliga mätningar NO 2 Förorening PM10 Mätosäkerhet 15% 25%

21 SIMAIR validering - i relation till MKNs kvalitetskrav Figure 4. Comparison of measured and modelled concentrations of PM10 (µg/m 3 ) expressed in terms of air quality levels defined by the Swedish legislation and the EU directive on air pollution levels for PM10. Broken line shows the modelling uncertainty of ±50% defined for annual averages of PM10. (a) All data, (b) data below 60 µg/m 3. The figures present the same results as given in Table 2.

22 Jämförelse för NO2 Jämförelse mellan mätta och beräknade statistiska haltmått av NO 2 (µg/m 3 ) definierade i miljökvalitetsnormen. Jämförelsen görs för två olika gator i två olika städer i Sverige nämligen Uppsala och Malmö. Streckad röd linje visar miljökvalitetsnormens kvalitetskrav för modellberäkningar (baserat på årsmedelvärde) på +/- 30 %.

23 SIMAIR förstudie för Dalarna 100 SIMAIR PM10 medel PM10 90-percentil Bensen medel NO 2 medel NO 2 98-p (dygn) NO 2 98-p (timme) SIMAIR (µg/m 3 ) mätdata (µg/m 3 )

24 Vilket är bäst att använda mätningar eller beräkningar? Figur från Christer Johansson ITM/ SLB

25 Förslag till strategi - mätningar/ beräkningar I den nya lagstiftningen om miljökvalitetsnormer (NV 5884, 2008), kommer modelleringen få en mer officiell status än tidigare. Modellberäkningar kan till viss del ersätta mätningar men kan inte helt utesluta dem. Förslag till strategi: Börja med att göra beräkningar i flera olika miljöer. Om beräkningarna indikerar risk för att MKN överskrids i vissa trafikmiljöer gör nya beräkningar för dessa miljöer med mer detaljerad trafik information. Innan ytterligare åtgärder vidtas kan det vara aktuellt att genomföra mätningar för att avgöra om beräkningarna stämmer. Mätarens placering kan då väljas utifrån beräkningsresultaten. Alternativt jämförs beräkningarna med mätningar från några andra snarlika miljöer. Om överensstämmelsen är hygglig gör flera beräkningar, korrigera eventuellt för avvikelser Använd därefter modellen för nulägesbeskrivning och scenarioberäkningar