Miljöövervakning och dataflöden Pågående utveckling Miljöövervakningsdagarna 2015 Lst Gävleborg 30 sept 1 okt 2015 Anders Foureaux Naturvårdsverket Lars Johan Hansson Havs- och vattenmyndigheten 2015-10-12 1
Några datanyheter Strategi för miljödatahantering Vision med riktlinjer och rekommendationer (2 sidor) https://www.naturvardsverket.se/miljoarbete-i-samhallet/miljoarbete-i-sverige/uppdelat-efter-omrade/oppna-data/strategi-formiljodatahantering/
Några datanyheter Strategi för miljödatahantering
Några datanyheter Licens för vidareutnyttjande Licenser för fria data samma på Naturvårdsverket och HaV.
Behov av allmänhetens observationer, crowd sourcing
Datavärdskap Grundvatten (SGU) Utökat med regionala mätningar av grundvatten-nivåer. Mallar för manuella och automatloggade mätningar på gång.
Uppdaterad tjänst för badvatten
Datavärdskap Sjöar och vattendrag (SLU) Har utvecklat datahantering för makrofyter och kiselalger för att göras tillgängliga i Miljödata MVM. Nu i testmiljö men makrofyter i skarp drift inom 2 veckor.
Datavärdskap Oceanografi och marinbiologi (SMHI) Ny hantering av fysikaliska och kemiska data förbättrad hantering av metadata och kvalitetsinformation samutsökning av fysik, kemi och biologi Påbörjad inläsning av historiska data från Stockholm Vatten AB.
På gång Utvecklingsprojekt hos flera datavärdar under hösten. Med stabilare och ökad finansiering möjligt planera, men troligen ökade krav (recipientkontroll-data) behov av stödsystem.
Stödsystem valideringstjänst Problem: lång responstid efter dataleverans + kontroll av dåliga data slukar resurser från datavärdarna. Lösning: data levereras genom valideringstjänst för omedelbar kontroll.
Stödsystem stationsregister Problem: samma namn på olika stationer & olika namn på samma provtagningsplats omöjliggör enkel datahantering. Lösning: Alla refererar till samma objekt. Entydig referens till stationer gör att data men också system kan kopplas ihop.
Stödsystem kodlistor Problem: olika namn på samma parameter försvårar datahanteringen. Lösning: En master-källa för parameternamn.
Vägen till valideringstjänsten och dess stödsystem Analys av hela dataflödet från det att man skriver en manual/u-typ till att någon använder datat Dela upp dataflödet mindre delar Hitta flaskhalsarna Fokuserat på de mest tidskrävande delarna Arbetat stegvis Återanvänt mjukvara som redan finns Säkerställt att vi kan mäta effekten 14
Analys av 130 dataflöden inom miljöövervakningen och vilka delmoment som tar längst tid för datavärden (2010) 15
Cloudbased Validation Service Dataspecification Datamodel Codelists Translation Validation Data Specificaton compliance Data host Metadata Datafile in xls is transformed into xml according to O&M 16 16
2015-05-23 17
Vad datavärden får efter lyckad validering 1. Original filen i excel som laddades upp 2. Samma fil fast transformerad till xml enl O&M 3. Leveranskvitto på att allt var OK enligt kvalitetskraven 4. Kvalitetsbeskrivning i xml enligt ISO 19139 2015-05-23 18
Valideringstjänst, status på indata-mallar Luftkvalitet Metaller och miljögifter i sediment Grundvatten Sjöprovfiske Sötvatten Bottenfauna profundal Bottenfauna rinnande vatten Växtplankton Makrofyter Vattenkemi Hav Bottenfauna Zooplankton Växtplankton kvantitativ Växtplankton kvalitativ Klorofyll Hydrografi ej klar
Informationsmodellen följer INSPIRE krav Observations & Measurements ISO 19156 En öppen standard from OGC Vi har tagit fram en kärna av modellen Anpassningar görs för våra respektive datatyper 20
Observations & Measurements ISO 19156 21
Datatype-specific model Core model 22
Metaller och miljögifter I sediment GEMINI provtagare EKMAN hugggare 23
Kodlistor Vi testar om Data Dictionary från EEA kan fungera som en Svensk klon Baserad på Open Source (öppen källkod), finns på Git Hub 2015-05-23 24
> 3000 kemiska, biologiska, fysikaliska parametrar i registret 25
Stationsregistret i Molnet WFS OpenGeo Suite (Boundless) Azure (Microsoft) Under utveckling Klart 2016 (målsättning) 26
Använda standarder (några av dem) ISO 19156 - Observations and measurements ISO 19157 - Data quality ISO 19139 - Metadata - XML schema implementation ISO 19131 - Data product specifications 27
Nästa steg Version 1.0 av Valideringstjänsten Version 1.0 av Stationsregistret Version 1.0 av Registret för kodlistor Komma ifrån Excel-träsket för indata. Istället M2M relation med analyslaboratorier, fältinstrument. En hållbar förvaltning NV och HaV i samverkan med externa utpekade experter och framförallt Datavärdarna. 28 28
Tack för att ni lyssnade! 29