Miljöövervakning och dataflöden Pågående utveckling

Transkript

1 Miljöövervakning och dataflöden Pågående utveckling Miljöövervakningsdagarna 2015 Lst Gävleborg 30 sept 1 okt 2015 Anders Foureaux Naturvårdsverket Lars Johan Hansson Havs- och vattenmyndigheten

2 Några datanyheter Strategi för miljödatahantering Vision med riktlinjer och rekommendationer (2 sidor)

3 Några datanyheter Strategi för miljödatahantering

4 Några datanyheter Licens för vidareutnyttjande Licenser för fria data samma på Naturvårdsverket och HaV.

5 Behov av allmänhetens observationer, crowd sourcing

6 Datavärdskap Grundvatten (SGU) Utökat med regionala mätningar av grundvatten-nivåer. Mallar för manuella och automatloggade mätningar på gång.

7 Uppdaterad tjänst för badvatten

8 Datavärdskap Sjöar och vattendrag (SLU) Har utvecklat datahantering för makrofyter och kiselalger för att göras tillgängliga i Miljödata MVM. Nu i testmiljö men makrofyter i skarp drift inom 2 veckor.

9 Datavärdskap Oceanografi och marinbiologi (SMHI) Ny hantering av fysikaliska och kemiska data förbättrad hantering av metadata och kvalitetsinformation samutsökning av fysik, kemi och biologi Påbörjad inläsning av historiska data från Stockholm Vatten AB.

10 På gång Utvecklingsprojekt hos flera datavärdar under hösten. Med stabilare och ökad finansiering möjligt planera, men troligen ökade krav (recipientkontroll-data) behov av stödsystem.

11 Stödsystem valideringstjänst Problem: lång responstid efter dataleverans + kontroll av dåliga data slukar resurser från datavärdarna. Lösning: data levereras genom valideringstjänst för omedelbar kontroll.

12 Stödsystem stationsregister Problem: samma namn på olika stationer & olika namn på samma provtagningsplats omöjliggör enkel datahantering. Lösning: Alla refererar till samma objekt. Entydig referens till stationer gör att data men också system kan kopplas ihop.

13 Stödsystem kodlistor Problem: olika namn på samma parameter försvårar datahanteringen. Lösning: En master-källa för parameternamn.

14 Vägen till valideringstjänsten och dess stödsystem Analys av hela dataflödet från det att man skriver en manual/u-typ till att någon använder datat Dela upp dataflödet mindre delar Hitta flaskhalsarna Fokuserat på de mest tidskrävande delarna Arbetat stegvis Återanvänt mjukvara som redan finns Säkerställt att vi kan mäta effekten 14

15 Analys av 130 dataflöden inom miljöövervakningen och vilka delmoment som tar längst tid för datavärden (2010) 15

16 Cloudbased Validation Service Dataspecification Datamodel Codelists Translation Validation Data Specificaton compliance Data host Metadata Datafile in xls is transformed into xml according to O&M 16 16

17

18 Vad datavärden får efter lyckad validering 1. Original filen i excel som laddades upp 2. Samma fil fast transformerad till xml enl O&M 3. Leveranskvitto på att allt var OK enligt kvalitetskraven 4. Kvalitetsbeskrivning i xml enligt ISO

19 Valideringstjänst, status på indata-mallar Luftkvalitet Metaller och miljögifter i sediment Grundvatten Sjöprovfiske Sötvatten Bottenfauna profundal Bottenfauna rinnande vatten Växtplankton Makrofyter Vattenkemi Hav Bottenfauna Zooplankton Växtplankton kvantitativ Växtplankton kvalitativ Klorofyll Hydrografi ej klar

20 Informationsmodellen följer INSPIRE krav Observations & Measurements ISO En öppen standard from OGC Vi har tagit fram en kärna av modellen Anpassningar görs för våra respektive datatyper 20

21 Observations & Measurements ISO

22 Datatype-specific model Core model 22

23 Metaller och miljögifter I sediment GEMINI provtagare EKMAN hugggare 23

24 Kodlistor Vi testar om Data Dictionary från EEA kan fungera som en Svensk klon Baserad på Open Source (öppen källkod), finns på Git Hub

25 > 3000 kemiska, biologiska, fysikaliska parametrar i registret 25

26 Stationsregistret i Molnet WFS OpenGeo Suite (Boundless) Azure (Microsoft) Under utveckling Klart 2016 (målsättning) 26

27 Använda standarder (några av dem) ISO Observations and measurements ISO Data quality ISO Metadata - XML schema implementation ISO Data product specifications 27

28 Nästa steg Version 1.0 av Valideringstjänsten Version 1.0 av Stationsregistret Version 1.0 av Registret för kodlistor Komma ifrån Excel-träsket för indata. Istället M2M relation med analyslaboratorier, fältinstrument. En hållbar förvaltning NV och HaV i samverkan med externa utpekade experter och framförallt Datavärdarna

29 Tack för att ni lyssnade! 29