Dataflödet från manual till användning

Dataflödet från manual till användning Miljöövervakningsdagarna 2 3 okt 2013 i Dalarna Anders Foureaux Enheten för Integrerad miljödataförsörjning Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 1

Dataflödet från manual till användning DF=delflöde, MD= Masterdata (register, DB, etc) Manual, Metod Datafångst, (avtal) Leverans (avtal) Validering Lagring, Fil-arkiv DV-skap (avtal) API producent API konsument DF1 DF2 DF3 DF4 DF5 DF6 DF7 DF8 MD1 MD2 MD3 MD4 MD5 MD6 MD7 MDx N.N StnReg KemReg MetodReg Dyntaxa ToB SVAR Anläggn. Naturvårdsreg. m fl. (VICNatur) N.N 2012-02-02 rev 2012-05-03 2

Beställare Verktyg för styrning Utförare Konsulter Dataleverans Villkor för leverans: Rätt metod, Rätt undersökningstyp, Rätt format! Godkännande för publicering Datavärd Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 3

Fråga Svar När är en dataleverans till datavärd godkänd? Vem godkänner leveransen? Med stöd av vad? U-typ? Erfarenhet? Magkänsla? Vem bestämmer? Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 4

Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 5

?????? Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 6

Datavärdens (SGU) inrapporteringsmall Metaller, miljögifter i sediment Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 7

Datavärdens (IVL) inrapporteringsmall Luftkvalitetsdata från kommunerna Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 8

Data Produkt Specifikation ISO 19 131 Vi har testat att använda en rad ISO standarder för att beskriva vilka kvalitetskrav vi ställer på de data vi samlar in. Vi använder samma standarder som används inom Inspire Vi samlar allt i ett och samma dokument för en datatyp. Dokumentet kallas Dataproduktspecifikation enligt standarden ISO 19 131 Vi är inte klara

Data produkt specifikation för Metaller och Miljögifter i sediment Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 10

Data produkt specifikation för Miljögifter i biota Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 11

Data produkt specifikation för Luftkvalitetsmätningar i kommuner Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 12

Data Produkt Specifikation ISO 19 131 Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 13

Demo Valideringstjänst (FME) Stationsregister (WFS-T) Två pågående pilotprojekt i samarbete med Metria och Sweco samt datavärdar, NRM, och sakverksamheten Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 14

Fristående valideringstjänst Dataspecifikation Datamodell Kodlistor Översättning Validering Data Spec. Uppfyllelse Metadata Naturvårdsverket Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 17

Fristående valideringstjänst Dataspecifikation Datamodell Kodlistor Översättning Validering Data Spec. Uppfyllelse Metadata Naturvårdsverket Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 18

Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 19

Varför en fristående valideringstjänst? Att på ett standardiserat och spårbart sätt kunna beskriva mätdatas kvalitet. Att automatiskt ska göra de kontroller som idag görs av människor (och som är en av de främsta orsakerna till att data inte kommer ut på webben i den takt användarna förväntar sig) Att att skapa en starkare koppling mellan undersökningstyper/manualer och valideringen.

Fördelar? Ger Naturvårdsverket (eller annan beställare) ett verktyg att underlätta och kvalitetssäkra miljöövervakningens datainsamling. Att satsa på en fristående tjänst som kan nyttjas av många måste rimligen bli billigare än att varje datavärd bygger sin egen tjänst Att satsa på en gemensam tjänst kommer främja samordningen kring termer, begrepp, kodlistor Kan utökas till alla datatyper, format, för t ex utsläpp

Tillämpade standarder Dataspecifikation ISO 19131 struktur enligt INSPIRE (även kallad produktspecifikation) Datamodell baserad på ISO 19156 Observations and measurements vilket gör datamodellerna kompatibla med INSPIRE datatema EF, stationsregistret och analysmetodregister Kvalitetskontroll i enlighet med ISO 19157 Metadata, resultat från QC enligt ISO 19139 (Samma som ISO 19115 fast uttryckt i XML)

Fråga När är en dataleverans till datavärd godkänd? Vem godkänner leveransen? Med stöd av vad? U-typ? Erfarenhet? Magkänsla? Vem bestämmer? Svar När den uppfyller kraven i dataproduktspecifikationen En maskin i steg ett En människa i steg två Dataproduktspecifikationen Expertbedömning Tveksamt om den är tillräcklig Bra om det finns Bra om den finns Beställaren Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 23

Slutsatser: Om data ska vara användbart måste kvalitén på data vara beskriven. Man måste kunna referera till ett krav, ett kvalitetsmått. Man måste även kunna visa hur man säkrat kvalitén Den som driver och finansierar en undersökning är rimligen den som bestämmer vilken kvalitet data ska ha. Vi spar tid och arbete på att följa samma ISO- och OGC- standarder som man använder inom Inspire Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 24

Följande bilder visar vad som demonstrerades live avseende valideringstjänsten Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 25

2012-02-02 26

XLS (t ex) 2012-02-02 27

Respons per mail till leverantören om det gick bra. Datavärden får filen med data + specifikationsuppfyllelse + kvalitetsrapport Kvalitetsrapport Orginalfil (xls) Leveranskvitto Omtransformerad Enligt O&M (xml) 2012-02-02 28

Respons per mail till leverantören om det INTE gick bra. Datavärden får ingen leverans. 2012-02-02 29

Respons per mail till leverantören i om det INTE gick bra. Med förklaringar. Fel! Stationen saknas i Stationsregistret som just nu är en pilot, utvecklad av Sweco i form av en WFS-tjänst som svarar på anrop från valideringstjänsten. WFS = Web Feature Service (OGC- och ISO standard 2012-02-02 30

Kvalitetsrapporten i xml enligt ISO 19139 vilket är samma som ISO 19115, dvs Inspire-standard för metadata 2012-02-02 31

Tack för att ni lyssnade! Naturvårdsverket Swedish Environmental Protection Agency 2012-02-02 32