20 år med Datavärdskap Datavärdsträff 2014 2014-12-02 Anders Foureaux Naturvårdsverket Lars Johan Hansson Havs- och vattenmyndigheten 2014-12-11 1
1994 1 juli 1994 Första datavärden på plats! SMHI blir datavärd för kemiska och fysikaliska variabler inom nationell marin övervakning samt vissa variabler inom luft. En datavärd ska på ADB-medium lagra, arkivera och leverera data till de som så önskar och göra vissa kvalitetssäkringskontroller. Datavärden ska hålla data tillgängliga för alla användarkategorier och något licensavtal behövs inte. 2
1994 1 juli 1994 Det s k Infrastrukturavtalet skrivs för åtkomst till SMHI:s övriga data. 3
1994 1995 1996 1996 Ytterligare datavärdskap etableras. Nu finns: SMHI: Meteorologiska observationer, klimatdata, oceanografiska data, hydrografiska data IVL: Luftföroreningar inom nationell MÖ SLU: Jordbruksmark, näringsämnen i ytvatten, dräneringsvatten, grundvatten, odlingsåtgärder mm, metaller, näringsämnen i mark och gröda SLU: Kemiska och biologioska mätningar i sötvatten (ej fisk) ITM: Miljögifter i biota 4
1994 1995 1996 1996: Datavärdskapet hos SMHI utvärderas. Resultatet av utvärderingen finns på 1,44 MB diskett hos HaV. Överlämnades 6/9 2011 (till AJ av AF) Resultatet finns även i NV:s arkiv... not@environ.se 5
1994 1995 1996 1997 1998 1999 1999: Datavärdskapen följs upp m a p 2000-säkerhet samt databasdokumentation SLU, Institutionen för miljöanalys Godkänt! 6
1994 1995 1996 1997 1998 1999 1999: Resultatet har varit i stort sett tillfredsställande. Det kan dock finnas delar som behöver belysas ytterligare eller åtgärdas. Dessa delar får vi vid behov ta upp i samband med kommande avtalsskrivningar. 7
1994 1995 1996 1997 1998 1999 2000 2001 2002 2002: Projektet Utveckling av datavärdskap genomförs Genomfördes av NV med två konsulter (Mind + KnowIT) och samtliga datavärdar Projektet hade 9 mål för det arbetet vilka flertalet blev till krav i kommande datavärdsavtal. Definition av datavärdens uppdrag beslutades: Kvalitetskontrollera data Lagra data Tillgängliggöra data. 8
1994 1995 1996 1997 1998 1999 2000 2001 2002 Leder bland annat till: En enkel, men enhetlig ingångssida till datavärdarna (registersidan) Fokus på datasäkerhet, backuptagning Fokus på att minska sårbarheten hos datavärden (DV-skapen får inte stå och falla med en enda person) Att en ny tjänst skapas på NV för att samordna samtliga DV-skap. Denne blir även kvalitetsledare inom miljöövervakningen. (Börjar 1 mars 2003) 9
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 Ledde även till att Metasök utvecklades. En central söktjänst för alla datavärdarnas data (var tanken) Metasök var en metadatabas Byggde på skördning av metadatposter från datavärdarna Använde Dublin Core som standard Protokoll Z39.50 Krävde att ett egenutvecklat transformationsprogram installerades hos varje datavärd Byggde på RDF och XML (!) 10
2004 2004: Revision av de marina datavärdskapen (4 st) Utförare: DMU, Danmark DMU:s förslag: NV måste tillsammans med DV och utförare besluta om bindande in-dataformat NV måste besluta om artlistor Kraven på den marina övervakningen kommer att öka. Att ha fyra DV-skap för den marina övervakningen är sårbart och ej effektivt! 11
2004 2005 2005: NV tar beslut om att konsolidera två datavärdskap! Marin biologi + Oceanografi Uppdraget för DV-skap Marin biologi flyttas till SMHI Ett riskabelt projekt! Hur vet NV att alla data+ kringdata lämnas till ny DV? Hur säkrar NV datatillgången åt användarna under flytten? Hur bygger man upp ett nytt DV-skap på kort tid och tillgodoser alla användares önskemål, kommande behov, samt DMU:s åtgärdslista? 12
2004 2005 2006 2006: SMHI börjar utvecklingen av ett nytt konsoliderat datavärdskap. Rally-projektet SMHI tänker nytt, Tänker Open Source, Tänker Open Layers, Tänker arthantering, Rekryterar en biolog!!! NV:s handläggare ytterst nervös 13
2004 2005 2006 2006: Nytt datavärdskap för metaller och miljögifter i sediment inrättas Valet föll på SGU. Inte ett självklart val. Det som avgjorde var SGU:s erkänt goda förmåga att bygga karttjänster. Både webportal-kartor och WMS-tjänster 14
2004 2005 2006 2007 2007: SMHI börjar närma sid version 1.0 av det nya DV-skapet Knäckfrågor: Har vi fått med alla data från förra datavärden? Hur säkrar vi lagring av alla nya rådata? (Svar: Filserver) Vad är Good-enough för ett datavärdskap? - Vissa skriker efter analysverktyg!! NV:s handläggare något mindre nervös 15
2004 2005 2006 2007 2007: DV-träff Vi börjar titta på dataflödet och flaskhalsarna Regionala data väller in (NV finansierar stora delar) Men orkar datavärden med? Dyntaxa säljs in Fråga om webformulär för synpunkter/ klagomål lyfts 16
2004 2005 2006 2007 2008 2008: DV-träff MarTrans, datainsamlings-applikation Mobiltelefon för datainsamling från Remote X, fastighetsskösel KEMI:s Ämnesregister demo av U.Rick Mera Dyntaxa NV:s Geoportal + INSPIRE Hur säkrar vi datakvalitén? SWEDAC, kvalitetskrav för analyser 130 dataflöden kartläggs av NV och Datavärdarna. Vilka är flaskhalsarna? Villkoren för dataleverans till DV stäms av med datavärdarna Fråga om webformulär för synpunkter/ krav/ klagomål lyfts (igen) 17
2004 2005 2006 2007 2008 2009 2009: Utredningsuppdrag till SWECO Belysa hur miljöövervakningens datavärdar på ett kostnadseffektivt och mer enhetligt sätt kan förbättra datahanteringen under hela flödet från mottagande av data till användning. Fokusera på kostnadseffektivitet, interoperabilitet och användarnytta. Ska avkasta krav som Naturvårdsverket bör ställa på morgondagens datavärd Ska beskriva processer som idag fungerar bra och är kostnadseffektiva och som NV inte behöver eller bör förändra. Ska även hålla en översiktlig kurs i Web Services för datavärdarna och NV m fl. 18
2004 2005 2006 2007 2008 2009 2009: SWECO:s rapport Datavärdars informationshantering lämnar bland annat 13 förslag. Nedan: två av förslagen 19
2004 2005 2006 2007 2008 2009 2009: Fyra förslag till... 20
2004 2005 2006 2007 2008 2009 2009: DV-träff Ännu mera Dyntaxa Samverkan kring en gemensam SOA INSPIRE ställer allt större krav Metadata Presentation av VISS 21
2004 2005 2006 2007 2008 2009 2009: Ny definition av datavärdens uppdrag: Leveranskontrollera miljödata Lagra miljödata Tillgängliggöra miljödata 22
2004 2005 2006 2007 2008 2009 2010 2010: Analys av flaskhalsarna i dataflödet ger: Ca 30 % av tiden går åt till att hantera indata (i genomsnitt) Ca 30% av tiden går åt att tillgängliggöra data (i genomsnitt) 23
2004 2005 2006 2007 2008 2009 2010 2010: DV-träff Johan Esko (Metria) får i uppdrag att hålla föredrag om kvalitet för Geodata fast perspektivet Miljödata Projektide föds om en valideringstjänst för mätdata Life Watch e-science, en SOA för biodiversitetsdata (Analysportalen) Nesis A Network to enhance a European Environmental Shared and Interoperable Information System. SEIS Workshops Stationsregister Nedladdningsformat Kemikalie/ ämnesregister/ DynTaxa 24
2004 2005 2006 2007 2008 2009 2010 2011 2011: NV lämnar över de vattenrelaterade DV-skapen till HaV. Med en förhoppning om ett gott framtida samarbete... 25
2004 2005 2006 2007 2008 2009 2010 2011 2011: Artnamn klara i Dyntaxa! Nu är ArtDatabankens artdatabas Dyntaxa kvalitetssäkrad vad det gäller alla befintliga arter som hanteras av miljöövervakningen. Enkelt uttryckt innebär det att arterna nu heter det som de ska heta och att det är artnamnet i Dyntaxa som är det som ska anges vid insamling av artdata och leverans till datavärd. 26
2004 2005 2006 2007 2008 2009 2010 2011 2012 Datavärdsträff 2012 Försök till nytänk Marschmallows In space Miljödatastrategi Datavärds Försök till Miljödatas Öppna data Tjänster 2014-12-11 27
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2012-2013: Två piloter tas fram: Stationsregister, Valideringstjänst 28
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2014: Tänket är insålt, tjänsterna efterfrågade NV och datavärdarna är försiktigt optimistiska. HaV går med i utvecklingen 29
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 Fortsättning följer 30