GeoTest-projektet Slutrapport Future Position X Oktober 2013
2
Innehåll Sammanfattning... 4 Inledning och bakgrund... 5 Avgränsning... 5 Målgrupp... 5 Metod... 6 Resultat... 6 Sammanställning av genomförda uppdrag... 6 Sammanställning av testuppdrag till myndigheter, organisationer... 7 Testportfölj... 9 Övriga uppdrag inom Inspire och Smart City Playground... 10 Erfarenheter och slutsatser... 14 3
Sammanfattning GeoTest-projektet har varit verksamt sedan 2008. Syftet har varit att utveckla metoder för att testa geodata och geodatatjänster enligt EU-direktivet Inspire samt att etablera en testmiljö för detta. De första testerna genomfördes i samarbete med Lantmäteriet inom ramen för ett uppdrag från EUC/JRC, European Commission Joint Research Center, där medlemsländerna inbjöds att testa förslag till dataspecifikationer för teman i Inspiredirektivets bilaga I. Projektet testade fem av nio teman (adresser, fastighetsområden, transportnätverk, ortnamn, hydrografi) samt metadata. Ett antal tekniska tester (transformationstest och prestandatest) genomfördes också tillsammans med andra myndigheter och regionala samarbetsprojekt för att påvisa överensstämmelse med Inspires krav. Projektet har haft som mål att stödja svenska myndigheter bland annat i samband med deras remissarbete avseende förslag till krav från EUC /JRC. Under projekttiden har projektet samarbetat med nio myndigheter och organisationer för att testa och validera leverans av data enligt specifikationer för Inspireteman i bilagorna I, II och III. Arbetet har uppmärksammats av EUC/JRC och andra enheter inom EU. I takt med att nya krav och önskemål har framförts, har också utveckling och anpassning av metoderna skett, exempelvis med fokus på datakvalitet och länkade data. Efterfrågan har också ökat för att använda metoderna i andra sammanhang än Inspire. Intressenter och partners inom klusterorganisationerna Future Position X (FPX) och Compare Testlab har också inspirerats och anpassat resultaten till egna behov. Områden som nu är i fokus är exempelvis vård-it och Geohälsa. Samarbete med olika partners inom Landstinget i Värmland har redan startat. GeoTests resurser har sammanfattats och beskrivs översiktligt i broschyren Testa på vägen säkerställ innan lansering. Det vetenskapliga arbetet med att testa och validera för olika testfall beskrivs i rapporter och artiklar. Dessa finns dokumenterade och publicerade på www.geotest.se 4
Inledning och bakgrund GeoTest-projektet initierades 2008 i syfte att etablera en utvecklings- och demonstrationsmiljö för att genomföra de tester som motiveras av genomförandet av EUdirektivet Inspire. Syftet har också varit att genomföra andra uppdrag inom FPX-projektet Smart City Playground. Parterna i GeoTest-projektet har utgjorts av Lantmäteriet, Högskolan i Gävle (HiG) och FPX. En nära samverkan har även etablerats med andra intressenter inom Sverige och EU. GeoTest-projektet är delfinansierat av EU:s strukturfonder inom ramen för projektet Smart City Playground, ett projekt som FPX driver och ansvarar för med medfinansiering från Lantmäteriet och Högskolan i Gävle, HiG. Detta projekt upphör vid utgången av 2013, vilket innebär att också GeoTest-projektet avslutas vid denna tidpunkt. GeoTest har haft uppdraget att utveckla metoder för att testa geodata och geodatatjänster. Eftersom geodataområdet har breddats för att tillgodose nya behov (exempelvis relaterade till miljödirektivet Inspire) har tester av geodata och geodatatjänster vuxit till ett nytt utvecklingsområde. Ett syfte med projektet har varit att utveckla metoder och modeller för att bättre förstå den infrastruktur och de geodatamängder och geodatatjänster som specificeras av Inspire-direktivet. GeoTest ska bland annat bidra till att mäta skillnaderna mellan lokala datamiljöer hos ansvariga myndigheter och de krav som Inspiredirektivet anger. Avgränsning Kraven som har styrt metoduppbyggnaden för tekniska tester kommer från regelverket i EUdirektivet Inspire och de förslag till genomförandebestämmelser som har utarbetats av olika arbetsgrupper inom EUC/JRC. Det är alltså Inspiredirektivet och tillhörande samarbete som i första hand avgränsar metoduppbyggnaden. Målgrupp Målet för GeoTest har varit att på ett systematiskt och vetenskapligt sätt utveckla och pröva testmetoder och testmodeller, kopplade till Inspiredirektivet. Det innebär att EUC/JRC, Geodatasekretariatet vid Lantmäteriet samt ansvariga Inspiremyndigheter i Sverige är viktiga målgrupper. Projektet Smart City Playground, där GeoTest ingår, har haft målet att samarbeta med och sprida praktiska resultat och goda exempel till såväl offentliga som privata organisationer inom regionen. Det innebär att landsting, kommuner och privata företag är andra viktiga målgrupper. 5
Metod Den vetenskapliga ledningen från HiG har varit viktig för att säkerställa att projektresultaten i form av metoder och modeller blir utvecklade på vetenskaplig grund. Projektets vetenskapliga arbete har letts och granskats av professor Anders Östman, Högskolan i Gävle. Nära samarbete med Lantmäteriet i deras roll som geodatasamordnare och med de ansvariga Inspiremyndigheterna har också varit viktigt för att utvärdera och pröva testmetoderna. Det finns 24 myndigheter som har ett formellt ansvar relaterat till Inspire. I GeoTest-projektet har tester genomförts tillsammans med nio av dessa, såväl rörande tekniska tester som användbarhetstester. En testmiljö är sedan 2010 etablerad vid FPX i Gävle. Där samlas testresurser som behövs för att genomföra testfall och användningsfall i enlighet med uppdragsgivares krav. De tester som efterfrågats har samlats i en testportfölj och som delats in i: 1) Tekniska tester avser att testa om data och tjänster uppfyller specificerade krav.testerna kan exempelvis avse format, struktur, prestanda och kvalitet hos datamängder och tjänster 2) Affärstester avser att testa affärsmässiga mål med data och tjänster. Dessa tester kan exempelvis bestå av användbarhetstester, vilka syftar till att testa logisk uppbyggnad och förståelse för webbgränssnitt hos portaler. Affärstesterna kan också omfatta tester och mätningar som kan ligga till grund för kostnads-nytto-analyser. Lösningar inom detta område bedöms ha stor efterfrågan och potential. I utveckling av användbarhetstest har ISO-standarder för användbarhet använts som grund för krav på mätbarhet. Resultat Sammanställning av genomförda uppdrag De metoder som har utvecklats har validerats i samarbetsprojekt med parter inom offentlig och privat sektor i Sverige och inom ramen för samarbetsprojekt inom EU. Resultaten som erhållits har validerats och granskats i syfte att kunna sättas upp i en produktionslinje hos projektägare, projektpartners eller klustermedlemmar. Inom de olika utvecklingsuppdragen har följande samarbeten genomförts: 6
Sammanställning av testuppdrag till myndigheter, organisationer Transformationstest Tid Beställande Organisation Transformation av fem teman (Inspire bilaga I) 2009 Lantmäteriet Webbaserad GIS-utbildning för transformation 2010 EUROSDR i samarbete med HiG/GIS Institutet Transformation av teman och stöd till Inspiremyndigheternas remissvar till EUC /JRC (Inspire bilaga II+III) 2011 Lantmäteriet, SGU, SLU, Naturvårdsverket, Sjöfartsverket Transformation av data till temat Produktions och industrianläggningar Transformation av datat till temat marktäcke, samt förslag till anpassad specifikation åt SLU 2012 MSB 2012 SLU Prestandatest Prestandatest av nedladdningstjänst 2010 Lantmäteriet och ESDIN projektet Prestandatest av visningstjänst 2010 Vägverket Prestandatest av karttjänst 2010 Lantmäteriet/Metria Prestandatest av karttjänst, ny release 2011 Lantmäteriet/Metria Användbarhetstest Användbarhetstest av GIS-Arena portalen 2010 GIS-Arena projektet där 42 kommuner inom Gävleborgs-, Dalarnas och Värmlands län var intressenter Användbarhettest för karttjänst (WMS) 2010 Lantmäteriet/Metria Användbarhetstest av geodataportalen 2011 Lantmäteriet Användbarhetstest av EU portalen 2011 EUC/JRC Användbarhetstest av Geodataportalen, ny release 2012 Lantmäteriet Användbarhetstest för vård-it funktioner. 2013 Compare Testlab, NordicMedTest (NMT), Landstinget i Värmland, Qtema, Karlstad Universitet, FPX/Smart City Playground Kvalitetstest 7
Test av ATS-guidelines från JRC 2013 Lantmäteriet Test av WFS nedladdningstjänst adresser 2013 Lantmäteriet Övrig utveckling Testfall: Länkad Fastighetsinformation till MSB:s Insats-register. 2012 Lantmäteriet 2013 Lantmäteriet, FPX/Smart City Playground, Myndigheten för samhällsskydd och beredskap (MSB) Adresser i ambulansen Test av datamängd, test av pocess för ajourhållning av adressnamn och vägnamn Utveckling av prototyp för länkade data, RDFmodell 2012-2013 Landstinget i X-län/ ambulansen, Gävle kommun, Sandvikens kommun, Lantmäteriet, FPX/GeoTest Gemensamt ta fram förslag till förbättringar kommunernas vid adressättning, som kommunerna är ansvariga för. 2013 Kommunerna i nätverket cxkartan, Gävleborgs län deltar i work-shop Inom Smart City Playground programmet på FPX har ett antal studier och undersökningar genomförts tillsammans med privata företag som Carmenta, Metria, Esri S-Group, Qtema och Knowit samt andra testkluster som Compare Testlab och Institutet för humanteknologi IHT. 8
Testportfölj Ett grundläggande syfte med GeoTest-projektet är att utveckla metoder för test av geodatamängder och geodatatjänster. Den testportfölj som har utvecklats består av transformationstester, prestandatester och test av datakvalitet (tekniska tester) samt användbarhetstester (affärstester). Transformationstester Inspiredirektivet ställer som krav att svenska myndigheter ska tillhandahålla data enligt detaljerade specifikationer. För att kunna tillhandahålla data enligt dessa specifikationer, måste befintliga data transformeras. Syftet med transformationstesterna är att bedöma hur mycket av Inspiredirektivets krav som kan tillgodoses med automatisk transformation. Metoden som har utvecklats baseras på principerna om schemamatchning, schemamappning och schematransformation. Schemamatchning innebär att för varje element i målschemat (Inspireschemat) identifieras ett antal element i källschemat (den svenska myndighetens schema) som ska användas vid transformationen. Schemamappning innebär att transformationsreglerna specificeras och schematransformationen innebär avslutningsvis att transformationen exekveras, dvs genomförs. Metoden baseras på ett antal allmänt tillgängliga verktyg, såväl kommersiella som verktyg baserade på öppen källkod. Resultatet av testerna är att element som inte enkelt kan transformeras till Inspires målschema blir identifierade. Ett annat resultat är att processerna för att genomföra transformationerna blir specificerade på ett enheteligt sätt. Prestandatest Genomförandebestämmelserna för Inspire-direktivet anger vissa prestandakrav som olika tjänster skall uppfylla. GeoTest-projektet har därför, tillsammans med företaget Interactive Instruments från Tyskland och Universitetet i Edinburgh utvecklat mjukvara och testprocesser för såväl nedladdnings- som visningstjänster. Programvaran baseras på LoadUI och SoapUI, vilka bägge har öppen källkod. De prestandamått som mäts är svarstider, tillgänglighet, belastning och skalbarhet. Testet utförs genom automatiska virtuella tester där en Inspire-tjänst utsätts för en rad slumpmässiga anrop från ett antal virtuella användare. Utifrån testet mäts prestandan som jämförs med de krav som ställs på just den typen av tjänst, till exempelvis svarstider eller tillgänglighet. Test av datakvalitet Syftet med test av datakvalitet är att automatiskt bedöma kvaliten hos en datamängd genom att jämföra den med någon form av referensdata. Resultatet anger skillnaderna mellan datamängderna (data som ska kvalitetsbestämmas samt referensdata) avseende förekomst (fullständighet) och innehåll (noggrannhet). Resultaten kan sedan analyseras med statistiska 9
metoder. Kvalitetsbrister kan identifieras och överensstämmelse med krav och specifikationer kan bedömas. Metoden baseras på ett verktyg med öppen källkod. Användbarhetstest Användbarhetstest mäter och bedömer, utifrån definitioner i ISO 9241-911, hur användbart ett system eller applikation är. Mätning sker utifrån måluppfyllelse (effectiveness), resursförbrukning (efficiency) och nöjdhet (satisfaction). Testet mäter på så vis det stöd som systemet ger för att lösa en viss uppgift, t ex hur lång tid arbetsmomenten tar samt till vilken grad applikationen är enkel, logisk och självinstruerande för användarna. Testet har utvecklats tillsammans med forskare vid Institutet för Humanteknologi (IHT) som har sin primära kompetens inom kognition och beteendevetenskap. Bild: från Workshop på Geoinfo 2012 i Uppsala. Mobilt testlab: Xin He, forskningsingenjör på FPX och GeoTest-projektet genomför en workshop om att testa användbarhet på Geodataportalen. Övriga uppdrag inom Inspire och Smart City Playground Länkade data Länkade Data är ett koncept för att koppla ihop dokument och data från exempelvis olika organisationer. Detta för oss närmare den semantiska webben, en utveckling som röner allt större intresse i takt med att allt fler publicerar sina data efter riktlinjerna för länkade data. En av dessa riktlinjer är att använda standarder som RDF (Resource Description Framework) för att publicera och länka sina data. RDF är en datamodell baserad på trippletter och är en av grunderna för den semantiska webben. RDF knyter ihop data och semantik, vilket medför att informationen är både läsbar för människor och att den automatiskt kan läsas och till viss del förstås av datorer. Med enkla frågor kan data som finns i flera RDF-databaser på webben 10
sammanställas som om allt fanns på samma ställe. Detta leder till att stora mängder av data får ett högre värde. Standardiserad semantik ger smartare lösningar, program och visualiseringar. Målet med studien om länkade data var att visa hur standarder som RDF kan underlätta och förenkla hanteringen av data och information. För att testa frågeställningar rörande länkade data / öppna data har fastighetsinfomation från Lantmäteriet kopplats ihop med insatsregsret hos MSB (Myndigheten för samhhällsskydd och beredskap). MSB har uppdrag från regeringen att kommunicera och analysera allvarliga händelser och olyckor till andra myndigheter och organisationer. Via räddningstjänsten får man vid varje händelse en position som lagras i insatsregistret. För analys och information till andra behövs mer information om händelsen. Under våren och sommaren 2013 har en förstudie genomförts i samarbete med Lantmäteriet, FPX och MSB. Resultatet visar på vissa problem vid matchning av texter, men tydliggör också effektivitetsvinster som uppkommer när standarder används med tillhörande uppsättning av verktyg. Studien är också exempel på samarbete inom Smart City Playground vid FPX. Test av ett test Inspire Abstract Test Suit (ATS) Inspire Coordination Team har tagit fram en testprocess (ATS) som testar de krav en harmoniserad datamängd ska uppfylla för att överensstämma med Inspires genomförandebestämmelser. Testprocesserna är till för att underlätta för myndigheter att kontrollera att de datamängder de tillhandahåller, överensstämmer med Inspires krav. GeoTest har under våren 2013 utvärderat ATS för att bedöma om testerna kan anses vara relevanta, samt hur många av testerna som kan automatiseras. Resultatet visar att testerna bör göras mer temaspecifika samt bör automatiseras så mycket som möjligt för att underlätta arbetet för de myndigheter som ska använda ATS. Metoderna som tagits fram inom Inspireuppdraget har också använts och prövats inom ramen för andra aktiviteter inom projektet Smart City Playground, där GeoTest är ett delprojekt. Målet har då varit att, genom att använda GeoTest metoder, bredda validering av dessa och att sprida kunskap om Inspireuppdraget och geodatasamverkan som drivs och samordnas av Lantmäteriet. 11
Adresser i ambulansen I studien Adresser i ambulansen har målet varit att identifiera hur kvaliteten i en specifikation och tillhörande datamängd kan göras bättre och mera anpassad för ett specifikt ändamål. Personal från GeoTest har i samarbete med ambulanssjukvården analyserat behovet av information i kartan. Genom test av både datamängder och arbetsprocesser har brister inom kommunala ajourhållningsrutiner uppdagats. Detta återspeglar vikten av att ha ett samordnat arbetssätt, en gemensam process, inom alla kommuner i regionen. För ambulans och andra blåljusaktörer är det viktigt att kartan stämmer och att man kan lita på kartinformationen. Konsekvensen av bristande eller felaktig information kan medföra längre tid att hitta den nödställde och i värsta fall kan det leda till dödlig utgång. Studien Adresser i ambulansen visade på hur en gemensam syn på informationsbehov och arbetsprocess kan bidra till att höja kvaliteten av adresser för ambulansens behov. Genom att samarbeta om att identifiera och välja bästa information i kartan kan många av de hinder och brister vi sett förebyggas. I studien samarbetade Gävle kommun, Sandvikens kommun, Lantmäteriet, Landstinget (ambulansen) i Gävleborgs län och FPX. I det avslutande arbetsmötet medverkade kommunerna i Gävleborgs län samt Trafikverket. Studien har resulterat i förslag till kommunerna i cx-nätverket i deras fortsatta arbete, exempelvis i form av en checklista, som stöd för deras fortsatta arbete med att utforma en gemensam arbetsprocess för exempelvis adressättning och namnsättning av vägar. 12
Det är exempelvis viktigt att alla medverkande känner till vad processen syftar till och vilka förväntningar som ställs av användarna av slutresultatet. En kedja är inte starkare än den svagaste länken. Ansvarsfrågor och ansvarsfördelning är också viktiga frågor att behandla. Användbarhetstest av Vård-IT funktioner Metoden för användbarhetstest har blivit uppmärksammad då det blir mer och mer efterfrågat att ha med användarperspektiv redan vid starten av tjänsteutveckling. Användbarhet för Vård- IT sätter också fokus på datasäkerhet. I slutrapport från projektet ehälsosystemens användbarhet 2013, framgår att 20% av de felbehandlingar som görs beror på brister i ITsystemen och att många faktiskt dör av de vårdskador som blir följden.det finns alltså ett stort behov av att titta på användbarhetsfrågor kopplat till bland annat informationssäkerhet, standard och gemensamma strukturer och processer. Tillsammans med NordicMedTest, Landstinget i Värmland och Compare Testlab i Karlstad/Hammarö har FPX/GeoTest användbarhetstest prövats och anpassats till att mäta användbarheten för vård-it funktioner. Målet är att förbättra patientsäkerheten och att höja vårdnyttan, det vill säga mera vård för pengarna. En första pilot har tagits fram för att testa ett personaladministrativt system. Ett större test ska genomföras i november 2013 då ett nytt system tas i bruk. Testet kan också komma att användas för att förbättra kravställningen vid upphandling av nödvändiga system. 13
Erfarenheter och slutsatser GeoTest-projektets testmetoder, för såväl tekniska tester som användbarhetstest, har fått positiv respons från utvecklings- och samarbetspartners både nationellt och internationellt. Metoder som finns dokumenterade inom testportföljen för såväl tekniska tester som test av användbarhet är verifierade och granskade genom vetenskapliga publikationer. Testmetoderna kan på så vis användas och nyttjas av utvecklingspartners inom Inspireuppdraget, FPX klustermedlemmar och andra partners. I utredningen Inriktning för GeoTest, som genomfördes under 2012, framgår att behovet av att testa geodata och SDI bedöms fortsatt vara stort och öka i framtiden. Det kan således förväntas finnas fortsatt stor efterfrågan för verktyg och metoder för tekniska tester även framgent. Alla utvecklade metoder inom GeoTest-projektet är öppna och tillgängliga för alla att använda. Fram till årsskiftet 2013/2014 kan viss hjälp med implementation i egen miljö erbjudas. GeoTest användbarhetstest har arbetats fram parallellt med utvecklingen av de tekniska testerna. Målet har varit att tidigt visa på nyttan av en tjänst, ett system eller applikation. Detta har medfört nyfikenhet och intresse från utvecklare och testare både inom Inspiresamarbetet som inom privat sektor och FPX medlemmar, för att pröva och använda metoden i egen verksamhet. Testet ger tillgång till en metod som mäter användbarhet och på så vis kan analysera och ge signaler om förbättringar i system och applikationer och därmed höja t ex säkerhet, effektivisera nyttjande inom flera verksamhetsområden. Inom hälso- och sjukvårdsektorn har samarbete med Landstinget i Värmland, NordicMedTest och Compare Testlab nyligen avslutats. Där har testtjänsten anpassats och prövats i en pilot för egen verksamhet med goda resultat. I november kommer tjänsten att implementeras och skall i första hand stödja upphandling för nytt personaladministrativt system. Liknande överlämning och anpassning till egen användning och förvaltning pågår med Lantmäteriets testcenter samt Knowit i Gävle. I juli 2013 blev FPX utsett som en av tre Vinnväxt vinnare vilket innebär att Vinnova finansierar ett tioårigt program för utveckling av metoder, tjänster och testmiljö inom Geohälsa. Det nya programmet heter Geo Life Region och det har som uppdrag att utveckla tjänster för att hjälpa människor dig och mig till ett friskare och hälsosammare liv. Genom positionsbestämda data om beteende, livsstil och den omgivning vi lever skall vi ges möjlighet att påverka val i vardagen för bättre hälsa. Detta utvecklingsprogram bedöms ha behov av metoder för kvalitetssäkring av geodata, SDI och insamlade data samt användbara tjänster och tillämpningar. Det innebär att en fortsatt användning och vidareutveckling av GeoTest-projektets testportfölj kommer att efterfrågas. 14
15
Verksamheten har drivits genom Högskolan i Gävle Högskolan i Gävle har 12 000 studenter, mer än 40 utbildningsprogram och cirka 1 000 kurser inom humaniora, samhälls- och naturvetenskap samt teknik. Ett profilområde för högskolan är Geomatik och samarbetet i GeoTest säkerställer akademiskt underbyggda och forskningsmässigt aktuella metoder och processer för genomförande av testerna. Lantmäteriet Lantmäteriet har samordningsansvar för geodata och har utarbetat en nationell geodatastrategi för den samlade informationsförsörjningen inom geodataområdet. Ansvaret omfattar bland annat frågor om produktion, samverkan och utveckling för att på sikt skapa en nationell infrastruktur för geodata. GeoTest är en del i den nationella geodatastrategin. Future Position X, FPX FPX bygger Europas ledande klustermiljö för innovativ användning av Geografisk IT. FPX roll är att vara en oberoende arena för test, utveckling och marknadsföring av Geografisk IT, tjänster och kunskap. FPX är värd för GeoTest under uppbyggnadsskedet och delfinansierar GeoTest genom sina medlemmar. www.geotest.se 16