Kvalitet och Valideringstjänster

Transkript

1 Kvalitet och Valideringstjänster Kvalitet pågeodataoch tjänster kommer att vara väldigt viktiga frågor både ur dataleverantörs-och datakonsumentsynpunkt. Det kommer ocksåatt vara viktigt att ha bra rutiner för dataförsörjning till olika typer av tjänster. Presentationen belyser viktiga problemställningar och beskriver hur man med stöd från ISO-standarderna för produktspecifikationer, kvalitet och metadata kan skapa rutiner för datahantering som säkerställer kvalitet för geodata.

2 Presentation Ser ut som om någon gäspade i bakre ledet

3 De verkar redan tycka det är tråkigt Hur säljer man in det här... Vänta nu allt kan säljas med reklam!!! Jag behöver en fotomodell Tankar Jag ringer Sandra Vad ska hon ha på sig??? rymddräkt, kanske inte såg att det var många skogskunder anmälda Undrar om vi har någon policy för att använda fotomodeller??? Det här upplägget kommer att kräva en alert publik undrar hur mycket alkohol de drack igår?

4 Disposition Inledning Standarder Specifikation Kvalitet Problemställning Inblick i Metrias datahantering Sammanfattning Slutsatser

5 Inledning

6 Vem är jag? Johan Esko GIS Sedan 1992 Samhällsbyggare Metrias Geodatalagret 2.0 höstas Internationell Projektledare för ISO Data quality Hobbies Design, mönsterkonstruktion, sy Klassisk musik - fagottist Natur, åka skidor

7 Standarder inom Datahantering

8 Viktiga standarder Produktspecifikation- ISO Sätter grunden och definierar kraven för data produkten Kvalitet -ISO 19113/19114/19138 (19157) Uppfylls de krav som definierats Metadata ISO 19115/19119/19139 Beskriverden faktiskaprodukten, redovisar kvalitén ISO/DTS Geographic information Quality assurance of data supply Kvalitetssäkring i samband med dataförsörjning

9 Specifikation

10 Definition -specifikation En Teknisk specifikation, i dagligt tal "spec", är ett dokumentsom beskriver en produkt, en komponenteller ett systems tekniska egenskaper. En tekniskt specifikation kan ocksåanvändas som ett dokument som beskriver vilka tekniska krav som ställs påen viss produkt och kallas dåför "kravspecifikation

11 Produkspecifikation En produktspecifikation kan skapas och användas vid olika tillfällen, av olika parter och för olika skäl Den kan till exempel användas för det ursprungliga processen att samla in uppgifter För produkter som härrör från redan befintliga data. De kan vara skapade av producenter för att ange sin produkt Genom användare för att ange sina krav.

12 Skillnad mot metadata Receptet = Produktspecifikationen Ta tvåägg Metadata = Innehållsdeklaration

13 ISO Data product specification Examples: ISO Metadata Examples: Abstract: A specification of the national database for sand, gravel and hard rock aggregates.. Purpose:.. to give an overview of the countries sand, gravel and hard rock deposits Data Quality: Require more detailed specification of feature/attribute quality (DQ_Quality) Abstract: A description of the national database for sand, gravel and hard rock aggregates.. Purpose:.. to give an overview of the countries sand, gravel and hard rock deposits Data Quality: Quality overview statements (usage, lineage and purpose) and DQ_Quality information

14 Kvalitet

15 Kvalitet Ordet kvalitet kommer från latinets "qualitas", som betyder "beskaffenhet.

16 Definition ISO 9000:2000 Den grad till vilken inneboende egenskaper uppfyller krav, dvs behov eller förväntning som är angiven, i allmänhet underförstådd eller obligatorisk Kvalitet Innebär att krav måste ha definierats och att man kontrollerat att kraven uppfylls

17 Varför testar man? Specifikationsuppfyllelse Jämförelsen mellan specifikationen och den faktiska datamängden Användartillfredsställelse Jämförelsen mellan användares krav och datamängdens faktiska utseende

18 Vad testar man? Kvalitetsparametrar (ISO ISO 19113, 19114, 19138) Fullständighet övertalighet, brist Logisk konsistens domän, format, topologisk, konceptuell Lägesnoggrannhet absolut eller extern, relativ eller intern, Noggrannhet hos tidsangivelse temporal noggrannhet, Tematisk noggrannhet klassificering, kvalitativa attribut,

19 Kvalitetsmärkning Vilka krav ställer användaren? Ingen värdering i kvalitetsmärkning!!

20 Test 1 vilket data har bäst kvalitet

21 Problemställningar

22 Geodataidag Allt fler datamängder hanteras Samma data lagras i flera olika miljöer Användning ökar Heterogen användning av data Otydligt vad som gäller för olika datamängder Kraven pådata ökar (inte bara titta på data) INSPIRE, Nationella Geodatastrategin, etc

23 Problemställningar Metria Enorma mängder data Geodatalagret Oracle Spatial/PostGIS/PostgreSQL/SDE (Oracle, SQL Server) >100 schema, ca 30 instanser, >15 servrar Behovavatthållakolltill 100% En mängd krav på data (kunders, våra, INSPIRE, etc) Många gånger är kraven ej nedskrivna Var finns data Datahanteringsjobb vem/när/hur Kommunicera med kunder, leverantörer Rapportera, hantera fel Vilka data används av förädlade produkter, system, tjänster Vilka använder vad Skript Underhåll etc

24 Mål Fullständig kontroll kring allt som rör datahantering Geodataprodukterskall beskrivas Alla geodatamed definierade krav skall kvalitetsmärkas Geodataprocesserskall kvalitetssäkras

25 Inblick i Metrias Datahantering

26 Team Geodatalagret Teknisk förvaltning Teamet - viktigt Motivation och engagemang Arbetstider kontorstid, kvällar, nätter, helger Arbetssätt Projektledning enligt Kanban Avstämningar ofta Självstyrande enhet Vilka vi är: Irina Zjeludkova, Tomas Sunden, Åke Karlsson, Olle Furberg, Anders Jakobsson, Johan Esko, Carina Keinström geodatalagret@metria.se

27 Vi håller koll på När kommer leveranser av data Definiera vilka krav som ska gälla för varje datamängd Gör kvalitetskontroller för data med definierade krav Uppdatera metadata i samband med att jobb utförts Ha skriftlig beskrivning på varje jobb Ha kontroll på om data används Gör ständigt översyn av skript etc Felanmälningar, rapportera till leverantör

28 Datahanteringsprocess Inläsning Ta emot leverans Spara i basdatalager Kontrollera data Skapa metadata Tillgängliggöra Läs basdata Bearbeta, överför till produktlager Uppdatera metadata för produktdata Tillhandahållande av produkt Paketera, leverera.

29 Inläsning Ta emot leverans Spara i basdatalager(datahanterarnas databas) Kontrollera data Schemakontroll - FME, databas skript Övriga kontroller (beroende på krav) FME Kvalitetsresultat skapas (ISO 19113, ISO 19114, ISO 19138) Visuella kontroller Valideringstjänster Interna och påsikt externa Skapa metadata Det mesta metadata skapas maskinellt FME Datahanterare kan ange kommentarer, laddningstillfälle etc skapas Om kvalitetskontroll gjorts kvalitetsresultat klipps in Uppdatera metadataportal (FME)

30 Sammanfattning

31 Geodatalagret 2.0 Produktspecifikation Produktspecifikationer, två användningsområden 1. Krav som används vid inläsningsprocesserna 2. Specifikation för att beskriva Metrias produkter i produktlagret

32 Geodatalagret 2.0 Kvalitet Kvalitet kontrolleras 1. I samband med inläsningsprocesser 2. I samband med förädlingsprocesser

33 Geodatalagret 2.0 Metadata Metadata skapas på två nivåer med följande syfte: 1. För att hålla reda påvad som finns i basdatalagret (interna användare) 2. För att hålla reda påvad som finns i produktlagret (externa användare)

34 Geodatalagret 2.0 Kvalitetssäkring av hela datahanteringsprocessen (ISO 1958) Kvalitetssäkring i samband med dataförsörjning 1. Kontroll och dialog kring fel till leverantör It is a frameworkthat enablesa customer to satisfy itself that its suppliers, bothinternaland external, are capable of delivering geographic information to the required quality. 2. Rapportering av fel till Metria

35 Frågor? Johan Esko