Test av Metria Maps avseende Användbarhet och prestanda

Transkript

1 Test av Metria Maps avseende Användbarhet och prestanda Solgerd Tanzilli, Projektledare Tomas Rosendal, Testledare Xin He, Testare Lars Palm, Testare Anders Östman, Vetenskaplig ledare 1

2 Sammanfattning Syftet med testerna har varit att testa Metria Maps med avseende på prestanda och användbarhet. För test av prestanda har de kriterier som specificeras av INSPIRE använts. För användbarhetstesterna har följande utgångspunkter använts Är Metria Maps lätt att använda? Var finns svårigheterna? Var finns styrkorna? Vad saknas? Användbarhet Användbarhetstestet är baserat på empirisk metod där användare observeras medan de utför uppgifter för olika testscenarios. Syftet med användbarhetstestet är att kunna bestämma hur bra och hur snabbt en ny användare kan lära sig Metria Maps gränssnitt för webtjänsten. Bland annat testades hur lång tid som användes för att lösa en uppgift, operationella mönster och som en helhet kan dessa aspekter ge en översiktlig uppfattning om användbarheten i Metria Maps. Prestanda Prestanda och kvalitet mäts i termer av systemets förmåga att svara upp mot användbarhet för att nyttja tjänsterna med avseende på systemets tillförlitlighet över tid. Prestanda för Geodata tjänster är besläktade med och relaterar till; klient, server och nätverk. Genomsläpplighet och svarstid används som mätbara indikatorer för prestanda. Här skall arkitekturen för nätverkstjänster, obligatoriska kvalitets kriterier sammanföras med data- och tjänsteleverantörer hos medlemsstaterna, som det beskrivs i Commission Regulation (EC) No 976/2009 of 19 October 2009 (Official Journal of the European Union, 2009) : Resultat användbarhetstester En tydligare kravbild för vem Metria Maps och dess tjänster skall utformas för saknades. Den hade avsevärt underlättat utformningen av testerna. Av de testscenarios och uppgifter som genomfördes under de tre testdagarna kan man säga att Metria Maps har förmåga att ge service till dom flesta i kommuner och myndigheter. En introduktion/kortare utbildning av tjänsten kan dock vara på sin plats för att lättare komma igång. Erfarenheten baseras på att testpanelen med olika bakgrund och kompetens inom IT och GIS, uppvisar stora skillnader i förmåga att genomföra testerna. Är Metria Maps lätt att använda? Ja, Metria Maps är ett system som är lätt att använda och komma igång med. Det är lätt att hitta och förstå knapparna och dess funktioner. Var finns svårigheterna? Att hantera och hitta information om lagren, att veta när systemet arbetar upplevde testarna som trögt. (detta kan bero på att vi testade mot Metria Maps testmiljö) Sökfunktionen upplevdes som opålitlig och ologisk. 2

3 Var finns styrkorna? Gränsnittet upplevdes som användarvänligt och lättillgängligt, knapparna beskrivs på ett bra och enkelt sätt, kartografin är bra och funktionen att lägga till egna VMS lager uppskattas. Systemet är lätt att lära sig. Vad saknas? Attributtabell Fritextsökning, möjlighet att kunna rensa sökkriterina samt rent generellt, en bättre sökfunktion Sammanfattande tabell Testade områden Resultat + Resultat - Layout och grafisk utformning Bra layout och design. Navigering - struktur Enkelt att navigera Alla navigeringsverktyg användes inte av testgruppen. ( hittade dom inte) Terminologi Feed back och hjälp från systemet Funktionalitet Felhantering Generell uppfattning om systemet i stort Tillfredsställande, fyller sitt syfte Hjälpknappen och dess innehåll är bra. Lätt att hitta och använda knapparna och dess funktioner. Metria Maps är ett modernt och lättanvänt system. Ingen feedback ifrån systemet t.ex. vid resultatet inga sökträffar vid sökning med fel detaljtyp % av testarna har svårt att hitta till Lägg till lager (WMS lager) Sökfunktionen är svår och ibland obegriplig att använda. Svårt att hitta information om lager m.m. Ingen alls Sökfunktionen är svår att förstå och dess resultat. Presentation av fastighetsinformation kan bli mera användarvänlig. 3

4 Resultat prestandatester Testsammanfattningen nedan visar att Metria Maps begränsning I samtidiga användare ligger mellan 31 0ch 51. Metria Maps möter INSPIREs krav för Get Download Service Metadata och Get Spatial Objects och möter inte INSPIREs krav för Get Map och Describe Spatial Objects Types. System limit test Table i. Results of system limit test for the view service of MetriaMaps 4

5 Test against INSPIRE performance requirements Services INSPIRE Requirements MetriaMaps Performance WMS WFS GetMap Get Download Service Metadata Get Spatial Objects Describe Spatial Objects Types For a 470Kb image, should be of maximum 5 second in normal situation, with a frequency of request of 20 requests per second. 10 seconds in normal situations, with a frequency of request of 10 requests per second. 30 second initial response, then the service shall maintain a sustained response > 0.5 MB/s, alternatively 500 spatial objects/s in normal situations, with a frequency of request of 10 requests per second. 10 second initial response, then the service shall maintain a sustained response > 0.5 MB/s, alternatively 500 spatial objects types per second in normal situations, with a frequency of request of 10 requests per second. 11.2s, when there are 20 concurrent requests. 0.2s, when there are 10 concurrent requests. 0.4s, when there are 10 concurrent requests for a data set containing 1,000 spatial objects. 43.0s, when there are 10 concurrent requests for a description file containing 162 spatial object types. Table ii. Summary of test results against INSPIRE performance requirements