TestForum 2014 2014-04-09 Robert Magnusson, Nordic Medtest, Karlstad Lars Palm, Temagon AB / Future Position X, Gävle
NMT:s definition av testning Testning är en empirisk, teknisk undersökning i syfte att ta fram kvalitetsrelaterad information om en produkt åt intressenter 2
Dagens agenda Användbarhet - Vad är användbarhet? - Varför vill man testa användbarhet? Användbarhetstest - Hur testas användbarhet? - Vad blir output och hur hanterar man det? 3
Vad är användbarhet? Internationell standard, ISO 9241-11 Den grad i vilken användare i ett givet sammanhang kan bruka en produkt för att uppnå specifika mål på ett ändamålsenligt, effektivt och för användaren tillfredsställande sätt. (ISO 9241-11, 1998) 4
Användbarhetstest på LiV Pilot HR system (tidrapportering, semester, reseersättning m.m.) Självbetjäning på CSK Upphandling av nytt HR-system 5
Användbarhetstest NMT Okulär observation Test-rapport ISO 9241-11 Digital observation Måluppfyllelse Klarar/klarar inte Effektivitet Tidsåtgång Tillfredsställelse SUS-frågor Score card: Good (80-100), Fine (68-80), Pass (51-68), Fail (0-51) Video- & Ljudupptagning + musrörelser Kommentarer från testdeltagare 6
Pilot HR-system Testare Observatör FPX mentor Lärdomar Förberedelser Syfte Kunskap om systemet Testdata Kommunicera resultat 7
Användbarhetstest -Testpersoner -Fältstudie CSK Självanmälan Resultat: -Ta bort 19 i årtal -Ta bort nedsläckning av tangenter -Skylt med instruktioner -Skärm för integritet 8
Användbarhetstest -Testpersoner -Fältstudie CSK Självanmälan Resultat: -Ta bort 19 i årtal -Ta bort nedsläckning av tangenter -Skylt med instruktioner -Skärm för integritet 9
Upphandling nytt HR-system Del i bedömning av lämpligt HR-system 15 st LiV-personal 10 st LiV HR personal Roller: Chef & Medarbetare 6-11 scenarier Måluppfyllelse, Effektivitet & Tillfredsställelse Kommentarer viktigt! 10
Erfarenheter Vilken data får/kan användas Viktigt att fånga upp testpersoners kommentarer Viktigt att observatörer och testledare kan systemet som skall testas och vet när uppgifterna lyckades Minst 13-15 testpersoner (statistiskt riktigt) Syfte bestäms innan test God planering ger bra resultat Utbildning eller inte innan test? 11
Effektivare vård & högra patientnytta Vårdens process vs system Stödjande verktyg Användarvänlighet intuitiv interaktion spar tid Patient involverad Självanmälan & Mina vårdkontakter (1177) Minskad tid vid system ger mer tid för patientrelation 12
Framtida möjligheter med användbarhetstest Fånga upp åsikter från vårdens personal Kombinerat med förbättringsprocess Användbarhetstest på prototyper Vårdens processer ihop med tänkta system Kravställning Trendkurva för vårdens leverantörer 10 min är mycket i vården som har många anställda! 13
Våra testresurser hos Future Position X Testfall Testpanel Testkompetens Programvara & licenser Testmiljö Tekniska tester Affärstester Transformationtester Prestandatester Datakvalitet Användbarhetstester Cost/benefit (?) Dataset Metadata Datatjänster GeoTest Lab (Inspire-direktivet) 14
Varför testa användbarhet? Produkter utformade efter användares behov. Göra produkten bättre! 15
Användbarhetstest Mål; bedöma hur användbart ett system eller applikation är. 16
Användbarhetsmått 3 Nyckelord Effectiveness [Måluppfyllelse] Nogrannhet och fullständighet med vilken användarna uppnår givna mål. (ISO 9241-11, 1998) Efficiency [Effektivitet] Resursåtgång i förhållande till den nogrannhet och fullständighet med vilken användarna uppnår givna mål (ISO 9241-11, 1998) Satisfaction [Tillfredsställelse] Frånvaro av obehag samt positiva attityder vid användningen av en produkt (ISO 9241-11, 1998) 17
Frågeformulär, SUS & SUMI SUS System Usability Scale (Brooke, 1986) Består av tio påståenden. En slutpoäng SUMI Software Usability Measurement Inventory (Kirakowksi & Corbett, 1993) Består av femtio påståenden. Sex olika kategorier poängsätts. 18
SUMI, sex kategorier 19
Användbarhetstest, Översikt 20
Exempel Testuppgifter 21
Exempel Effectiveness & Efficiency 22
Exempel SUMI 23
Analys Analysera data 24
Rapportering Rapportera till kund Mall= Common Industry Format 25
Våra tester Det vi erbjuder i dagsläget 2 typer; On-site och On-line On-site Test sker på plats. On-line Test sker online. 26
On-site tester 27
On-line tester 28
GeoTest Användbarhetsprocess 29
På horisonten Rapportering Nordic MedTest / Future Position X 30
Stort Tack! Tack! amir.jonis@fpx.se