Rapport av resultatet för användbarhetsutvärderingen av ekonomisystemet Raindance

Transkript

1 1/11 Datum ESV Dnr /2017 CGI Stefan Dahl Rapport av resultatet för användbarhetsutvärderingen av ekonomisystemet Raindance Drottninggatan 89 Tfn Bankgiro Org.nr/F-skattebevis Faktureringsadress Box Fax Postgiro Ekonomistyrningsverket Stockholm SE (EU) FE Strömsund

2 2/11 Innehållsförteckning Sammanfattning... 3 Resultat av bedömningskriterierna... 4 Ändamålsenlighet/måluppfyllelse... 4 Effektivitet... 4 Tillfredsställelse... 5 Dialogprinciper (ISO standarden )... 5 Bedömning användbarhetstest... 8 Syfte och metod... 8 Testpersoner och roller... 9 Tillvägagångssätt... 9 Bedömningskriterier... 9 Bedömning av ändamålsenligheten/måluppfyllelsen... 9 Bedömning av effektiviteten... 9 Bedömning av tillfredsställelsen Bedömning av dialogprinciperna (ISO standarden ) Scenarier Scenarier... 11

3 3/11 Sammanfattning Ekonomisystemet Raindance har fått et 69 av totalt 100 i den sammanlagda utvärderingen av tjänstens användbarhet. Tre metoder har använts för att ta fram ett för respektive bedömningskriterium. För bedömningskriterierna ändamålsenlighet/måluppfyllelse och effektivitet har metoden användningstest använts. För bedömningskriteriet tillfredsställelse har metoden skattningsformulär använts och för bedömningskriteriet dialogprinciper (ISO standarden ) har metoden expertgranskning använts. Utvärderingen inriktas på det faktiska användandet av systemet, dvs. möjligheten att genomföra uppgiften och kvaliteten på genomförandet. Bedömningskriteriet ändamålsenlighet/måluppfyllelse har därför viktats till 45 procent av det totala et. Bedömningskriteriet effektivitet mäter resursåtgången i förhållande till noggrannhet och fullständighet dvs. vilken tid det tar för en användare att genomföra ett scenario och uppnå ett givet mål. För användarna var det här första gången de kom i kontakt med ekonomisystemet. Leverantören hade en timmes genomgång av systemet med inriktning på de scenarier som skulle genomföras. Användarna hade ingen möjlighet att titta runt i ekonomisystemet före utförandet av scenarier. Bedömningskriteriet effektivitet har viktats till 15 procent av det totala et. Användarnas subjektiva bedömning av systemet har mätts genom ett skattningsformulär i form av en enkät. Deras subjektiva bedömning grundar sig på genomförandet av scenarier i ekonomisystemet. Deras underlag för bedömningen har därför varit något begränsad. Bedömningskriteriet tillfredsställelse har viktats till 20 procent av det totala et. I expertutvärderingen utvärderades kriteriet dialogprinciper (ISO ). Det är ett komplement till den övriga utvärderingen. Expertutvärderingen täcker områden som den övriga utvärderingen inte berör. Expertutvärderingen genomfördes under fyra timmar av användbarhetsexperter. Bedömningskriteriet dialogprinciper har viktats till 20 procent. Se tabell under avsnittet Bedömning användbarhetstest för beskrivning över uträkningen av et för användbarhetstestet.

4 4/11 Resultat av bedömningskriterierna Ändamålsenlighet/måluppfyllelse Resultatet baseras på åtta scenarier som utförts av två par som representerat rollerna: Medarbetare, Chef, Ekonomihandläggare. Om scenariot kunde genomföras helt enligt de uppställda förutsättningarna, det vill säga scenariot har erhållit poängen 5, lämnas inga kommentarer nedan. Endast de aspekter som lett till lägre poäng än 5 (3, 1, 0) kommenteras nedan med beskrivning av orsaken till avdrag. Scenario 1 Poäng: 5. Inga avdrag har gjorts. Scenario 2 Poäng: 5. Inga avdrag har gjorts. Scenario 3 Poäng: 5. Inga avdrag har gjorts. Scenario 4 Poäng: 5. Inga avdrag har gjorts. Scenario 5 Poäng: 3. Användarna osäkra på vad som behöver göras. Letar. Möts av blank sida. Funderar på hur de ska ta sig vidare. Flera hopp fram och tillbaka. Scenario 6 Poäng: 0. Scenariot avbrutet. Maxtid uppnådd. Scenario 7 Poäng: 5. Inga avdrag har gjorts. Scenario 8 Poäng: 5. Inga avdrag har gjorts. Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Användbarhetstest Ändamålsenlighet och måluppfyllelse Erhållen poäng /40= 1, Uträkning 33 * 1,125 = 37,125 Erhållet Maximalt Ekonomisystemet Raindance har uppnått et 37 av 45 möjliga för bedömningskriteriet ändamålsenlighet/måluppfyllelse. Effektivitet Resultatet baseras på åtta scenarier som utförts av två par som representerat rollerna: Medarbetare, Chef, Ekonomihandläggare. Effektiviteten har mätts i tid att genomföra scenariot. För varje scenario fanns en skala med tidsintervall relaterad till poängsättningen (5, 3, 1) och en maxtid. Har maxtiden överskridits renderade det 0 poäng för det aktuella scenariot. Scenario 1 Poäng: 5. 2 min 35 sek. Scenario 2 Poäng: 5. 1 min 36 sek. Scenario 3 Poäng: 5. 2 min 15 sek. Scenario 4 Poäng: 5. 0 min 47 sek. Scenario 5. 9 min 38 sek. Scenario 6 Poäng: 0. Maxtid uppnådd. Scenario 7 Poäng: 5. 1 min 21 sek. Scenario 8 Poäng: 3. 4 min 3 sek.

5 5/11 Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt Användbarhetstest Effektivitet /40= 0, * 0,375 = 10, Ekonomisystemet Raindance har uppnått et 11 av 15 möjliga för bedömningskriteriet effektivitet. Tillfredsställelse Resultatet baseras på fyra enkäter som har besvarats individuellt av testpersonerna. Bedömningsskalan i skattningsformuläret SUS är poäng och medianen av testpersonernas poängsättning har använts vid beräkning av et. Anv 1 Anv 2 Anv 3 Anv 4 Summa Värdet (2,5* Summa) 82,5 95,0 87,5 50,0 Medianen blev 85,0 poäng (82,5 + 87,5 / 2) Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt SUS - självskattningsformulär /100= 0,20 85,0 85,0 * 0,20 = 17, För bedömningskriteriet tillfredsställelse har ekonomisystemet Raindance uppnått et 17 av möjliga 20. Dialogprinciper (ISO standarden ) Resultatet baseras på en expertgranskning som har utförts av en användbarhetsexpert. Varje dialogprincip enligt ISO har bedömts efter tillämpbarhet enligt skalan: 5, 3, En dialog är anpassad till uppgiften om den stöder användaren på ett ändamålsenligt och effektivt sätt, så att denna kan slutföra uppgiften. Otillfredsställande val av komponent i användargränssnittet (exempelvis gällande val av utbetalningsform). Det finns fönster eller ytor där ledtexten och inmatningsfält står så långt ifrån varandra att man som användare inte ser att de hör ihop. I tjänsten förekommer dialoger som blockerar arbetsytan, så kallade modala dialoger. Generellt byts inte innehållet i arbetsytan när man byter huvudfunktion utan användaren måste göra ytterligare ett funktionsval. 2. En dialog är självinstruerande om användaren omedelbart förstår varje steg tack vare återkoppling från programmet eller genom förklaringar när användaren begär det.

6 6/11 Det förekommer inmatningsfält utan rubrik eller ledtext, där sammanhanget inte är tillräckligt för att användaren ska förstå vad som förväntas i fältet. Det förekommer felmeddelanden vid validering av fält som använder ett språk som inte kan anses vara anpassat för tilltänkta användargrupper. Det förekommer blandad svenska och engelska. Det finns ingen hjälp på delområden eller på fältnivå integrerat i användargränssnittet. Användaren har ingen möjlighet att snabbt få hjälp i en viss situation. Det finns ingen promptning (exempelformat). Användaren får ingen ledtråd avseende format och typ av data som förväntas skrivas in. Det förekommer funktioner som är aktiva trots att det inte finns något objekt att hantera. Effekt vid användande av det röda krysset kan bli en helt tom arbetsyta (Avancerat - Leverantörsreskontra). 3. En dialog är styrbar om användaren kan ha initiativet samt styra riktning och hastighet i interaktionen tills målen är nådda. Avancerat - Leverantörsreskontra: flera lager (drill down) kommer upp som användaren kan backa ur. Att backa ur innebär att användaren ska klicka på det röda krysset i huvudet istället för i det som ser ut som en dialog. Det förekommer flera formulär där data eller funktion hör ihop men inte är grupperade. Det förekommer ett flertal olika varianter av dialogrutor och av dialoger för felmeddelande. 4. En dialog är förutsägbar för användaren om den är konsekvent och överensstämmer med användarförhållanden såsom kunskap om uppgiften, utbildning och erfarenheter samt allmänt accepterade konventioner. Ok (grön bock) och Avbryt (rött kryss) tätt tillsammans gör det lätt att av misstag klicka fel. En ikon med ett rött kryss symboliserar funktionaliteten avbryt. Röd färg och kryss associeras oftast (i vår kultur) till att ta bort ( delete ). Dialogrutor med knapptexter på engelska förekommer. Dialoger med vänsterställda funktionsknappar varvas med högerställda. Vissa dialogrutor bryter mot konventionen att ha det frekventa valet först (Ok) och återgången (Avbryt) efter. Blå text används oftast för att länka /utföra någonting, men också där det inte finns sådan funktionalitet.

7 7/11 5. En dialog är tolerant mot fel om, trots felaktig hantering, det tänkta resultatet kan uppnås med hjälp av inga eller ett minimum av korrigerande handlingar av användaren. Vid validering av inmatat värde görs inte alltid valideringen vid inmatningen, utan först när användaren försöker spara (till exempel i tidrapporteringen). Det saknas validering eller rimlighetsvärde i många fall. Sidor laddas om när det inte behövs. De fält som är obligatoriska att fylla i eller att välja från markeras inte. Detta gör att användaren inte i förväg vet vad som måste fyllas i. 6. En dialog är möjlig att individualisera om programmets gränssnitt kan modifieras så att det passar uppgiftens krav, individuella önskemål samt användarens vana och färdighet. Tabeller har rullistor där det inte är nödvändigt. Skärmytan kan utnyttjas bättre med exempelvis parallell information istället för att växla bild. Uppdatering av sidan behövs frekvent, men det visas ingen information om detta. I vissa delar av tjänsten måste användaren komma ihåg att trycka på <Enter> och i vissa delar finns funktion för att ladda om sidan. Användaren kan inte anpassa tabeller: format, kolumner etcetera. Det saknas kortkommandon. 7. En dialog möjliggör inlärning om den ger stöd och råd till användaren i att lära in hur systemet används. Möjligheten att klicka på Tillbaka förekommer oregelbundet på sidor. Den övergripande sökfunktionen ger ingen hjälp för hur eller i vad sökningar görs eller kan göras. Det finns ingen återkoppling om sökningen gav några träffar (resultat) eller inte. Symboler för olika funktionaliteter förekommer på olika sätt på olika platser i systemet. Summa: 7 poäng. Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt Expertutvärdering /35= 0, * 0,57 = 3, För bedömningskriteriet dialogprinciper har ekonomisystemet Raindance uppnått et 4 av möjliga 20.

8 8/11 Bedömning användbarhetstest Syfte och metod Syftet med användbarhetsutvärderingen var att det genom användningstestet ska framgå i vilken grad ekonomisystemet stödjer användarnas behov och mål, det vill säga om de kan utföra arbetsuppgifterna på ett effektivt och ändamålsenligt sätt. Syftet med enkäten var att kvantifiera användarens upplevelse, tillfredsställelsen av ekonomisystemet. Expertutvärderingens syfte var att uppmärksamma bristande konsekvens, otydlig eller förvirrande interaktion, hur väl ekonomisystemet är utformad för att stödja människans informationsbearbetning och hur väl ekonomisystemet följer allmänna riktlinjer för gränssnittsdesign. Expertutvärderingen var ett komplement till den övriga utvärderingen eftersom den täcker områden som övrig utvärdering inte berörde. Fyra bedömningskriterier har satts enligt tabellen nedan. Tabell 1. Förtydligande av uträkningsmodell för sättning Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Användbarhetstest Ändamålsenlighet och måluppfyllelse Erhållen poäng Uträkning Erhållet Maximalt /40= 1,125 X X * 1,125 = Y Y 45 Användbarhetstest Effektivitet /40= 0,375 X X * 0,375 = Y Y 15 SUS - självskattningsformulär /100= 0,20 X X * 0,20 = Y Y 20 Expertutvärdering /35= 0,57 X X * 0,57 = Y Y SUMMA Y 100 Hur paren löst uppgifterna (scenarierna) har mätts, observerats, dokumenterats och ssatts av observatör (en oberoende konsult inom området användbarhet). Ändamålsenlighet och måluppfyllelse har mätts utifrån ISO : noggrannhet och fullständighet med vilken användare uppnår givna mål. Med andra ord om det var möjligt att genomföra uppgiften och kvaliteten på genomförandet. Gick det tillexempel att göra alla delar eller var det vissa som föll bort eller blev fel? Effektiviteten är resursåtgång i förhållande till den noggrannhet och fullständighet med vilken användare uppnår givna mål. Hur lång tid tog det? Efter genomförandet av scenarierna har användarna enskilt värderat sin upplevelse av ekonomisystemet genom ett skattningsformulär, vilket gett tillfredsställelsen. Därefter har observatörerna utvärderat ekonomisystemet dialog utifrån uppfyllelsen av dialogprinciperna i ISO En så kallad expertutvärdering. Resultaten från var och en av dessa fyra delar har vägts samman till ett för ekonomisystemet. De fyra ingående delarnas vikt vid sammanvägningen framgår av sättningen, tabell 1.

9 9/11 Testpersoner och roller Användningstestet har utförts av fyra personer som delats in i två par. Paren har representerat rollerna: Medarbetare, Chef och Ekonomihandläggare. Tillvägagångssätt Testerna har genomförts på plats hos ESV under en dag. Leverantören har haft en 1 timmes genomgång av ekonomisystemet. Efter det har testpersonerna, i par, löst ett antal scenarier. Sessionen har videofilmats och observatören har även tagit anteckningar. Tid har tagits på själva uppgiftslösandet. Efter genomförandet av scenarierna har testpersonerna var och en fyllt i ett skattningsformulär (SUS). Detta var del ett av användningstesterna. I del två har användbarhetsexpert under cirka fyra timmar gått igenom ekonomisystemet och bedömt tillämpandet enligt ISO Bedömningskriterier Bedömning av ändamålsenligheten/måluppfyllelsen Poäng har delats ut per scenario. Bedömningen har skett enligt skalan: 5, 3, 1 poäng. Om användarna inte har kunnat genomföra ett scenario har det resulterat i bedömningen 0 poäng. Skalan för bedömning: 5 poäng: Lyckas med hela scenariot utan några svårigheter. 3 poäng: Lyckas med scenariot men har vissa svårigheter att lösa det. 1 poäng: Lyckas med scenariot men har svårigheter att lösa det. 0 poäng: Lyckas inte lösa scenariot inom maxtiden/ger upp. Bedömning av effektiviteten Tiden för genomförandet av varje scenario har mätts. Poäng har delats ut per scenario. Bedömningen har skett enligt skalan: 5, 3, 1 poäng. Om maxtiden överskreds har scenariot bedömts som ej genomfört och har därmed erhållit 0 poäng. Tre skalor har använts. En där maxtiden för genomförandet satts till 6 minuter, en den där maxtiden satts till 9 minuter samt en där maxtiden satts till 12 minuter. För ett scenario med maxtid 6 minuter gjordes poängsättningen enligt nedan: 5 poäng: min. 3 poäng: min. 1 poäng: min. 0 poäng: > 6.00 min. (maxtid) För ett scenario med maxtid 9 minuter gjordes poängsättningen enligt nedan: 5 poäng: min. 3 poäng: min.

10 10/11 1 poäng: min. 0 poäng: > 9.00 min. (maxtid) För ett scenario med maxtid 12 minuter gjordes poängsättningen enligt nedan: 5 poäng: min. 3 poäng: min. 1 poäng: min. 0 poäng: > min. (maxtid) Bedömning av tillfredsställelsen Bedömningsskalan i skattningsformuläret SUS är poäng. Bedömning av dialogprinciperna (ISO standarden ) Bedömningen har skett enligt en skala 5, 3, 1 där uppfyllandet av dialogprinciperna (tillämpbarhet) för ISO standarden (den svenska översättningen) har värderats enligt nedan: 5 poäng: Designprincipen uppfylls på ett väl godkänt sätt. Tjänsten tillämpar lösningar som på ett mycket bra sätt stöder Användarens användning av Tjänsten. Innehåller inte några betydande användbarhetsbrister. 3 poäng: Designprincipen uppfylls på ett godkänt sätt. Tjänsten tillämpar lösningar som på ett bra sätt stöder Användarens användning av Tjänsten. Tjänsten har en ändamålsenlig funktion, men Användbarheten kan i några avseenden förbättras. 1 poäng: Designprincipen uppfylls på ett acceptabelt sätt. Tjänsten tillämpar lösningar som stöder Användarens användning av Tjänsten på ett mindre bra sätt. Användbarheten kan i många avseenden förbättras.

11 11/11 Scenarier Scenarier Scenario Roll S1 Tidrapportera föregående veckas arbete Medarbetare S2 Ta reda på antal arbetade timmar för två projekt/prestationer Medarbetare S3 Attestera och avslå medarbetares tidrapport samt kontrollera Chef arbetad tid S4 Utfall per kostnadsställe Chef S5 Skapa utbetalningsunderlag för betalning av leverantörsfakturor Ekonomihandläggare S6 Omföring av bokföringsorder Ekonomihandläggare S7 Ta fram standardrapport Ekonomihandläggare S8 Skapa och ta fram en rapport Ekonomihandläggare