1/10 Datum 2017-10-11 ESV Dnr 2.5.1-415/2017 Visma Dag Pettersson dag.pettersson@visma.com Rapport av resultatet för användbarhetsutvärderingen av ekonomisystemet Visma Net Drottninggatan 89 Tfn 08-690 43 00 Bankgiro 5052-6854 Org.nr/F-skattebevis Faktureringsadress Box 45316 Fax 08-690 43 50 Postgiro 865800-7 202100-5026 Ekonomistyrningsverket 104 30 Stockholm www.esv.se SE202100502601 (EU) FE 27 registrator@esv.se 833 83 Strömsund
2/10 Innehållsförteckning Sammanfattning... 3 Resultat av bedömningskriterierna... 4 Ändamålsenlighet/måluppfyllelse... 4 Effektivitet... 4 Tillfredsställelse... 5 Dialogprinciper (ISO standarden 9241 10)... 5 Bedömning användbarhetstest... 7 Syfte och metod... 7 Testpersoner och roller... 8 Tillvägagångssätt... 8 Bedömningskriterier... 8 Bedömning av ändamålsenligheten/måluppfyllelsen... 8 Bedömning av effektiviteten... 8 Bedömning av tillfredsställelsen... 9 Bedömning av dialogprinciperna (ISO standarden 9241 10)... 9 Scenarier... 10 Scenarier... 10
3/10 Sammanfattning Ekonomisystemet Visma Net har fått et 66 av totalt 100 i den sammanlagda utvärderingen av tjänstens användbarhet. Utvärdering av användbarhet är en av tre delar i anbudsutvärderingen i ESV:s upphandling av statliga ramavtal för Ekonomisystem som tjänst. Tre metoder har använts för att ta fram ett för respektive bedömningskriterium. För bedömningskriterierna ändamålsenlighet/måluppfyllelse och effektivitet har metoden användningstest använts. För bedömningskriteriet tillfredsställelse har metoden skattningsformulär använts och för bedömningskriteriet dialogprinciper (ISO standarden 9241 10) har metoden expertgranskning använts. Utvärderingen inriktas på det faktiska användandet av systemet, det vill säga möjligheten att genomföra uppgiften och kvaliteten på genomförandet. Bedömningskriteriet ändamålsenlighet/måluppfyllelse har därför viktats till 45 procent av det totala et. Bedömningskriteriet effektivitet mäter resursåtgången i förhållande till noggrannhet och fullständighet dvs. vilken tid det tar för en användare att genomföra ett scenario och uppnå ett givet mål. För användarna var det här första gången de kom i kontakt med ekonomisystemet. Leverantören hade en timmes genomgång av systemet med inriktning på de scenarier som skulle genomföras. Användarna hade ingen möjlighet att titta runt i ekonomisystemet före utförandet av scenarier. Bedömningskriteriet effektivitet har viktats till 15 procent av det totala et. Användarnas subjektiva bedömning av systemet har mätts genom ett skattningsformulär i form av en enkät. Deras subjektiva bedömning grundar sig på genomförandet av scenarier i ekonomisystemet. Deras underlag för bedömningen har därför varit något begränsad. Bedömningskriteriet tillfredsställelse har viktats till 20 procent av det totala et. I expertutvärderingen utvärderades kriteriet dialogprinciper (ISO 9241 10). Det är ett komplement till den övriga utvärderingen. Expertutvärderingen täcker områden som den övriga utvärderingen inte berör. Expertutvärderingen genomfördes under fyra timmar av användbarhetsexperter. Bedömningskriteriet dialogprinciper har viktats till 20 procent. Se tabell under avsnittet Bedömning användbarhetstest för beskrivning över uträkningen av et för användbarhetstestet.
4/10 Resultat av bedömningskriterierna Ändamålsenlighet/måluppfyllelse Resultatet baseras på åtta scenarier som utförts av två par som representerat rollerna: Medarbetare, Chef, Ekonomihandläggare. Om scenariot kunde genomföras helt enligt de uppställda förutsättningarna, dvs. scenariot har erhållit poängen 5, lämnas inga kommentarer nedan. Endast de aspekter som lett till lägre poäng än 5 (3, 1, 0) kommenteras nedan med beskrivning av orsaken till avdrag. Scenario 1 Poäng: 5. Inga avdrag har gjorts. Scenario 2 Poäng: 5. Inga avdrag har gjorts. Scenario 3 Poäng: 3. Möts av en tom sida. Behöver leta efter var funktionerna finns (generell ärendehantering). Har svårt att hitta rätt ställe att avslå och attestera. Hittar ingen summering av timmarna. Exporterar till Excel för att sedan räkna manuellt. Scenario 4 Poäng: 3. Hittar ingen summering. Försöker att anpassa tabellen. Men hittar inget summeringsfält. Exporterar till Excel och summerar där. Scenario 5 Poäng: 5. Inga avdrag har gjorts. Scenario 6 Poäng: 0. Scenariot avbrutet. Maxtid uppnådd. Scenario 7 Poäng: 5. Inga avdrag har gjorts. Scenario 8 Poäng: 0. Scenariot avbrutet. Maxtid uppnådd. Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Användbarhetstest Ändamålsenlighet och måluppfyllelse Erhållen poäng 40 45 45/40= 1,125 26 Uträkning 26 * 1,125 = 29,25 Erhållet Maximalt 29 45 Ekonomisystemet Visma Net har uppnått et 29 av 45 möjliga för bedömningskriteriet ändamålsenlighet/måluppfyllelse. Effektivitet Resultatet baseras på åtta scenarier som utförts av två par som representerat rollerna: Medarbetare, Chef, Ekonomihandläggare. Effektiviteten har mätts i tid att genomföra scenariot. För varje scenario fanns en skala med tidsintervall relaterad till poängsättningen (5, 3, 1) och en maxtid. Har maxtiden överskridits renderade det 0 poäng för det aktuella scenariot. Scenario 1 Poäng: 1. 6 min 20 sek. Scenario 2 Poäng: 3. 5 min 39 sek. Scenario 3 Poäng: 1. 7 min 20 sek. Scenario 4 Poäng: 1. 5 min 34 sek. Scenario 5 Poäng: 3. 7 min 51 sek. Scenario 6 Poäng: 0. Maxtid uppnådd. Scenario 7 Poäng: 5. 2 min 45 sek. Scenario 8 Poäng: 0. Maxtid uppnådd.
5/10 Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt Användbarhetstest Effektivitet 40 15 15/40= 0,375 14 14 * 0,375 = 5,25 5 15 Ekonomisystemet Visma Net har uppnått et 5 av 15 möjliga för bedömningskriteriet effektivitet. Tillfredsställelse Resultatet baseras på fyra enkäter som har besvarats individuellt av testpersonerna. Bedömningsskalan i skattningsformuläret SUS är 0 100 poäng och medianen av testpersonernas poängsättning har använts vid beräkning av et. Anv 1 Anv 2 Anv 3 Anv 4 Summa 30 14 30 27 Värdet (2,5* Summa) 75,0 35,0 75,0 67,5 Medianen blev 71,25 poäng (67,5 + 75,0 / 2) Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt SUS - självskattningsformulär 100 20 20/100= 0,20 71,25 71,25 * 0,20 = 14.25 14 20 För bedömningskriteriet tillfredsställelse har ekonomisystemet Visma Net uppnått et 14 av möjliga 20. Dialogprinciper (ISO standarden 9241 10) Resultatet baseras på en expertgranskning som har utförts av en användbarhetsexpert. Varje dialogprincip enligt ISO 9241 10 har bedömts efter tillämpbarhet enligt skalan: 5, 3, 1. 1. En dialog är anpassad till uppgiften om den stöder användaren på ett ändamålsenligt och effektivt sätt, så att denna kan slutföra uppgiften. Poäng: 5 2. En dialog är självinstruerande om användaren omedelbart förstår varje steg tack vare återkoppling från programmet eller genom förklaringar när användaren begär det. Poäng: 3 Avdrag för: Tooltips förekommer i vissa fall men saknas i andra. Bör vara konsekvent. Extra viktigt för funktionsikoner som saknar textförklaring. Saknas hjälp på fältnivå.
6/10 Svårt att se var i tabellerna man kan ändra direkt och vilken åtgärd som krävs för att få ändra. Dålig kontrast med vita textfält på ljusgrå bakgrund. Vita textfält är heller inte alltid ändringsbara fält. 3. En dialog är styrbar om användaren kan ha initiativet samt styra riktning och hastighet i interaktionen tills målen är nådda. Poäng: 5 4. En dialog är förutsägbar för användaren om den är konsekvent och överensstämmer med användarförhållanden såsom kunskap om uppgiften, utbildning & erfarenheter samt allmänt accepterade konventioner. Poäng: 3 Avdrag för: Delarna Financials och Approval har olika uppbyggnad och utseende samt beteende. Detta försvårar för användarna att lära sig, känna igen sig och komma ihåg (automatisera). Exempel: ikonen med en penna som ritar en linje används för två olika syften (funktioner): Växla mellan tabell och formulär samt Redigera. Det förekommer blåa rubriker i formulär. Kan förväxlas med att vara en länk. Öppnas nya flikar i webbläsaren. Lätt för användaren att tappa bort sig. En struktur som innebär att man inifrån Visma Net inte kan ta sig till alla delar. 5. En dialog är tolerant mot fel om, trots felaktig hantering, det tänkta resultatet kan uppnås med hjälp av inga eller ett minimum av korrigerande handlingar av användaren. Poäng: 5 6. En dialog är möjlig att individualisera om programmets gränssnitt kan modifieras så att det passar uppgiftens krav, individuella önskemål samt användarens vana och färdighet. Poäng: 5 7. En dialog möjliggör inlärning om den ger stöd och råd till användaren i att lära in hur systemet används. Poäng: 5 Summa: 31 poäng. Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt Expertutvärdering 35 20 20/35= 0,57 31 31 * 0,57 = 17,67 18 20 För bedömningskriteriet dialogprinciper har ekonomisystemet Visma Net uppnått et 18 av möjliga 20.
7/10 Bedömning användbarhetstest Syfte och metod Syftet med användbarhetsutvärderingen var att det genom användningstestet ska framgå i vilken grad ekonomisystemet stödjer användarnas behov och mål, det vill säga om de kan utföra arbetsuppgifterna på ett effektivt och ändamålsenligt sätt. Syftet med enkäten var att kvantifiera användarens upplevelse, tillfredsställelsen av ekonomisystemet. Expertutvärderingens syfte var att uppmärksamma bristande konsekvens, otydlig eller förvirrande interaktion, hur väl ekonomisystemet är utformad för att stödja människans informationsbearbetning och hur väl ekonomisystemet följer allmänna riktlinjer för gränssnittsdesign. Expertutvärderingen var ett komplement till den övriga utvärderingen eftersom den täcker områden som övrig utvärdering inte berörde. inkonsekvent Fyra bedömningskriterier har satts enligt tabellen nedan. Tabell 1. Förtydligande av uträkningsmodell för sättning Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Användbarhetstest Ändamålsenlighet och måluppfyllelse Erhållen poäng Uträkning Erhållet Maximalt 40 45 45/40= 1,125 X X * 1,125 = Y Y 45 Användbarhetstest Effektivitet 40 15 15/40= 0,375 X X * 0,375 = Y Y 15 SUS - självskattningsformulär 100 20 20/100= 0,20 X X * 0,20 = Y Y 20 Expertutvärdering 35 20 20/35= 0,57 X X * 0,57 = Y Y 20 100 SUMMA Y 100 Hur paren löst uppgifterna (scenarierna) har mätts, observerats, dokumenterats och ssatts av observatör (en oberoende konsult inom området användbarhet). Ändamålsenlighet och måluppfyllelse har mätts utifrån ISO 9241 11: noggrannhet och fullständighet med vilken användare uppnår givna mål. Med andra ord om det var möjligt att genomföra uppgiften och kvaliteten på genomförandet. Gick det tillexempel att göra alla delar eller var det vissa som föll bort eller blev fel? Effektiviteten är resursåtgång i förhållande till den noggrannhet och fullständighet med vilken användare uppnår givna mål. Hur lång tid tog det? Efter genomförandet av scenarierna har användarna enskilt värderat sin upplevelse av ekonomisystemet genom ett skattningsformulär, vilket gett tillfredsställelsen. Därefter har observatörerna utvärderat ekonomisystemet dialog utifrån uppfyllelsen av dialogprinciperna i ISO 9241 10. En så kallad expertutvärdering. Resultaten från var och en av dessa fyra delar har vägts samman till ett för ekonomisystemet. De fyra ingående delarnas vikt vid sammanvägningen framgår av sättningen, tabell 1.
8/10 Testpersoner och roller Användningstestet har utförts av fyra personer som delats in i två par. Paren har representerat rollerna: Medarbetare, Chef och Ekonomihandläggare. Tillvägagångssätt Testerna har genomförts på plats hos ESV under en dag. Leverantören har haft en 1 timmes genomgång av ekonomisystemet. Efter det har testpersonerna, i par, löst ett antal scenarier. Sessionen har videofilmats och observatören har även tagit anteckningar. Tid har tagits på själva uppgiftslösandet. Efter genomförandet av scenarierna har testpersonerna var och en fyllt i ett skattningsformulär (SUS). Detta var del ett av användningstesterna. I del två har användbarhetsexpert under cirka fyra timmar gått igenom ekonomisystemet och bedömt tillämpandet enligt ISO 9241 10. Bedömningskriterier Bedömning av ändamålsenligheten/måluppfyllelsen Poäng har delats ut per scenario. Bedömningen har skett enligt skalan: 5, 3, 1 poäng. Om användarna inte har kunnat genomföra ett scenario har det resulterat i bedömningen 0 poäng. Skalan för bedömning: 5 poäng: Lyckas med hela scenariot utan några svårigheter. 3 poäng: Lyckas med scenariot men har vissa svårigheter att lösa det. 1 poäng: Lyckas med scenariot men har svårigheter att lösa det. 0 poäng: Lyckas inte lösa scenariot inom maxtiden/ger upp. Bedömning av effektiviteten Tiden för genomförandet av varje scenario har mätts. Poäng har delats ut per scenario. Bedömningen har skett enligt skalan: 5, 3, 1 poäng. Om maxtiden överskreds har scenariot bedömts som ej genomfört och har därmed erhållit 0 poäng. Tre skalor har använts. En där maxtiden för genomförandet satts till 6 minuter, en den där maxtiden satts till 9 minuter samt en där maxtiden satts till 12 minuter. För ett scenario med maxtid 6 minuter gjordes poängsättningen enligt nedan: 5 poäng: 0.00 1.59 min. 3 poäng: 2.00 3.59 min. 1 poäng: 4.00 6.00 min. 0 poäng: > 6.00 min. (maxtid) För ett scenario med maxtid 9 minuter gjordes poängsättningen enligt nedan: 5 poäng: 0.00 2.59 min. 3 poäng: 3.00 5.59 min.
9/10 1 poäng: 6.00 9.00 min. 0 poäng: > 9.00 min. (maxtid) För ett scenario med maxtid 12 minuter gjordes poängsättningen enligt nedan: 5 poäng: 0.00 3.59 min. 3 poäng: 4.00 7.59 min. 1 poäng: 8.00 12.00 min. 0 poäng: > 12.00 min. (maxtid) Bedömning av tillfredsställelsen Bedömningsskalan i skattningsformuläret SUS är 0 100 poäng. Bedömning av dialogprinciperna (ISO standarden 9241 10) Bedömningen har skett enligt en skala 5, 3, 1 där uppfyllandet av dialogprinciperna (tillämpbarhet) för ISO standarden 9241 10 (den svenska översättningen) har värderats enligt nedan: 5 poäng: Designprincipen uppfylls på ett väl godkänt sätt. Tjänsten tillämpar lösningar som på ett mycket bra sätt stöder Användarens användning av Tjänsten. Innehåller inte några betydande användbarhetsbrister. 3 poäng: Designprincipen uppfylls på ett godkänt sätt. Tjänsten tillämpar lösningar som på ett bra sätt stöder Användarens användning av Tjänsten. Tjänsten har en ändamålsenlig funktion, men Användbarheten kan i några avseenden förbättras. 1 poäng: Designprincipen uppfylls på ett acceptabelt sätt. Tjänsten tillämpar lösningar som stöder Användarens användning av Tjänsten på ett mindre bra sätt. Användbarheten kan i många avseenden förbättras.
10/10 Scenarier Scenarier Scenario Roll S1 Tidrapportera föregående veckas arbete Medarbetare S2 Ta reda på antal arbetade timmar för två projekt/prestationer Medarbetare S3 Attestera och avslå medarbetares tidrapport samt kontrollera Chef arbetad tid S4 Utfall per kostnadsställe Chef S5 Skapa utbetalningsunderlag för betalning av leverantörsfakturor Ekonomihandläggare S6 Omföring av bokföringsorder Ekonomihandläggare S7 Ta fram standardrapport Ekonomihandläggare S8 Skapa och ta fram en rapport Ekonomihandläggare