1/10 Datum 2017-04-12 ESV Dnr 18-1043/2017 Visma Commerce AB Stefan Norr Stefan.norr@visma.com Bilaga 2 Rapport av resultatet för Användbarhetsutvärderingen av E-handelstjänsten Proceedo Drottninggatan 89 Tfn 08-690 43 00 Bankgiro 5052-6854 Org.nr/F-skattebevis Faktureringsadress Box 45316 Fax 08-690 43 50 Postgiro 865800-7 202100-5026 Ekonomistyrningsverket 104 30 Stockholm www.esv.se SE202100502601 (EU) FE 27 registrator@esv.se 833 83 Strömsund
2/10 Innehållsförteckning Sammanfattning... 3 Resultat av bedömningskriterierna... 4 Ändamålsenlighet/måluppfyllelse... 4 Effektivitet... 4 Tillfredsställelse... 5 Dialogprinciper (ISO standarden 9241 10)... 5 Bedömning användbarhetstest... 7 Syfte och metod... 7 Testpersoner och roller... 8 Tillvägagångssätt... 8 Bedömningskriterier... 8 Bedömning av ändamålsenligheten/måluppfyllelsen... 8 Bedömning av effektiviteten... 8 Bedömning av tillfredsställelsen... 9 Bedömning av dialogprinciperna (ISO standarden 9241 10)... 9 Scenarier... 10 Scenarier... 10
3/10 Sammanfattning E-handelstjänsten Proceedo har fått et 96 av totalt 100 i den sammanlagda utvärderingen av tjänstens användbarhet. Tre metoder har använts för att ta fram ett för respektive bedömningskriterium. För bedömningskriterierna ändamålsenlighet/måluppfyllelse och effektivitet har metoden användningstest använts. För bedömningskriteriet tillfredsställelse har metoden skattningsformulär använts och för bedömningskriteriet dialogprinciper (ISO standarden 9241 10) har metoden expertgranskning använts. Utvärderingen inriktas på det faktiska användandet av systemet, dvs. möjligheten att genomföra uppgiften och kvaliteten på genomförandet. Bedömningskriteriet ändamålsenlighet/måluppfyllelse har därför viktats till 50 procent av det totala et. Bedömningskriteriet effektivitet mäter resursåtgången i förhållande till noggrannhet och fullständighet dvs. vilken tid det tar för en användare att genomföra ett scenario och uppnå ett givet mål. För användarna var det här första gången de kom i kontakt med e-handelstjänsten. Leverantören hade en timmes genomgång av systemet med inriktning på de scenarier som skulle genomföras. Användarna hade ingen möjlighet att titta runt i e-handelstjänsten före utförandet av scenarier. Bedömningskriteriet effektivitet har viktats till 20 procent av det totala et. Användarnas subjektiva bedömning av systemet har mätts genom ett skattningsformulär i form av en enkät. Deras subjektiva bedömning grundar sig på genomförandet av scenarier i e-handelstjänsten. Deras subjektiva bedömning har därför varit något begränsad. Bedömningskriteriet tillfredsställelse har viktats till 15 procent av det totala et. I expertutvärderingen utvärderades kriteriet dialogprinciper (ISO 9241 10). Det är ett komplement till den övriga utvärderingen. Expertutvärderingen täcker områden som den övriga utvärderingen inte berör. Expertutvärderingen genomfördes under fyra timmar av två användbarhetsexperter. Bedömningskriteriet dialogprinciper har viktats till 15 procent. Se tabell under avsnittet Bedömning användbarhetstest för beskrivning över uträkningen av et för användbarhetstestet.
4/10 Resultat av bedömningskriterierna Ändamålsenlighet/måluppfyllelse Resultatet baseras på nio scenarier som utförts av två par som representerat rollerna: Beställare, Beställningssamordnare, Budgetattestant, Fakturagranskare, Godsmottagare, Katalogadministratör samt Leverantör. Om scenariot kunde genomföras helt enligt de uppställda förutsättningarna, dvs. scenariot har erhållit poängen 5, lämnas inga kommentarer nedan. Endast de aspekter som lett till lägre poäng än 5 (3, 1, 0) kommenteras nedan med beskrivning av orsaken till avdrag. Scenario 1. Inga avdrag har gjorts. Scenario 2. Inga avdrag har gjorts. Scenario 3. Inga avdrag har gjorts. Scenario 4. Inga avdrag har gjorts. Scenario 5. Inga avdrag har gjorts. Scenario 6. Inga avdrag har gjorts. Scenario 7. Inga avdrag har gjorts. Scenario 8. Inga avdrag har gjorts. Scenario 9. Inga avdrag har gjorts. Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt Användbarhetstest Ändamålsenlighet och måluppfyllelse 45 50 50/45= 1,11 45 45 * 1,11 = 49,95 50 50 E-handelstjänsten Proceedo har uppnått et 50 av 50 möjliga för bedömningskriteriet ändamålsenlighet/måluppfyllelse. Effektivitet Resultatet baseras på nio scenarier som utförts av två par som representerat: Beställare, Beställningssamordnare, Budgetattestant, Fakturagranskare, Godsmottagare, Katalogadministratör samt Leverantör. Effektiviteten har mätts i tid att genomföra scenariot. För varje scenario fanns en skala med tidsintervall relaterad till poängsättningen (5, 3, 1) och en maxtid. Har maxtiden överskridits renderade det 0 poäng för det aktuella scenariot. Scenario 1 Poäng: 3. 3 min 32 sek. Scenario 2. 1 min 55 sek. Scenario 3 Poäng: 3. 2 min 04 sek. Scenario 4. 1 min 43 sek. Scenario 5. 1 min 35 sek. Scenario 6. 0 min 57 sek. Scenario 7. 1 min 06 sek. Scenario 8. 1 min 50 sek. Scenario 9 Poäng: 3. 2 min 49 sek.
5/10 Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Användbarhetstest Effektivitet 45 20 20/45= 0,44 39 39 * 0,44 = 17,16 Erhållet Maximalt 17 20 E-handelstjänsten Proceedo har uppnått et 17 av 20 möjliga för bedömningskriteriet effektivitet. Tillfredsställelse Resultatet baseras på fyra enkäter som har besvarats individuellt av testpersonerna. Bedömningsskalan i skattningsformuläret SUS är 0 100 poäng och medianen av testpersonernas poängsättning har använts vid beräkning av et. Anv 1 Anv 2 Anv 3 Anv 4 Summa 39 34 37 37 Värdet (2,5* Summa) 97,5 85 92,5 92,5 Medianen blev 92,5 poäng (92,5 + 92,5 / 2) Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt SUS - självskattningsformulär 100 15 15/100= 0,15 92,5 92,5 * 0,15 = 13,88 14 15 För bedömningskriteriet tillfredsställelse har e-handelstjänsten Proceedo uppnått et 14 av möjliga 15. Dialogprinciper (ISO standarden 9241 10) Resultatet baseras på en expertgranskning som har utförts av två stycken användbarhetsexperter. Varje dialogprincip enligt ISO 9241 10 har bedömts efter tillämpbarhet enligt skalan: 5, 3, 1. 1. En dialog är anpassad till uppgiften om den stöder användaren på ett ändamålsenligt och effektivt sätt, så att denna kan slutföra uppgiften. 2. En dialog är självinstruerande om användaren omedelbart förstår varje steg tack vare återkoppling från programmet eller genom förklaringar när användaren begär det. 3. En dialog är styrbar om användaren kan ha initiativet samt styra riktning och hastighet i interaktionen tills målen är nådda.
6/10 4. En dialog är förutsägbar för användaren om den är konsekvent och överensstämmer med användarförhållanden såsom kunskap om uppgiften, utbildning & erfarenheter samt allmänt accepterade konventioner. 5. En dialog är tolerant mot fel om, trots felaktig hantering, det tänkta resultatet kan uppnås med hjälp av inga eller ett minimum av korrigerande handlingar av användaren. 6. En dialog är möjlig att individualisera om programmets gränssnitt kan modifieras så att det passar uppgiftens krav, individuella önskemål samt användarens vana och färdighet. 7. En dialog möjliggör inlärning om den ger stöd och råd till användaren i att lära in hur systemet används. Summan: 35 poäng. Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Erhållen poäng Uträkning Erhållet Maximalt Expertutvärdering 35 15 15/35= 0,43 35 35 * 0,43 = 15,05 15 15 För bedömningskriteriet dialogprinciper har e-handelstjänsten Proceedo uppnått et 15 av möjliga 15.
7/10 Bedömning användbarhetstest Syfte och metod Syftet med användbarhetsutvärderingen var att det genom användningstestet ska framgå i vilken grad E- handelstjänsten stödjer användarnas behov och mål, det vill säga om de kan utföra arbetsuppgifterna på ett effektivt och ändamålsenligt sätt. Syftet med enkäten var att kvantifiera användarens upplevelse, tillfredsställelsen av E-handelstjänsten. Expertutvärderingens syfte var att uppmärksamma bristande konsekvens, otydlig eller förvirrande interaktion, hur väl E-handelstjänsten är utformad för att stödja människans informationsbearbetning och hur väl E-handelstjänsten följer allmänna riktlinjer för gränssnittsdesign. Expertutvärderingen var ett komplement till den övriga utvärderingen eftersom den täcker områden som övrig utvärdering inte berörde. Fyra bedömningskriterier har satts enligt tabellen nedan. Tabell 1. Betygssättning Bedömningskriterium Maxpoäng Vikt, % Betygsfaktor Användbarhetstest Ändamålsenlighet och måluppfyllelse Erhållen poäng Uträkning Erhållet Maximalt 45 50 50/45= 1,11 X X * 1,11 = Y Y 50 Användbarhetstest Effektivitet 45 20 20/45= 0,44 X X * 0,44 = Y Y 20 SUS - självskattningsformulär 100 15 15/100= 0,15 X X * 0,15 = Y Y 15 Expertutvärdering 35 15 15/35= 0,43 X X * 0,43 = Y Y 15 100 SUMMA Y 100 Hur paren löst uppgifterna (scenarierna) har mätts, observerats, dokumenterats och ssatts av observatörerna (två oberoende konsulter inom området användbarhet). Ändamålsenlighet och måluppfyllelse har mätts utifrån ISO 9241 11: noggrannhet och fullständighet med vilken användare uppnår givna mål. Med andra ord om det var möjligt att genomföra uppgiften och kvaliteten på genomförandet. Gick det tillexempel att göra alla delar eller var det vissa som föll bort eller blev fel? Effektiviteten är resursåtgång i förhållande till den noggrannhet och fullständighet med vilken användare uppnår givna mål. Hur lång tid tog det? Efter genomförandet av scenarierna har användarna enskilt värderat sin upplevelse av E-handelstjänsten genom ett skattningsformulär, vilket gett tillfredsställelsen. Därefter har observatörerna utvärderat E-handelstjänstens dialog utifrån uppfyllelsen av dialogprinciperna i ISO 9241 10. En så kallad expertutvärdering. Resultaten från var och en av dessa fyra delar har vägts samman till ett för E-handelstjänsten. De fyra ingående delarnas vikt vid sammanvägningen framgår av sättningen, tabell 1.
8/10 Testpersoner och roller Användningstestet har utförts av fyra personer som delats in i två par. Paren har representerat rollerna beställare, beställningssamordnare, fakturagranskare, godsmottagare, budgetattestant, katalogadministratör och leverantör. Tillvägagångssätt Testerna har genomförts på plats hos leverantörerna under en dag. Leverantören har haft en 1 timmes genomgång av E-handelstjänsten. Efter det har testpersonerna, i par, löst ett antal scenarier. Sessionen har videofilmats och observatörerna har även tagit anteckningar. Tid har tagits på själva uppgiftslösandet. Efter genomförandet av scenarierna har testpersonerna var och en fyllt i ett skattningsformulär (SUS). Detta var del ett av användningstesterna. I del två har två användbarhetsexperter under cirka fyra timmar gått igenom E-handelstjänsten och bedömt tillämpandet enligt ISO 9241 10. Bedömningskriterier Bedömning av ändamålsenligheten/måluppfyllelsen Poäng har delats ut per scenario. Bedömningen har skett enligt skalan: 5, 3, 1 poäng. Om användarna inte har kunnat genomföra ett scenario har det resulterat i bedömningen 0 poäng. Skalan för bedömning: 5 poäng: Lyckas med hela scenariot utan några svårigheter. 3 poäng: Lyckas med scenariot men har vissa svårigheter att lösa det. 1 poäng: Lyckas med scenariot men har svårigheter att lösa det. 0 poäng: Lyckas inte lösa scenariot inom maxtiden/ger upp. Bedömning av effektiviteten Tiden för genomförandet av varje scenario har mätts. Poäng har delats ut per scenario. Bedömningen har skett enligt skalan: 5, 3, 1 poäng. Om maxtiden överskreds har scenariot bedömts som ej genomfört och har därmed erhållit 0 poäng. Två skalor har använts. En där maxtiden för genomförandet satts till 6 minuter och den där maxtiden satts till 9 minuter. För ett scenario med maxtid 6 minuter gjordes poängsättningen enligt nedan: 5 poäng: 0.00 1.59 min. 3 poäng: 2.00 3.59 min. 1 poäng: 4.00 6.00 min. 0 poäng: > 6.00 min. (maxtid) För ett scenario med maxtid 9 minuter gjordes poängsättningen enligt nedan:
9/10 5 poäng: 0.00 2.59 min. 3 poäng: 3.00 5.59 min. 1 poäng: 6.00 9.00 min. 0 poäng: > 9.00 min. (maxtid) Bedömning av tillfredsställelsen Bedömningsskalan i skattningsformuläret SUS är 0 100 poäng. Bedömning av dialogprinciperna (ISO standarden 9241 10) Bedömningen har skett enligt en skala 5, 3, 1 där uppfyllandet av dialogprinciperna (tillämpbarhet) för ISO standarden 9241 10 (den svenska översättningen) har värderats enligt nedan: 5 poäng: Väl godkänd, alla tillämpningar uppfylls. Tillämpar lösningar som på ett bra sätt stöder användarens användning av E-handelstjänsten. Innehåller inte några betydande användbarhetsbrister. 3 poäng: Godkänd, större delen av tillämpningarna uppfylls. Tillämpar en lösning som på ett rimligt sätt stöder användarens användning av E-handelstjänsten. Har en ändamålsenlig funktion, men användbarheten kan i några avseenden förbättras. 1 poäng: Acceptabel, mindre del av tillämpningarna uppfylls. Tillämpar en lösning som stöder användarens användning av E-handelstjänsten, men som i många avseenden kan förbättras.
10/10 Scenarier Scenarier Scenario Roll S1 Skapa beställningsunderlag utifrån produktkatalog Beställare S2 Skapa tjänstebeställning via formulär Beställare S3 Färdigställ en tidigare sparad beställning från en annan Beställningssamordnare beställare S4 Attestera beställningsunderlag från en smartphone Budgetattestant S5 Kontera och granska orderlös faktura Fakturagranskare S6 Registrera inleverans av en vara Godsmottagare S7 Hantering av en ej ordermatchad faktura Beställare S8 Kontrollera produktkatalog med prisjusteringar Katalogadministratör S9 Leverantörsportal: Ta emot order samt ge orderbekräftelse manuellt Leverantör