Innehållsförteckning Sammanfattning... 3 1. Inledning... 3 2. Genomförande... 4 2.1. Metod användbarhetstester... 4 2.2. Målgrupp och urval... 4 2.3. Testomgångar och iterationer... 6 2.4. Totalt testades 6 prototypversioner... 6 2.5. Testernas utformning... 11 2.6. Rapportering inom projektgruppen... 12 3. Resultat... 12 3.1. En otydlig avsändare kan göra användaren osäker... 13 3.2. Långa listor och stora textmängder försämrar tillgängligheten... 14 3.3. Standardisering av funktionernas placering ökar tillgängligheten... 15 3.4. Hjälpfunktionen lokalisering och innehåll... 16 3.5. Klara och tydliga svar på sökfrågor är viktiga för alla användare... 19 3.6. Tiden som tillbringas på anvisningstjänsten... 20 3.7. Om logotypernas placering och att kommunicera med bilder... 21 Bilaga 1 Diskussionsguide användartester e-tjänster... 22 Bilaga 2 Diskussionsguide engelska... 30 2 (31)
Sammanfattning Rekommendationerna i rapporten bygger på användbarhetstester som utfördes under oktober och november 2015. I projektet har testerna använts för att bidra till utvecklingen av användargränssnittet för anvisningstjänsten för Svensk e-legitimation och det slutliga resultatet av testerna återfinns alltså i den prototyp som tagits fram av Metamatrix. Några generella rekommendationer kan ändå göras: En otydlig avsändare kan göra användaren osäker och minska förtroendet för sidan många vill gärna ha kontaktuppgifter Långa listor och stora textmängder försämrar tillgängligheten sidorna blir svårnavigerade för personer som använder skärmläsare med talsyntes och för personer med koncentrationssvårigheter och för personer med dyslexi Standardisering av funktionernas placering ökar tillgängligheten om vanliga funktioner (sök, hjälp, logga in) ligger på samma plats oavsett vilken myndighetssida som besöks, så förenklar det på sikt användningen av myndighetssidor. Klara och tydliga svar på sökfrågor är viktiga för alla användare det bidrar till snabbt kunna agera på en sida. En bra sökfunktion har särskilt stor betydelse för personer som använder skärmläsare med talsyntes det går fortare att söka än att scrolla. Att kommunicera med bilder och logotyper kan öka tillgänligheten för personer med dyslexi och en del typer av ADHD kan det vara lättare att ta till sig information via bilder. 1. Inledning När allt fler av myndigheternas tjänster erbjuds via deras websidor är det också viktigt att göra tjänster, funktioner och sidor tillgängliga för alla. Tjänsterna ska exempelvis tillgängliggöras för personer med funktionsnedsättning eller äldre personer. En viktig faktor för tillgång till myndigheternas e-tjänster är att kunna använda en e- legitimation för att kunna logga in säkert på myndighetens sida. Idag sker inloggning både genom myndigheternas egna lösningar och med e-legitimationer, det senare regleras genom avtal som myndigheterna har med de enskilda utfärdarna av e-legitimationer. Nu planeras att samla e-legitimationer från olika utfärdare under en tjänst, anvisningstjänsten, som E- legitimationsnämnden har ansvar för. I det här projektet har en prototyp för ett användargränssnitt för anvisningstjänsten tagits fram av webbyrån Metamatrix. Stelacon har fått i uppdrag från Post- och Telestyrelsen (PTS) att genomföra användbarhetstester av de prototyper som webbyrån har tagit fram. Beställare av uppdraget är E-legitimationsnämnden i samarbete med Användarforum och PTS. Fokus i användbarhetstesterna är på tillgänglighet för personer med olika funktionsnedsättningar, äldre personer, engelskspråkiga samt personer utan påvisad funktionsnedsättning. Syftet med denna undersökning är att analysera tillgängligheten av användargränssnittet, främst med avseende på äldre och personer med funktionsnedsättning. Ett antagande är att varierande upplevelser mellan individer exempelvis beror på funktion av mjukvaror eller websidors utformning. Det kan även bero på individuella förutsättningar som är specifika på grund av funktionsnedsättning eller egna preferenser. 3 (31)
2. Genomförande 2.1. Metod användbarhetstester När vi vill undersöka hur användbar eller tillgänglig en tjänst är letar vi efter uttalade målgruppers specifika behov för att kunna använda en tjänst. Syfte är med andra ord att undersöka vilka behov och utmaningar som styr tillgänglighet och användbarhet för en särskild målgrupp. Användbarhetstesterna syftar till att återge användarens upplevelser i samband med användning av användargränssnittet. I studien har förrekryterade testpersoner genomfört uppdrag på prototyper av anvisningstjänstens användargränssnitt, kommenterat och beskrivit hur enkelt eller svårt det var att genomföra uppdrag och delmoment, samt i vissa fall gett förslag på förbättringsåtgärder som underlättar användandet. Som en avslutning på testet har testpersonerna uttalat sig om tjänsten i sin helhet. Det är viktigt att poängtera att denna undersöknings resultat inte är generella för samtliga individer med en viss funktionsnedsättning; testpersonernas åsikter är påverkade av exempelvis individuella preferenser, specifika behov eller teknikintresse. I fallet med användargränssnittet för en anvisningstjänst var uppdraget att undersöka tillgängligheten redan under utvecklingsfasen. Användargränssnittet anpassades kontinuerligt under testperioden, så att förslag och kommentarer från testpersonerna användes i arbetet med utvecklingen av användargränssnittet. Arbetet följde således en iterativ process. Intervjun var semi-strukturerad: frågorna var strukturerade och ställdes i samma ordning till alla testpersoner, men följdfrågor, fördjupningar och förtydliganden gjordes spontant under testet. Öppna och slutna frågor blandades och intervjun inleddes med bakgrundsfrågor om personens ålder, (eventuell) funktionsnedsättning och hur den påverkar användningen i allmänhet, samt språk. Intervjufrågor förekom under uppdragets gång och testet avslutades med sammanfattande frågor. 2.2. Målgrupp och urval Målgrupperna för användbarhetstesterna bestämdes inom projektgruppen 1 och styrgruppen med hänsyn till kommentarer från referensgruppen. Det beslutades att vi skulle få bäst information till utvecklingen av användargränssnittet om personer med olika funktionsnedsättningar, äldre personer, engelskspråkiga samt personer utan påvisad funktionsnedsättning deltog i testerna. Testpersonerna skulle inte heller ha vana vid att utföra tester. Rekryteringen skedde genom annonsering i en dagstidning. Det relevanta här är egentligen inte hur användargränssnittet fungerar för en enskild målgrupp målet är att ha ett användargränssnitt som passar alla. Användbarhetstesterna var från början indelade i tre testomgångar: efter tio tester gjordes en omfattande delrapportering och därefter pausades testerna i en vecka. I testomgång 2 startade en iterativ process med kontinuerlig rapportering till utvecklarna om resultaten efter ca 5 tester. I testomgång 1 testade 10 personer användargränssnittet, fördelat på sju av de tio målgrupperna (se Tabell 1). I testomgångarna 2 och 3 testade ytterligare 28 personer användargränssnittet, fördelat på alla tio målgrupper: äldre personer, personer med blindhet, synsvaghet, med dyslexi, med kognitiv funktionsnedsättning (ADHD, Aspergers syndrom, 1 Projektgruppen bestod av projektledare Ulrika Gani från Användningsforum, Pia Flodquist från Metamatrix, Max Walter från Metamatrix och Carl Törnquist från Metamatrix, Kristina Jansson från Stelacon och Jenny Robertsson från Stelacon. 4 (31)
psykisk funktionsnedsättning eller förvärvad hjärnskada), med nedsatt rörlighet i hand, testpersoner utan påvisad funktionsnedsättning och engelskspråkiga personer (utan påvisad funktionsnedsättning). Tabell 1. Testpersonernas fördelning över målgrupper Målgrupper Antal testpersoner Testomgång 1 Testomgång 2 och 3 Personer som är 75 år eller äldre 3 2 Personer med blindhet 0 4 Personer nedsatt syn 2 2 Personer med dyslexi/läs- och skrivsvårigheter 2 2 Personer med kognitiv funktionsnedsättning ADHD 2 5 Aspergers syndrom 1 2 Psykisk funktionsnedsättning eller förvärvad hjärnskada 7 Personer med rörelsenedsättning Personer med problem med rörlighet i hand, finmotorik 2 3 Engelskspråkiga personer 0 4 Personer utan påvisad funktionsnedsättning 1 3 Personernas ålder, datorvana och modersmål kan också ha betydelse för resultaten av testen och en spridning bland dessa faktorer var därför önskvärd. Vad gäller modersmål hade alla utom tre personer svenska som modersmål, bortsett från de fyra engelskspråkiga personerna. Testpersonerna ombads att själva utvärdera sin datorvana där alternativen var hög, mellan eller låg datorvana. 21 av testpersonerna bedömde sin datorvana som hög, 10 personer sade sig vara medelanvändare, och resterande bedömde sin datorvana som låg. I testerna deltog total 22 män och 15 kvinnor. Ålder hos testpersonerna fördelade sig enligt Tabell 2. Tabell 2. Åldersgrupp Ålder hos testpersonerna Antal 20-29 5 30-39 7 40-49 7 50-59 9 60-69 2 70-79* 5 80-89 2 5 (31)
Testmiljön varierade: 21 av testerna utfördes på testpersonens arbetsplats, ett test genomfördes i testpersonens hem och 15 tester genomfördes på konsultens kontor. Testpersonerna erbjöds att genomföra testet på egna enheter, om de inte ville eller kunde det, erbjöds konsultens enheter vilket var en laptop eller en ipad. 2.3. Testomgångar och iterationer I den ursprungliga planen var testerna uppdelade i tre testomgångar med 10-15 testpersoner i varje omgång. Den första testomgången fungerade som ett tröskeltest där prototypversionen var förhållandevis enkel med ett fåtal funktioner. Resultaten av den första testomgången samlades i en delrapport som lämnades till projektgruppen och delades med referensgruppen och styrgruppen via projektets Google Drive sida. Efter det togs en paus i testerna på ungefär en vecka då utvecklarna hade möjlighet att arbeta med prototypen och lägga till fler funktioner. Testomgång 2 och 3 skulle sedan göras med 10-15 personer vardera och båda skulle innehålla en iterativ process, med kontinuerligt rapporterande av testresultat till webbyrån. Den processen fungerade mycket bra. Rapporter skickades efter att 4-5 personer hade testats och eftersom det fungerade bra och förde utvecklingsarbetet framåt, beslutades att vi skulle fortsätta så utan att pausa mellan en testomgång 2 och 3. Istället rapporterades resultat i iterationsrapporter under hela testomgångarna 2 och 3. 2.4. Totalt testades 6 prototypversioner Totalt har 6 prototyper testats under de båda testomgångarna. Den första testomgången gjordes på version 1, 3, och 4, och testomgångarna 2 och 3 gjordes i iterationer med version 5, 7, och 8. Ibland gjordes mindre justeringar mellan testerna, men det var bara vid omfattande förändringar som en ny version togs fram. Prototyp version 1 (se Figur 1) var en enkel variant där listan med samtliga e-legitimationer var synliga från början och inga logotyper användes. Hjälpknappen låg nederst i fönstret och följde med vid scrollning. 6 (31)
Figur 1. Prototyp version 1 Skillnaden mellan version 1 och version 3 fanns framförallt i hjälpavsnittet där texterna omarbetades mellan versionerna. (Se Figur 2) 7 (31)
Figur 2. Hjälpavsnittet i version 1 och i version 3 Prototypversion nummer 4 testades på en person och i den versionen hade hjälpknappen flyttat upp till övre delen av sidan och den följde inte längre med vid scrollning (se Figur 3). Dessutom hade logotyper lagts in. Figur 3. Prototypversion 4 8 (31)
I prototypversion 5 (se Figur 4) hade färgerna ändrats, rullgardinsmenyer införts och listan med samtliga e-legitimationer var inte synlig från start. Figur 4. Prototypversion 5 I prototypversion 7 (se Figur 5) hade färgerna ändrats igen, logotyper från myndigheten och Svensk e-legitimation lagts till i sidhuvudet och knapparna gjorts mer distinkta. 9 (31)
Figur 5. Prototypversion 7 I den sista versionen som testades, prototypversion 8, hade framförallt sökresultatet vid nollresultat förbättrats. Dessutom hade designen ändrats så att hela sidan gav ett luftigare intryck (se Figur 6 och Figur 7). 10 (31)
Figur 6. Sökresultat i version 7 Figur 7. Sökresultat i version 8 2.5. Testernas utformning Vid test av en tjänst är utgångspunkten vilken funktion tjänsten skall fylla för användaren. För att få fram så mycket ofiltrerad information som möjligt kan det vara bra att inte direkt tala om vilken tjänst som testas i detalj utan ge uppdrag som testar det. Användargränssnittet skall ha funktionen att samla e-legitimationer och skall dessutom, enligt designbriefen från utvecklaren, vara snabb, enkel och osynlig. Det vi ville veta var alltså hur snabbt testpersonerna kan ta sig igenom uppdragen och delmomenten, huruvida 11 (31)
användargränssnittet sticker ut i någon mening och om de funktioner som byggs in (sökfunktion, hjälpfunktion, välja språk) fungerar bra ur ett tillgänglighetsperspektiv. En diskussionsguide både på svenska och engelska togs fram som underlag till testledaren (se bilaga 1 respektive bilaga 2). Testpersonen fick tre uppdrag att utföra. De innehöll moment som var avsedda att testa funktionen i användargränssnittet genom att 1) logga in på Mina sidor på Försäkringskassan med hjälp av Mobilt BankID och se om en ansökan har blivit godkänd, 2) beställa personbevis på Skatteverket med en legitimation som inte ingår i de mest populära, och 3) logga in på Stockholms stad och se ansökningstider för vuxenutbildningar, men inte hitta rätt e- legitimation i listan. I det första uppdraget testades med andra ord om användargränssnittet är överskådligt och lätt att använda med sortering på de mest använda e-legitimationerna. I det andra uppdraget testades huvudsakligen sökfunktionen, och hur testpersonerna valde att göra söka eller scrolla. Det tredje uppdraget var designat för att testa hur personerna beter sig när uppdraget går fel hittar de rätt utväg? På så sätt testades hjälpfunktionen och informerade om hur användaren går tillväga om den egna legitimationen inte fanns. Efter varje delmoment ställdes specifika frågor om hur det var att genomföra momentet, vad uppfattades som bra/dåligt, enkelt/svårt etc. Testpersonen ombads här också att kvantifiera hur svårt eller enkelt momentet var. Testerna som utfördes med engelskspråkiga personer krävde en översättning av uppdragen. Det var dock inte möjligt att inom ramen för detta projekt översätta myndighetssidorna, varför alla tre uppdragen genomfördes inom det flöde som startar på Försäkringskassan. Det gjorde att testerna inte var helt lika de svenska testerna. 2.6. Rapportering inom projektgruppen Under projektets gång har ett flertal rapporteringar gjorts till utvecklarna och övriga projektgruppen. Där har specifika problem eller kommentarer tagits upp och dessa har använts för att utveckla prototypen. Rapporteringen har också skett i form av listor i ett exceldokument, som har uppdaterats kontinuerligt och nu innehåller resultatet för alla 37 testerna. En delrapport presenterades efter att tio användbarhetstester hade genomförts. Den avslutades med rekommendationer till utvecklingsteamet om möjliga förbättringar och kommentarer som kommit fram. I iterationsrapporterna beskrevs först testerna som var inkluderade genom en presentation av hur många personer som hade testats, vilka målgrupper som var inkluderade, om det var några stora skillnader från föregående rapport och hur lång tid som testpersonerna hade tillbringat på anvisningstjänsten i de tre uppdragen. 3. Resultat I det här kapitlet sammanfattas resultaten från användbarhetstesterna. Utgångspunkten är de problem, kommentarer och frågor som kom upp under testerna. Varje avsnitt inleds med en sammanfattning av de viktigaste resultaten. 12 (31)
3.1. En otydlig avsändare kan göra användaren osäker Majoriteten av testpersonerna vill veta vem som är avsändare det ökar förtroendet för sidan och tjänsten. De tyckte också att det skall vara tydligt utskrivet hur avsändaren kan kontaktas. Ett återkommande förslag var att flytta logotypen för Svensk e-legitimation från den nedre delen av sidan till sidans övre del. Vilket också gjordes i senare prototyper. De kommentarer som fälldes angående avsändare efter att alla uppdrag utförts, gick alla ut på att avsändaren borde vara tydligare. En del testpersoner föreslog att logotypen skulle placeras längst upp; kanske skulle det också vara bra att poängtera att det går att kontakta dem. Kanske ska man ringa bank-id, eller e- legitimation? Nej, jag skulle nog ringa Skatteverket. Testpersonerna ombads att identifiera avsändaren på olika sätt; ibland ställdes frågan om vem testpersonen skulle kontakta om testpersonen behövde hjälp med något på sidan. De flesta nämnde såväl myndigheten som de ville logga in på, som banken/utfärdaren av e-legitimationen. Ingen nämnde spontant Svensk e-legitimation eller E-legitimationsnämnden som avsändare i den första testomgången. På anvisningstjänsten finns logotypen för Svensk e-legitimation längst ned på sidan (se Figur 8). Vid två av testtillfällena lät testledaren hjälpfunktionen vara aktiv när frågan ställdes, vid båda dessa tillfällen identifierades rätt avsändare. Figur 8. Avsändaren Svensk e-legitimation synliggörs längst ned på sidan i hjälpfunktionen Sätt loggan överst och gör en kontaktlänk Skriv ut "Övriga problem - kontakta Svensk E- legitimation" som alternativ under Hjälp funktionen. Då är de kriminella, om de inte vill visa vilka de är. Inte heller i de prototyper som togs fram under testomgångar 2 och 3 kunde alla testpersoner identifiera avsändaren. En del tyckte inte att det var viktigt men de allra flesta tyckte att det 13 (31)
var viktigt att veta vem som stod bakom sidan och vem som kan kontaktas vid problem. I de första versionerna låg Svensk e-legitimation logotypen längst ned på sidan, i de sista versionerna som testades låg logotypen istället högst upp till höger på sidan. Det var flera testpersoner som identifierade Svensk e-legitimation som avsändare; andra personer såg det som en symbol som var till för att visa att man var inne på en sida för e- legitimationer. Ingen testperson har nämnt E-legitimationsnämnden som avsändare. Bland de engelskspråkiga testpersonerna var det två som identifierade någon statlig myndighet baserat på att listan bestod av en blandning av banker och telekomföretag och därmed måste ha en samlande myndighet bakom. Testsituationen kan ha påverkat identifieringen av avsändare eftersom testledarna ibland ställde följdfrågor om avsändaren som gjorde det möjligt för testpersonerna att modifiera sitt svar. Först ställdes frågor om vem testpersonen skulle kontakta för att få hjälp, därefter kunde en fråga ställas om vem som testpersonen såg som avsändare. Intervjufrågorna kan möjligen ha gett intrycket att det var fel svar på första frågan och lett till att testpersonen letade lite extra för att hitta en avsändare. Bland de engelskspråkiga personerna ansågs det genomgående viktigt att avsändaren var tydlig och att avsändaren gick att kontakta. Möjligen kan det finnas kulturella skillnader som påverkar eftersom förtroendet för myndigheter kan variera mellan kulturer. 3.2. Långa listor och stora textmängder försämrar tillgängligheten Några testpersoner med dyslexi och testpersoner med ADHD hade svårt att ta till sig informationen i listan med samtliga legitimationer. De längre textdelarna i hjälpavsnittet var också svåra för dem. För blinda personer var långa listor och stora textmängder besvärliga eftersom all information lästes upp av de hjälpprogram som användes under testerna. Det gör att det kan ta ganska lång tid att komma till den centrala informationen på en sida. Vissa testpersoner i målgruppen ADHD och dyslexi hade svårt att ta till sig informationen i hjälpavsnittet och blev störda av listans längd och att det var en blandning av versaler och gemener. En testperson med ADHD och dyslexi hoppade mellan raderna och kunde därför inte läsa listan och inte heller ta till sig informationen i hjälpavsnittet. En person ogillade särskilt blandningen av gemener och versaler eftersom det gav ett rörigt intryck och därmed störde läsningen. Hjälpavsnittets texter omarbetades redan i första testomgången så att informationen skulle bli mer tillgänglig (se Figur 9). 14 (31)
Figur 9. Jämförelse mellan hjälpavsnitt i version 1 och version 3 De blinda testpersonerna hade hjälpmedel; det förekom både skärmläsning med talsyntes (VoiceOver) och punktskriftsskärm. Långa texter (framförallt på myndighetssidorna) och den långa listan med samtliga e-legitimationer på anvisningstjänsten gjorde då att det tog lång tid att orientera sig och att navigera på sidan. Det tog också lång tid att hitta knappen som skulle användas när den låg långt ner i ett textavsnitt eller på sidan. Konkreta förslag på förbättringar som kom från testpersonerna var att använda tabellindex eller att göra rubriknivåer baserat på bokstäver så att det hade gått att tabba sig fram. Sidans trovärdighet påverkades också av att namnen i listan med alla e-legitimationer var obekanta för testpersonerna. En del kommenterade att det kändes osäkert att välja ur den listan och någon trodde att de hade hamnat fel. Intrycket som testpersonerna fick av sidan och av listan kan också ha påverkats av uppdragens utformning. I och med att legitimeringen, som är nästa moment i inloggningsförfarandet, inte genomfördes på riktigt, utan att legitimeringssteget bestod av att testpersonen skulle klicka sig vidare, så kan intrycket av sidans och listans betydelse ha påverkats. Anvisningstjänsten kan ha tillskrivits större betydelse än den kommer att ha för användarna när den är i bruk anvisningstjänsten består i grund och botten av en lista med godkända e-legitimationer. 3.3. Standardisering av funktionernas placering ökar tillgängligheten Många testpersoner uttryckte en önskan om att funktioner skulle vara placerade på samma platser oavsett vilken sida man besöker; att standardisera placeringen av funktioner efterfrågades. Konkreta exempel var inloggning (på myndighetssidorna), sökknappens placering (högst upp till höger ansågs vara standard av en del) och hjälpavsnittets placering (som ansågs som standard av de flesta). En del ansåg också att det är en fördel om sidornas uppbyggnad och struktur är stabila och inte ändras för ofta. Användare lär sig hur websidor är strukturerade och tillgängligheten ökar om vissa nyckelfunktioner alltid återfinns på samma plats oavsett vilken sida man befinner sig på. 15 (31)
I övrigt kom design och disposition upp både spontant under uppdragen och som svar på specifika frågor under det avslutande frågemomentet. De flesta föredrar att det finns två listor: en med de mest använda och en alfabetisk lista som samlar samtliga e-legitimationer. Att en lista med de mest använda fungerar bra understryks också av hur snabbt testpersonerna hittade rätt under det första uppdraget. När de ombads använda en e- legitimation som fanns bland de mest använda; använde ingen mer än 10 sekunder för att hitta rätt e-legitimation i det första uppdraget. Vad gäller designval var det generella intryck positivt. Vissa detaljer kommenterades: fontstorleken ansågs för liten, särskilt bland äldre, någon tyckte att det var för svag kontrast mellan det vita centrala partiet och ramens ljusgråa färg. En testperson med nedsatt syn, tyckte dock att läsbarheten var god med de färgval som gjorts. I senare tester förekom inte denna kritik. En del tyckte att färgvalen var lågmälda och att sidan var diskret. I de prototyper som testades i slutet av projektet användes en gul färg som signalfärg, vilket uppskattades av flera testpersoner. Flera testpersoner kommenterade listan med samtliga e-legitimationer, många tyckte att den var lång, att den störde intrycket av hela sidan och gjorde den rörig samt att det var svårt att se vad som stod i och med att versaler och gemener var blandade. Någon testperson nämnde att det i allmänhet är besvärligt att orientera sig på sidor med mycket text och att långa textavsnitt gör sidan svåröverskådlig. Ytterligare någon tyckte att listan med samtliga e- legitimationer skulle delas upp mer bokstavsbaserat (A-B, C-D o.s.v.) I de senare prototyperna hade sidan ändrats så att det fanns rullgardinsmenyer och listan var hopfälld som utgångsläge. Det gjorde att överblicken förbättrades, men för ovana personer ställde det till lite problem eftersom de inte såg hur de skulle göra för att öppna rullgardinsmenyerna. En annan kommentar kom från personer, till exempel synsvaga och äldre, som hade valt att förstora sidorna; det var då svårt att få en överblick över sidan, särskilt i mobiler. För blinda personer skulle listans och sidans överblickbarhet förbättras av tabellindex som gör det lättare att navigera för den som inte ser utan hör text och bild. 3.4. Hjälpfunktionen lokalisering och innehåll Endast ett fåtal av testpersonerna använde hjälpknappen för att få hjälp många hade inte noterat den alls. Hjälpavsnittets placering fungerar dock bra för de flesta, och användarna verkar förvänta sig att det skall finnas ett hjälpavsnitt längst ned på sidan. Rullgardinsmenyerna i hjälpavsnittet gör att avsnittet blir lättöverskådligt och omnämndes som extra positivt av blinda personer. Fördelen är att med en sådan meny så läses resultatet upp i direkt anslutning till den hjälprubrik som har aktiverats. I det tredje uppdraget testades särskilt hjälpfunktionen genom att den e-legitimation som testpersonerna skulle använda för inloggning inte fanns med i listan. Lösningen på problemet var att lokalisera hjälpfunktionen och därunder Min e-legitimation finns inte i listan alternativt att notera Min e-legitimation finns inte i listan efter att sökfunktionen inte har gett svar. Det här visade sig vara det svåraste uppdraget. Tidsåtgången för att lösa uppdraget översteg i flera fall fem minuter och uppdraget kunde slutföras först efter att testledaren hade guidat personerna genom att ställa konkreta frågor om vad de skulle göra i en sådan situation. De flesta slutförde således inte uppdraget att hitta Min e-legitimation finns inte i listan. 16 (31)
Figur 10. Sökresultat när e-legitimation inte finns i listan, prototyp version 1. Under de tre sista testerna i testomgång 1 användes version 3 av prototypen. I den hade Min e-legitimation finns inte i listan omformulerats till Jag hittar inte min e-legitimation och den hade lyfts upp från det grå fältet till att vara ett alternativ i listan med samtliga e- legitimationer (se Figur 11). Testpersonerna upptäckte också något snabbare att e- legitimationen inte fanns och valde därför att gå vidare till hjälpavsnittet en av testpersonerna noterade också Jag hittar inte min e-legitimation i listan med alla e- legitimationer. 17 (31)
Figur 11. I version 3 av prototypen har Jag hittar inte min e-legitimation flyttats upp till listan med alla e-legitimationer. En bidragande orsak till att uppdraget var svårt och tog lång tid att genomföra, kan vara att testpersonerna litade på att instruktionen från testledaren skulle fungera. Det är mycket möjligt att testpersonen under normala omständigheter hade kommit till slutsatsen att e- legitimationen saknades och sökt sig till hjälpfunktionen tidigare. Det är dock svårt att se hur denna del av tjänsten skall kunna testas utan att uppdraget prepareras med missvisande instruktioner. En del testpersoner stannade på sidan men sade att de i normala fall hade lämnat den helt och sökt information om problemet utanför tjänsten. Figur 12. Sökresultat version 8 Vad gäller informationsinnehållet i hjälpfunktionen (se Figur 13) fungerar det bra för de flesta. Testpersoner med koncentrationssvårigheter och dyslexi hade dock svårt att använda den. En av testpersonerna läste hjälpinnehållet högt flera gånger, och det var tydligt att testpersonen inte avslutade meningarna. Hjälprubriker som är fullständiga meningar kan således fungera mycket bra för många, men dåligt för personer med koncentrationssvårigheter. 18 (31)
Figur 13. Hjälpfunktionen i version 1 av prototypen Den är bra, det ska inte vara för mycket information. Det är för mycket information, jag hoppar mellan raderna. 3.5. Klara och tydliga svar på sökfrågor är viktiga för alla användare I stort sett alla testpersoner scrollade snarare än sökte när de skulle leta efter sin e- legitimation. Det visade sig att några, som senare uppgav att de föredrar att söka, inte noterade sökrutan. En av de engelskspråkiga personerna valde att scrolla på grund av osäkerhet om stavningen. Uppdrag 2 var designat för att ta reda på hur testpersoner beter sig när den bank de skall använda för att logga in inte ligger bland de mest använda. Alla testpersoner scrollade, oavsett målgrupp och oavsett datorvana. De flesta har med andra ord identifierat listan som alfabetisk. Ingen började med att söka, trots att sökrutan ligger ovanför den alfabetiska listan. En testperson använde sökfunktionen som andra alternativ, eftersom den först inte upptäckte den efterfrågade banken i listan. Sökfunktionen är svår att upptäcka, och sökresultatet är otydligt. I den avslutande frågedelen ställdes frågor om varför de inte hade valt att använda sökfunktionen, testledaren visade också hur den fungerade. Flera hade inte noterat den, och någon föreslog att den skulle stå med som ett alternativ i listan av mest använda. De som hade noterat den, och testat den någon gång under uppdragen, hade problem med att sökresultatet inte var tydligt. Antingen doldes det under tangentbordet på telefonen eller så noterade testpersonen inte resultatet för att det presenterades diskret. Ett annat problem med sökfunktionen under testerna var att när testpersonerna tryckte på retur efter att ha skrivit in sökordet, så försvann resultatet och hela listan fälldes ihop. Det är ett problem som ligger i prototypen. Till version 3 av prototypen, som testades i de tre avslutande testerna i testomgång 1, hade sökfunktionen ändrats något. Den var fortfarande för diskret för att testpersonerna skulle använda den spontant alla scrollade i listan. På uppmaning av testledaren testades sökfunktionen efter att alla uppdrag var avklarade. Två testpersoner tyckte att det var en bra 19 (31)
sökfunktion när den letade i listan baserat på tre bokstäver. Ingen noterade resultatet när den e-legitimation som söktes inte fanns i listan. I senare prototyper utvecklades sökfunktionen vidare, men det var fortfarande många som inte noterade att den fanns, och det var också många som hade svårt att se sökresultatet särskilt när resultatet var negativt. Det uppfattades som för diskret. Flera personer ur olika målgrupper tyckte att det var positivt med svar efter tre bokstäver, det gäller särskilt de som har svårt att skriva ut hela ord (t.ex. afasi, dyslexi, ADHD). För de blinda personer som använde talsyntes hördes inte att man väntar eller att sökresultat har kommit. Det är en målgrupp som är särskilt beroende av bra sökfunktioner eftersom scrollandet är besvärligt och tar lång tid när all text läses upp. När testpersonen har punktskriftsdisplay är inte problemet med att resultatet inte hörs lika stort. Problemen med sökfunktionen kunde åtgärdas snabbt av utvecklarna och senare prototyper fungerade bättre i sökfunktionen. 3.6. Tiden som tillbringas på anvisningstjänsten Datorvana spelar roll för hur snabbt en testperson agerar på sidan. Testpersoner med hög datorvana är snabba och läser oftast inte all information innan de agerar. I allmänhet tar det längre tid för blinda personer att hitta den information som krävs, även om de har hög datorvana. Informationen läses upp och de tar längre tid än det gör för personer som kan se sidan. Ett av designmålen är att sidan skall vara snabb, det har i utvecklarens designbrief tolkats som att användarna skall tillbringa max 20 sekunder på anvisningstjänsten. Detta mål uppfylls helt i det första uppdraget när e-legitimationen finns bland de mest använda (se Tabell 3). Också i uppdrag 2 scrollar de flesta testpersonerna snabbt fram till rätt e-legitimation och kan logga in inom 10-20 sekunder. De testpersoner som tog längre tid på sig, missade helt enkelt den eftersökta e-legitimationen när de scrollade. Tabell 3. Tid tillbringad på anvisningstjänsten i sekunder Version 1 Version 3 Version 4 Version 5 Version 7 Version 8 Medelvärde Uppdrag 1 5-10s 5 5 3-5 5-15 5 6 Uppdrag 2 10-120 10-60 20 5-180 30-300 10-120 48 Uppdrag 3 60-300+ 75-180+ 120 30-300 75-300 120-300 183 Antal testpersoner 7 3 1 14 6 7 37 Den genomsnittliga tiden som tillbringades på anvisningstjänsten i varje uppdrag visar små skillnader mellan testomgångarna från och med prototypversion 3 (se Tabell 4). 20 (31)
Tabell 4. Genomsnittlig tid på anvisningstjänsten i sekunder Version 1 Version 3 Version 4 Version 5 Version 7 Version 8 Uppdrag 1 7 5 5 5 10 5 Uppdrag 2 48 28 20 40 114 19 Uppdrag 3 252 150 120 151 159 140 Antal testpersoner 7 3 1 14 6 7 Uppdrag 2 visade att sidans sökfunktion och listans utformning inte fungerade bra för blinda personer. När de sökte efter den efterfrågade banken blev inte sökresultatet tydliggjort för dem, vilket ledde till att de tryckte på sökknappen, varvid sökresultatet försvann. De övergick då till att scrolla i listan, vilket tar lång tid när e-legitimationen som efterfrågades var SEB och fanns långt ner i den alfabetiska listan. Det gjorde att det tog lång tid att avsluta uppdrag 2, vilket specifikt påverkar resultatet för prototypversion 7 som testades av blinda personer. I det sista uppdraget tog det längre tid att hitta rätt väg fram; den eftersökta e-legitimationen finns inte i listan. Uppdraget ansågs fullgjort när testpersonen har nått till hjälpfunktionen och läst under Min e-legitimation finns inte i listan, eller som den heter från och med version 3 av prototypen Jag hittar inte min e-legitimation. Som nämnts tidigare, kan det bero på testomständigheterna att testpersonerna inte tar till sig informationen och förstår att deras e-legitimation inte finns i listan. Testpersonerna litar på att uppdraget från testledaren skall fungera och blir antagligen mer passiva än de skulle ha varit under normala omständigheter. 3.7. Om logotypernas placering och att kommunicera med bilder Placeringen av logotyper högst upp på sidan förbättrade testpersonernas möjlighet att identifiera avsändaren och visade också tydligt på vilken myndighetssida som testpersonen var på väg att logga in på. Under testerna med personer som är blinda lästes det inte upp vilken sida som de kom till. Det gjorde en del av testpersonerna osäkra på var de befanns sig det var inte tydligt att de hade lämnat myndighetssidan och kommit till en ny sida. Inom målgruppen med dyslexi och inom gruppen med ADHD förekom det önskemål om ökad bildanvändning, t.ex. att det skall vara logotyper vid namnet i listan. En annan kommentar var att animationer, istället för texter, kan användas för att beskriva vad som skall göras. Kännedomen om Svensk e-legitimation var inte så hög. Det identifierades som avsändare i vissa fall, och i vissa fall som information om att sidan innehåller e-legitimationer. En ökad kännedom om Svensk e-legitimation och eventuellt om e-legitimationsnämnden skulle kunna öka förtroendet för sidan. 21 (31)
Bilaga 1 Diskussionsguide användartester e-tjänster 1. Introduktion (5-10 min) Välkommen hit. Tack för att du tagit dig tid att komma. Mitt namn är. Målet med de här användartesterna är att testa hur väl olika e-tjänster på offentliga myndigheter fungerar. Projektet genomförs på uppdrag av Post- och Telestyrelsen. Användartester är en kvalitativ undersökningsmetod som kan genomföras individuellt med en testperson eller i grupp med fyra till sex testpersoner. Syftet med användartester är att utvärdera en produkt genom att belysa användarnas attityder, beteenden och åsikter. Testet varar i ca 2 timmar 2. Du kommer ges tre uppdrag på olika myndigheter. Jag vill att du berättar för mig vad du gör och vilka potentiella problem du har/ har haft när du utfört uppgiften. Under tiden kommer jag att titta på det du gör och notera dina kommentarer. Efter varje delmoment kommer jag att stoppa dig för att ställa följdfrågor. Målgrupp för undersökningen är personer som är synskadade, personer med kognitiv funktionsnedsättning, personer med psykisk funktionsnedsättning, personer med förvärvad hjärnskada, personer med läs- och skrivsvårigheter, personer med rörelsenedsättning, äldre personer, personer med engelska som modersmål samt svenskspråkiga personer utan funktionsnedsättning. I projektet kommer ca 40 användartester att genomföras. Min roll är att ställa frågor och lyssna. Jag är inte expert. Jag är opartisk. Jag är intresserad av att höra din åsikt. Det finns inga åsikter, attityder eller föreställningar som är rätt eller fel. Det är e- tjänsterna jag testar, inte er. En rapport kommer att skrivas baserad på användartesterna. Alla deltagare kommer att vara anonyma, dvs. ditt namn kommer inte att föras vidare. 2 Detta var den tid testet uppskattades att ta innan de första testerna hade påbörjats. Den faktiska tiden visade sig variera mycket mellan testpersonerna, från 45 minuter för en del personer utan påvisad funktionsnedsättning, till ca 90 minuter för enskilda testpersoner. 22 (31)
2. Deltagarpresentation och bakgrundsfrågor (5 min) Namn, ålder, kön, språk Funktionsnedsättning (frågan ställs bara om det inte framgår av rekryteringen)? Hur bedömer du att din funktionsnedsättning påverkar din användning av e- tjänster hos myndigheter? Vilken vana har du av att använda dator? Under medel, medel eller över medel? Vilken vana har du av att använda myndigheters e-tjänster? Under medel, medel eller över medel? Vilken vana har du av att använda e-legitimation? Under medel, medel eller över medel? Vilken plattform brukar du använda för e-tjänster? (telefon, surfplatta, dator?) Använder du några hjälpmedel som t.ex. skärmläsarprogram/talsyntes för att surfa på internet? Ange vilken enhet samt browser som används under testet. 23 (31)
Uppdrag Försäkringskassan ta reda på om ansökan om föräldrapenning har godkänts I det här uppdraget skall du gå till Försäkringskassans hemsida och där skall du ta reda på om ansökan om föräldrapenning har godkänts. Det kommer att göras i tre delmoment. Efter varje moment kommer jag att stoppa dig för en kort utvärdering. Moment 1 - myndighetssidans inloggning (3 min) Lokalisera inloggningssidan på myndighetssidan, notera hur lång tid det tar och om testpersonen fastnar vad fastnar den på? Syfte: att testa hur enkelt det är att hitta till inloggningssidan, notera hur lång tid det tar 1. Upplevde du att det var svårt eller enkelt att lokalisera inloggningen? Varför? 2. Är det något annat som gör det svårt att hitta till inloggningen? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 3. Vem skulle du kontakta om du behövde hjälp? 4. Är det något annat du reagerar över när det gäller moment 1? Moment 2 använd Mobilt BankID för att logga in (3 min) Testpersonen skall hitta den angivna e-legitimationen i listan. Notera tidsåtgång och om testpersonen fastnar någonstans på vad? Varför? Skriv ner kommentarer och beteende. Syfte: att testa hur enkelt eller svårt det är att hitta den egna/den angivna e- legitimationen på sidan 5. Upplevde du att det var svårt eller enkelt att hitta rätt e-legitimation? Varför? 6. Är det något annat som gör det svårt att hitta rätt e-legitimation? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 7. Vem skulle du kontakta om du behövde hjälp? 8. Är det något annat du reagerar över när det gäller moment 2? Moment 3 Slutför uppdrag på myndighet (3 min) Testpersonen ska testa att använda e-tjänsten på myndigheten. Notera tidsåtgång och om testpersonen fastnar på vad? Varför? Syfte: att testa hur enkelt eller svårt det är att använda e-tjänsten. 9. Upplevde du att det var svårt eller enkelt att slutföra uppdraget? Varför? 24 (31)
10. Är det något annat som gör det svårt att hitta slutföra uppdraget? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 11. Vem skulle du kontakta om du behövde hjälp? 12. Är det något annat du reagerar över när det gäller moment 3? Avslutande frågor Uppdrag 1: Moment 1-3 (5 min) 13. Var det något av delmomenten som du reagerade på? Varför? 14. Hur tycker du att hela uppdraget var att genomföra? Var det enkelt eller svårt? 25 (31)
Uppdrag - Beställ personbevis på Skatteverket I det här uppdraget skall di gå till Skatteverkets hemsida för att logga in och beställa personbevis. Det kommer att ske i 3 delmoment och precis som i föregående uppdrag kommer jag att stoppa dig och ställa frågor efter varje moment. Moment 1 - myndighetssidans inloggning (3 min) Lokalisera inloggningssidan på myndighetssidan, notera hur lång tid det tar och om testpersonen fastnar vad fastnar den på? Syfte: att testa hur enkelt det är att hitta till inloggningssidan, notera hur lång tid det tar 15. Upplevde du att det var svårt eller enkelt att lokalisera inloggningen? Varför? 16. Är det något annat som gör det svårt att hitta till inloggningen? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 17. Vem skulle du kontakta om du behövde hjälp? 18. Är det något annat du reagerar över när det gäller moment 1? Moment 2 använd SEB BankID för att logga in (3 min) Testpersonen skall hitta den angivna e-legitimationen i listan. Notera tidsåtgång och om testpersonen fastnar någonstans på vad? Varför? Notera kommentarer och beteende. Syfte: att testa hur enkelt eller svårt det är att hitta den egna/den angivna e- legitimationen på sidan 19. Upplevde du att det var svårt eller enkelt att hitta rätt e-legitimation? Varför? 20. Är det något annat som gör det svårt att hitta rätt e-legitimation? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 21. Vem skulle du kontakta om du behövde hjälp? 22. Är det något annat du reagerar över när det gäller moment 2? Moment 3 Slutför uppdrag på myndighet (3 min) Testpersonen ska testa att använda e-tjänsten på myndigheten. Notera tidsåtgång och om testpersonen fastnar på vad? Varför? Syfte: att testa hur enkelt eller svårt det är att använda e-tjänsten. 23. Upplevde du att det var svårt eller enkelt att slutföra uppdraget? Varför? 24. Är det något annat som gör det svårt att hitta slutföra uppdraget? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 26 (31)
25. Vem skulle du kontakta om du behövde hjälp? 26. Är det något annat du reagerar över när det gäller moment 3? Avslutande frågor Uppdrag 2: Moment 1-3 (5 min) 27. Var det något av delmomenten som du reagerade på? Varför? 28. Hur tycker du att hela uppdraget var att genomföra? Var det enkelt eller svårt? Uppdrag - Logga in på Stockholms stad och starta din studieplanering I det här uppdraget skall du logga in på Stockholms stad och starta din studieplanering. Moment 1 - myndighetssidans inloggning (3 min) Lokalisera inloggningssidan på myndighetssidan, notera hur lång tid det tar och om testpersonen fastnar vad fastnar den på? Syfte: att testa hur enkelt det är att hitta till inloggningssidan, notera hur lång tid det tar 29. Upplevde du att det var svårt eller enkelt att lokalisera inloggningen? Varför? 30. Är det något annat som gör det svårt att hitta till inloggningen? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 31. Vem skulle du kontakta om du behövde hjälp? 32. Är det något annat du reagerar över när det gäller moment 1? Moment 2 använd Länsförsäkringar BankID för att logga in (5-10 min) Testpersonen kommer inte att hitta den angivna e-legitimationen i listan. Notera tidsåtgång och om testpersonen fastnar någonstans på vad? Varför? Hur reagerar den när e-legitimationen inte finns? Notera kommentarer och beteende. Syfte: att testa hur enkelt eller svårt det är att hitta den egna/den angivna e- legitimationen på sidan 33. Upplevde du att det var svårt eller enkelt att hitta rätt e-legitimation? Varför? 34. Är det något annat som gör det svårt att hitta rätt e-legitimation? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 35. Vem skulle du kontakta om du behövde hjälp? 36. Är det något annat du reagerar över när det gäller moment 2? 27 (31)
Moment 3 Slutför uppdrag på myndighet (3 min) Testpersonen ska testa att använda e-tjänsten på myndigheten. Notera tidsåtgång och om testpersonen fastnar på vad? Varför? Syfte: att testa hur enkelt eller svårt det är att använda e-tjänsten. 37. Upplevde du att det var svårt eller enkelt att slutföra uppdraget? Varför? 38. Är det något annat som gör det svårt att hitta slutföra uppdraget? Exempelvis hur informationen presenteras och/eller är lokaliserad, hur programmet är uppbyggt, färger eller storlek på text? 39. Vem skulle du kontakta om du behövde hjälp? 40. Är det något annat du reagerar över när det gäller moment 3? Avslutande frågor Uppdrag 3: Moment 1-3 (5 min) 41. Var det något av delmomenten som du reagerade på? Varför? 42. Hur tycker du att hela uppdraget var att genomföra? Var det enkelt eller svårt? 28 (31)
Avslutande frågor Alla uppdrag (10-15min) Undersök hur testpersonen uppfattade användargränssnittet för anvisningstjänsten öppna sidan igen och gå igenom den. Syfte: att ta reda på om testpersonen tycker att användargränssnittet fungerar 43. Nu när du har genomfört alla uppdrag, finns det något du kan/vill lägga till om den här delen av uppdraget. 44. Vem kan du vända dig till om du vill ha hjälp på den här sidan? 45. Generella kommentarer och reflektioner. Ställ explicita nedanstående explicita frågor 46. Vad tycker du om sidans disposition? ( Mest använda högst upp) 47. Vad tycker du om färg, kontraster, form, fontstorlek? 48. Vad tycker du om texterna i hjälpfunktionen? Fungerar hjälpfunktionen bra? Om testpersonen har haft svårt att använda eller lokalisera SÖK, HJÄLP eller AVSÄNDARE ställ avslutande frågor om det. 29 (31)
Bilaga 2 Diskussionsguide engelska Interview guide Welcome, my name is. We are carrying out usability tests for The Swedish Post and Telekom Authority. During October and November we carry out about 40 tests with ten different target groups; native English speakers is one of our target groups. During this test I will ask you to perform three tasks and I would like you to think out loud as you do so. I will take notes and observe your behavior. However, I am not testing you, I am testing the e-service log in, and observing your behavior means I will find out more about problems and the usefulness of the site we are testing. There will be a report produced and sent to the PTS, all names will be removed so the participation here is anonymous. First I will ask some questions, then we proceed to the tasks. I will ask questions during the tasks and at the end of each task. Finally we will discuss the whole test. All tasks are performed on the same authority (Försäkringskassan) but different banks will be used. Task 1 Task: Log in to the e-services using Mobilt BankID - Questions: How did you perceive the task? Did you find anything that was particularly difficult or easy? How would you judge the difficulty in finding the log in and choosing the e-id? Task 2 Log in to the e-services using SEB Questions: How did you perceive the task? Did you find anything that was particularly difficult or easy? How would you judge the difficulty in choosing the e-id? Task 3 Log in to the e-services using Bank of Scotland Questions: 30 (31)
How did you perceive the task? Did you find anything that was particularly difficult or easy? How would you judge the difficulty in choosing the e-id? After completing all three tasks, discuss the functionality of the page Final questions Questions: How did you perceive the help instructions? What do you think of the search function? What is your overall impression of the page? Other comments? 31 (31)