TDDD60 användbarhetstest Olika syften Olika typer av metoder Mått på användbarhet/kravuppfyllelse Olika syften Hitta användbarhetsproblem för att förbättra (mål: åtgärda problem, förbättra produkten) Formativ utvärdering Beskriva nivån av användbarhet (mål: bevisa att produkten uppfyller ställda krav eller jämföra olika produkters användbarhet). Summativ utvärdering 1 2 Med eller utan användare Inspektionsbaserade utvärderingsmetoder någon representation av systemet granskas av en expert Användartest användare prövar prototyp eller produkt När passar vilken typ? Formativ Formativ Formativ Designförslag (skisser, bilder...) Detaljdesign (storyboard scenario) Prototyp (Hi-Fi eller Lo-Fi) Formativ Summativ Fungerande system Inspektions metoder Inspektions metoder Inspektions metoder Inspektions metoder 3 Användartest Användartest 4
Heuristic Evaluation Inspektionsmetod Baseras på heuristiker Expert granskar systemrepresentation Metod Välj heuristik att använda 1-5 användbarhetsexperter får en representation av systemet (specifikation, skisser, prototyp, scenario) Experterna utforskar systemet för att bekanta sig Experterna granskar systemet mot heuristiker och noterar avvikelser och problem Sammanställ och analysera data 5 6 Ex: Nielsens 10 heuristiker Resultat: upptäckta problem Visibility of system status Match between system and real world User control and freedom Concistency and standards Error prevention Recognition rather than recall Flexibility and efficiency of use Esthetic and mimilalist design Help users recognise, diagnose and recover from errors Situationer eller lägen där systemet inte följer heuristikerna ex: laddning av bild 3 kan ta tid, visa pågående aktivitet ex: bild 3 har rubriken Skriva medan menyvalet som leder dit heter Utskrift Not: alla problem uppfattas inte som problem av användare Not: Experterna hittar inte alla problem 7 8
Sammanställning av resultat Sammanställ alla problem som hittats Gradera på: Frekvens (hur ofta kommer problemet att inträffa) Effekt (hur svårt är det att lösa) Envishet (är det bara ett problem första gången det inträffar eller varje gång) Prioritera åtgärder (formativ utv) 9 10 Sätt användaren framför systemet (eller en prototyp) Ge användaren en uppgift Observera (Intervjua) Användartest 11 Roller vid testning av prototyp Användare - försöker lösa en given uppgift genom att interagera med system/prototyp Testledare - styr testsessionen, ger instruktioner, ställer intervjufrågor osv Obseratör - antecknar under tystnad OM test av pappersprototyp behövs Dator - en person som känner till programlogiken och styr gränssnittet. 12
Försökspersoner Tar tid att identifiera, kontakta, schemalägga! Urval: välja användare som representerar målgruppen (screening). Antal: 5-10 per gång vid formativ utvärdering, 20-40 vid summativ utvärdering. Boka minst 10% extra, räkna med att några inte dyker upp! Testuppgifter Baserade på scenarier som använts vid design (representativa uppgifter) Texten ska beskriva VAD som ska uppnås, inte HUR! (ex sökkriterier i detalj men inte hur de matas in) Ge träning (om det inte är walk-up-and-use ) Ge uppgifter en i taget (separata papper) Totalt inte mer än 1 timme (trötthet). 13 14 Exempel: Reseplaneringssystem Uppgift 1: Du håller på att planera familjens nästa resa till Teneriffa. Du söker ett passande hotell. På förstasidan i LocalGuide väljer du fliken hotell. Klicka på knappen sök-kriterier och fyll i antal stjärnor du vill att hotellet ska ha och avstånd till stranden respektive shopping i två av textfälten, och kryssa i hiss-rutan. Tryck sedan på Hitta Hotellknappen. Bättre version: Uppgift 1: Du håller på att planera familjens nästa resa till Teneriffa. Du söker ett passande hotell. Du vill att hotellet ska ligga max 300 m från stranden, men ändå inte mer än 1 km från något shoppingcenter. Det ska också ha minst 3 stjärnor och hiss så att farmor inte behöver gå i trappor. 15 16
Pilot-testa!!! Viktigt! pröva uppgifterna och prototypen Påminn användaren att det är systemet som testas, inte användaren! ALDRIG försvara (eller förklara) designen inför användaren! Etik - informed consent Formativt användartest Observera hur användaren agerar (tänka-högt) tvekan, felaktiga åtgärder, frågor... Hitta problem Klarat uppgiften? Varför inte? Tagit tid? Varför? Fråga om åsikter och kommentarer Hur tänkte du i situation X? Var hade du väntat dig att hitta funktionen Y? 17 18 Ex: Eyetracking Var tittar användaren egentligen? 19 20
Allvarlighetsgrad Få fp upplever ett Många fp upplever problem ett problem Liten påverkan på Låg allvarlighetsgrad Medel användarupplevelsen allvarlighetsgrad Stor påverkan på Medel användarupplevelsen allvarlighetsgrad Hög allvarlighetsgrad 21 22 Very easy Förväntansmått Förväntan-diagram Var svårt Fråga, för varje uppgift, hur svårt personen FÖRVÄNTAR sig att det ska vara. Fråga igen efter genomförd uppgift, hur svårt det VERKLIGEN var. Använd skala från lätt... svårt (ex sju graderingar) Plotta (scatterplott) 7 5,25 3,5 1,75 Var lätt 0 0 1,75 Förväntat lätt 23 3,5 5,25 7 Förväntat svårt 24
Prestandamått Summativ användartest uppgiftsresultat, tid, fel, antal knapptryckningar... Problembaserade mått antal problem, typ av problem... Åsikter, uppfattningar verbalt beteende, ansiktsuttryck... intervju, enkät ex SUS snabbhet Mäta mot mål/krav Att ändra telefonnummer för befintlig post ska inte kräva mer än 4 interaktioner (icke räknat själva telefonnumret) Att ändra telefonnummer för befintlig post ska inte ta mer än 20 sekunder Att ändra telefonnummer för befintlig post ska gå fortare än det gamla systemet 25 26 lätt Mäta mot krav Användaren ska inte göra några improduktiva interaktioner under försöket att ändra ett befintligt telefonnummer. Användaren ska kunna ändra telefonnummret utan att behöva fråga om hjälp. Minst 75% av försökspersonerna ska ge betyg 4 eller 5 på lättheten (givet en skala från 1-väldigt svårt till 5-väldigt lätt) 27 Mäta åsikter summativt intervju/enkät ex SUS - System Usability Scale 28
Presentera och tolka resultat Är dessa skalor lika: Den övre är ORDINAL. Man kan inte beräkna medelvärden, bara svarsfrekvens Den undre KAN uppfattas som ett intervall. Man KAN beräkna medelvärde. 29 30 Medelvärden, standardavvikelse Medelvärde genomsnitt Standardavvikelse Hur stor spridning värdena har 10, 20, 30, 40, 50 har medel 30 28, 29, 30, 31, 32 har också medel 30 standardavvikelse 16 respektive 1,6 Konfidensintervall antag att detta är tidsdata för en studie med 5 användare Vad betyder det? 31 32
Konfidensintervall 60 Diagram 6 Alla möjliga användare Dina försökspersoner 95% konfidensintervall= med 95% säkerhet kommer medelvärdet för ALLA användare att hamna inom detta intervall kring medelvärdet från dina försökspersoner 33 Medel Upg1 Upg2 10 28 20 29 30 30 40 31 50 32 30 30 45 30 15 0 p1 p2 p3 p4 p5 34 Konfidensintervall Konfidensintervall I excel: =Confidence(<alpha>, <stddev>, <n>) alpha är normalt 0.05 (ger 95% konfidensintervall) stdev=standardavvikelse n= antal värden att beräkna på 35 36
Uppgift 2 del 2: Användbarhetstest Användartest 1 testanvändare/gruppmedlem, ej datastudenter Användbarhetsmått? Tid? Framgång? Attityd? Resultat: mall Usability.gov Designförändringar Uppdatera er personahypotes (för- och eftertestfrågor) (mål och beteendemönster) 37