Användbarhetstest: Vad ska ni göra? Utvärdering Mattias Arvola Institutionen för datavetenskap Användbarhetstest med pappersprototyp 4 eller 6 användare som testar 3 eller 5 uppgifter Balansera ordningen på uppgifterna. I den mån det går. Obligatoriskt att använda problembaserat mått: Kvalitativt: vilka är problemen och hur allvarliga är dem? Kvantitativt: hur många problem i varje uppgift och hur många stöter på dem? Rekommenderat att mäta uppgiftsframgång och SUS Rekommenderat att ha med konfidensintervallet Omdesign för de allvarligaste problemen för bonuspoäng 2 Användare utför realistiska uppgifter i prototypen/ systemet Observationer, tänka högt kompletteras med intervjuer Användbarhetstestning /#6,0'7%( #8*96*7-3(!"#$%&#'( Användbarhetstestning kontra heuristisk utvärdering :'*;090$.( $#'734( /#6,0'7%( #8*96*7-3( )*+#,( +,-$-$.+#'( :'*;090$.( $#'734( /#6,0'7%( #8*96*7-3( /010( +,-$-$.+#'( :'*;090$.( $#'734( /#6,0'7%( #8*96*7-3( 2-,"034( '.'$#5( 3 4 >2::?@.6;;3A::.:;.",-./0123.3" #!!" +!" *!" )!" (!" '!" &!" %!" $!" #!"!" B51A56C7@=.3;3.;3525<" D.E@2;0;/"E31A@6.@25<" 456789:;.5:2<=.3" Frågeställningar i en formativ utvärdering Vilka är de viktigaste användbarhetsproblemen? Vilka aspekter av produkten funkar bra för användarna? Är det något som frustrerar dem? Vilka är de vanligaste felen som användare gör? Blir produkten bättre för varje iteration? 5 6
Frågeställningar i en summativ utvärdering Har användbarhetsmålen uppnåtts? Nya produkten effektivare än nuvarande? Jämförelse med konkurrerande produkter? Användare försöker lösa en given uppgift genom att interagera med prototypen Dator känner till programlogiken och styr gränssnittet. Simulerar datorns respons utan kommentarer Roller vid testning Testledare styr testsessionen, ger instruktioner till användaren och efterfrågar åsikter och tankar. Observatör antecknar under tystnad 7 8 Formulering av uppgifter En lagom mängd uppgifter formuleras Ska representera det som användaren förväntas använda systemet till Hela testet bör inte ta mer än max en timme, inklusive enkäter, intervjuer etc Ges till användaren en i taget på separata papper Måste ligga på rätt detaljnivå Får inte ge för mycket ledtrådar Ska beskriva vad användaren ska göra, inte hur 9 10 Att tänka på Etiska frågor Praktiska förberedelser Icebreaking Träning om det behövs Försvara aldrig designen inför användaren Gör alltid en pilotstudie med ett par personer 11 12
Kriterier för att välja deltagare Självrapporterad expertis T.ex. nybörjare, medel, expert, Användningsfrekvens Antal besök per månad Mängd erfarenhet Dagar, månader, år Aktiviteter Använt speciell funktion Balansera för eventuell inlärning mellan uppgifter!" #""$%&'( #""$%&') #""$%&'* #""$%&'+!"# $# $% $& $'!"% $& $# $' $%!"& $% $' $# $&!"' $' $& $% $# 13 14 Konfidensintervall Konfidensintervall Antag att detta är din tidsdata för en studie med 5 användare. Vad betyder det? 15 16 95% konfidensintervall Visa felstaplar Jag är 95% säker på att medelvärdet för alla våra användare blir medelvärdet vi mätt upp ± konfidensvärdet 17 18
Hur visa felstaplar? Användbarhetsmått Prestandamått Uppgiftsframgång, tid, fel Problembaserade mått Antal problem, typ av problem Beteende- och psykologiska mått Verbalt beteende, ansiktsuttryck Självrapporterade mått Förväntningsmått, SUS 19 20 Hur/när ska måtten användas? Beror främst på användbarhetsmålen, men ofta gäller: I en tidig fas är uppgiftsframgång viktigast Uppgiftsframgång kräver att allvarliga problem är undanröjda (problembaserade mått) Upplevelsen viktig vill användaren använda systemet? Fångas in via beteendemått och självrapporterade mått (korrelation dem emellan?) Tid har ofta ett tröskelvärde (men vilket?) Blir därmed binärt (under eller över tröskelvärdet?) Prestandamått Uppgiftsframgång Binärt eller nivåindelat Tid Hur lång tid tar det för en uppgift Fel Vilka eller hur många fel görs per uppgift Effektivitet Tex antal knapptryckningar Lärbarhet Hur ändras prestanda över tid 21 22 Uppgiftsframgång - binärt Uppgiftsframgång - exempel Hitta priset för soffan Älmhult i standardutförande. OK? Undersök olika sätt att pensionspara. OK? Kräver väldefinierade uppgifter med tydliga slutvillkor 23 24
Uppgiftsframgång - exempel Problembaserade mått vad är ett problem? Allt som förhindrar måluppfyllelse Allt som för någon på fel spår Allt som skapar förvirring Allt som skapar ett fel Att inte se något som skulle uppmärksammats Att anta att något är rätt när det inte är det Att anta att en uppgift är klar när den inte är det Att utföra fel funktion Att missförstå något innehåll Att inte förstå navigeringen 25 26 Allvarlighetsgrad Resultat - exempel!,'-"'.""/0102'03' "245/06 7,8$9'-"'.""/0102'03' "245/06 :%;08'",102<98'",' 981=8>92.""/010/?08 ()*+,--.,/-0*1234*/,5 6252-+,--.,/-0*1234*/,5 @;42'",102<98'",' 981=8>92.""/010/?08 6252-+,--.,/-0*1234*/,5 78*+,--.,/-0*1234*/,5 27 28 Resultat - exempel Resultat - exempel 29 30
Resultat - exempel Resultat - exempel 31 32 Bruskällor Antal deltagare Deltagare Uppgifter Metod Artefakt Omgivning Moderatorer 33 34 Beteende och psykologiska mått Verbalt beteende Ansiktsuttryck Eye-tracking Pupillrespons Hjärtfrekvens 35 36
Självrapporterade mått SUS-skalan Förväntningsmått CSUQ-skalan QUIS-skalan SUS system usability scale Består av 10 frågor Kan byta ut website mot system mot produkt 37 38 39 40 SUS - sammanräkning SUS resulterar i ett helhetsvärde. Värden för individuella frågor säger inget. Beräkning: Varje frågas värde varierar mellan 0 och 4 Fråga 1, 3, 5, 7, och 9 bidrar med positionen minus 1 Fråga 2, 4, 6, 8 och 10 bidrar med 5 minus positionen Multiplicera summan för alla 10 frågor med 2.5 för helhetsvärdet. SUS värden varierar mellan 0 och 100 41 42
43 Varför just SUS? 44 Varför just SUS? Frequency Distribution of SUS Scores for 129 Conditions from 50 Studies Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An empirical evaluation of the System Usability Scale. International Journal of Human-Computer Interaction, 24, 574 594. 50 45 40 35 Frequency 30 25 20 15 10 5 0 <=40 41-50 51-60 61-70 71-80 81-90 91-100 Average SUS Scores 45 46 Förväntningsmått Fråga fp om förväntad svårighetsgrad, innan de utför uppgiften Fråga efteråt hur lätt/svårt det verkligen var, omedelbart efter varje uppgift Använd 7-punkts skala i båda fallen Väldigt lätt till Väldigt svårt 47 48
För varje uppgift, beräkna två medelvärden Medel för förväntningsvärdet Medel för upplevelsevärdet Visualisera datat som en scatterplot med två axlar Förväntningsvärde Upplevelsevärde De fyra kvadranterna är intressanta 49 50 Användbarhetstest: Vad ska ni göra? Användbarhetstest med pappersprototyp 4 eller 6 användare som testar 3 eller 5 uppgifter Balansera ordningen på uppgifterna. I den mån det går. Obligatoriskt att använda problembaserat mått: Kvalitativt: vilka är problemen och hur allvarliga är dem? Kvantitativt: hur många problem i varje uppgift och hur många stöter på dem? Rekommenderat att mäta uppgiftsframgång och SUS Rekommenderat att ha med konfidensintervallet Omdesign för de allvarligaste problemen för bonuspoäng www.liu.se 51