Användbarhetstestning. Samla in, analysera och presentera användbarhetsmått

Transkript

1 Användbarhetstestning Samla in, analysera och presentera användbarhetsmått

2 SUMMATIV UTVÄRDERING

3 Formativ studie Frågeställningar Vilka är de viktigaste användbarhetsproblemen? Vilka aspekter av produkten funkar bra för användarna? Är det något som frustrerar dem? Vilka är de vanligaste felen som användare gör? Blir produkten bättre för varje iteration? Summativ studie Har användbarhetsmålen uppnåtts? Nya produkten effektivare än nuvarande? Jämförelse med konkurrerande produkter?

4 Antal användare Målsättningen med testet Tolerans av felmarginal Antal lyckade Antal fp Nedre 95% konfidensintervall Övre 95% konfidensintervall % 98% % 95% % 95% % 91% % 89% % 86%

5 Terminologi 1 Within-subjects Between-subject Balansera för ev inlärning mellan uppg Fp Uppg 1 Uppg 2 Uppg3 Uppg 4 Fp1 U1 U2 U3 U4 Fp2 U3 U1 U4 U2 Fp3 U2 U4 U1 U3 Fp4 U4 U3 U2 U1

6 Terminologi 2 Oberoende variabel det man manipulerar eller kontrollerar, t ex Karaktäristik hos fp (ålder, kön, relevant erfarenhet) Olika lösningar eller prototyper som testas Uppgifter Beroende variabel det man mäter, t ex Task success Tid SUS score

7 Datatyper Nominal (kategorisk) Ordinal Intervall Ratio T ex Man, kvinna; Design A, Design B T ex Rangordning av 4 designer, från Mest vacker till Minst vacker Tex 7-punksskala av instämmande: Denna design är vacker. Instämmer helt Instämmer inte alls T ex Tid, Task success %

8 Datatyper Är dessa skalor Lika? Den övre är ordinal. Beräkna bara svarsfrekvens. Den undre kan betraktas som intervall. Du kan beräkna medelvärde.

9 Konfidensintervall Antag att detta är din tidsdata för en studie med 5 användare Vad betyder det?

10 Konfidensintervall

11 Visa felstaplar

12 Hur visa felstaplar?

13 Användbarhetsmått Prestandamått Uppgiftsframgång, tid, fel Problembaserade mått Antal problem, typ av problem Beteende- och psykologiska mått Verbalt beteende, ansiktsuttryck Självrapporterade mått Förväntningsmått, SUS

14 Koppling till effektmål Spara 100kr/vecka/familj Äta minst 3 fiskrätter per vecka Veckoplanera på max 3 minuter Spara pengar Äta hälsosamt Spara tid Slänga mindre mat Varför? - Effektmål Hur? - Produktmål planeatsmile.com Inspiration och idéer Kunskap Verktyg för kostplanering Receptförslag Matbilder Faktatexter Tips Kalender Inköpslista Närodlat Slängd mat Drag-n-drop av recept till kalender Slå ihop ingredienser från flera recept

15 Mätning av ändamålsenlighet?

16 Antal deltagare

17

18

19 Beteende och psykologiska mått Verbalt beteende Ansiktsuttryck Eye-tracking Pupillrespons Hjärtfrekvens

20 Eye-tracking

21

22

23 Eye-tracking video 1

24 Eye-tracking video 2

25 Eye-tracking-analys 1

26 Eye-tracking-analys 2 Top banner Get it Done Online Tools Main Body News/ Features

27 Självrapporterade mått Förväntningsmått SUS-skalan CSUQ-skalan QUIS-skalan

28 Förväntningsmått Fråga fp om förväntad svårighetsgrad, innan de utför uppgiften Fråga efteråt hur lätt/svårt det verkligen var, omedelbart efter varje uppgift Använd 7-punkts skala i båda fallen Väldigt lätt till Väldigt svårt

29

30 För varje uppgift, beräkna två medelvärden Medel för förväntningsvärdet Medel för upplevelsevärdet Visualisera datat som en scatterplot med två axlar Förväntningsvärde Upplevelsevärde De fyra kvadranterna är intressanta

31

32 SUS system usability scale Utvecklat vid DEC Består av 10 frågor Kan byta ut website mot system mot produkt

33

34

35

36 SUS - sammanräkning SUS resulterar i ett helhetsvärde. Värden för individuella frågor säger inget. Beräkning: Varje frågas värde varierar mellan 0 och 4 Fråga 1, 3, 5, 7, och 9 bidrar med positionen minus 1 Fråga 2, 4, 6, 8 och 10 bidrar med 5 minus positionen Multiplicera summan för alla 10 frågor med 2.5 för helhetsvärdet. SUS värden varierar mellan 0 och 100

37 Beräkningsexempel

38 Varför just SUS?

39 Forts. Upplägg 123 användare testade 2 system (alla testade båda) 5 olika enkäter Varje användare fyllde i samma enkät för båda systemen Ca 25 användare per enkät Resultat Alla 5 enkäter visade att ett av systemen var signifikant bättre än det andra En mängd samples slumpades ut från enkätsvaren (6-14 personer per enkät) Hur många % av respektive enkäts sample visade att rätt system var bättre än det andra?

40 Frequency Varför just SUS? Frequency Distribution of SUS Scores for 129 Conditions from 50 Studies <= Average SUS Scores

41 Förberedelser inför summativ utvärdering av produkt