Användbarhets- utvärdering. Mattias Arvola

Transkript

1 Användbarhets- utvärdering Mattias Arvola

2 2 Användbarhet enligt LEAF (Shackel, 1986) Lärbarhet Effektivitet Attityd Flexibilitet

3 3 Användbarhet enligt REAL (Löwgren, 1993) Relevans Effektivitet Attityd Lärbarhet

4 4 Användbarhet enligt ISO Den utsträckning i vilken en specificerad användare kan använda en produkt för att uppnå specifika mål, med ändamålsenlighet, effektivitet och tillfredsställelse, i ett givet användningssammanhang Eller snävare som enligt ISO/IEC FDIS : begriplighet lärbarhet hanterbarhet attraktivitet

5 UX och användbarhetsmål enligt Preece, Rogers & Sharp (2011) 5 behaglig lätt att komma ihåg hur den används underhållande tillfredsställande lätt att lära sig hjälpsam kul effektiv att använda använd- barhets- mål till nytta motiverande känslomässigt uppfyllande givande ändamåls- enlig att använda säker att använda estetiskt tilltalande stödjer kreativitet

6 UX- och brukskvaliteter (Arvola & Holmlid) 6 Ta steget tillbaka och fråga dig vilka kvaliteter som är viktiga för detta system: estetiskt kommunikativt organisatoriskt praktiskt tekniskt etiskt

7 7 För att kunna testa användbarhet behövs T-prototyper Det är en prototyp Inte Mona Lisa Sätt en deadline Prototypa bara det du behöver

8 8 Förbered testscenarier Rettig, 1994 Utifrån användarstudierna, vad är typiska brukssituationer? Konstruera prototypen för att stödja ett fåtal uppgiftsscenarier En relativt liten uppsättning funktioner, men tillräckligt för att det ska meningsfullt att testa Se till att du har realistiska scenarier och data: testa dem på någon Balansera, om möjligt, ordningen Gör en pilot!

9 9 Ett bra uppgiftsscenario Lewis & Reiman, 1993, 1994 Specifikt Beskriver en hel uppgift Testar hur olika features av gränssnittet funkar ihop Exempel från Anneli Friberg, LiU Library "Du letar efter boken Skriva uppsats med kvalitativ metod av Johan Alvehus. Hitta den och ta reda på om den finns att låna på Campus Norrköpings bibliotek.

10 10 Välj användare Rettig, 1994 Representativa i termer av t.ex.: Utbildningsnivå Datorkunnande Domänexpertis Typiska uppgifter Försök få en bredd av olika användare Snowball-rekrytering Surrogatanvändare om Det är svårt att rekrytera Politik spelar in Etik spelar in Undvik vänner och familj som uppenbarligen är partiska

11 11 Roller i testning Rettig, 1994 Mottagare: Får deltagare att känna sig hemma och introducerar dem. Samlar in demografiska data och förtestfrågor Facilitator: Ger instruktioner, uppmanar användaren att tänka högt och håller koll på tiden Observatörer: tar anteckningar på indexkort. En observation per kort. Ideér till lösningar på samma kort

12 12 Tre faser Rettig, 1994 En testsession varar från 20 minuter till en timme beroende på hur hur stor prototypen är 1. Förberedelser 2. Genomförande 3. Eftertestfrågor

13 Förberedelser (och lite etik) 13 Välkomst, introduktion, kaffe och kaka, bryta isen Sätt förväntningar och förklara: introducera prototypen utrustningen vad du kommer att göra med data tänka-högt-testning Försäkra anonymitet Säkerställ att de förstår att de kan avbryta när som helst Tydliggör att du testar designen och inte deltagarna Sätt upp kamera för att spela in interaktionen men inte nödvändigtvis deras ansikte Fråga om det är några frågor

14 Undersök första intryck och mental 14 modell Greenberg et al 2012 Vad är den här appen/hemsidan till för? Vad är ditt första intryck? Introducera sedan designen och be dem beskriva hur de förstår, i detalj, varje designelement på startskärmen Om deras förklaringar inte matchar din intention har du problem i folks initiala mentala modell som du måste hantera i en omdesign

15 15 Genomförande av testet Facilitatorn delar ut uppgifterna till användaren. Uppgifterna ska vara tydliga och fokusera på vad användaren vill uppnå men inte hur. Ett papper för varje uppgift, en uppgift åt gången Facilitatorn uppmuntrar användaren att tänka högt om de tystnar: Hur tänker du just nu? Vad är det du klurar på?

16 16 Observatören Kan ibland skjuta in en fråga Aldrig skratta, uttrycka förvåning, säga aha!, titta menande på varandra eller visa någon annan reaktion Om användaren känner sig hotad eller förödmjukad så förstörs relationen med användaren och även testet Förklara eller försvara aldrig din design inför användarna

17 17 Efter testet Diskutera intressanta saker du såg i deras beteende som du skulle vilja att de förklarade (utan att anklaga dem) Fråga de sista frågorna Samla intryck och tankar som deltagarna har om designen Fråga om de har några frågor Säg tack!

18 18 Informerat samtycke (mer etik) Du måste säkerställa att deltagarna förstår: att de går med på att delta i studien att det är valfritt att delta att de omedelbart ska säga till om de känner obehag eller oro under testet att deras användning spelas in i utvärderingssyfte hur du kommer att använda resultat och inspelningar att de kommer att anonymiseras Överväg att använda ett formulär som de skriver under Informerat samtycke från minderåriga ska inkludera informerat samtycke från målsman

19 19 Förtestfrågor usability.gov Kön Ålder Inkomst Utbildning Arbetstitel Arbetsplats Kunskap om konkurrenter Datorvanor (platformar, vad de använder dem till, webbläsare, webbplatser och applikationer som ofta används) Språkkunskaper Domänexpertis Tekniskt kunnande Kontaktuppgifter

20 20 Observationsprotokoll för kvalitativa data Usability.gov, Greenberg et al, 2012 Vilka vägar användaren tar Var har deltagaren svårigheter? Verkar de bete sig som att de förstår systemet på tänkt sätt? Gå sedan igenom videoinspelningen

21 21 Vanliga mätpunkter för kvantitativa data Ändamålsenlighet: Uppgiftsframgång på varje uppgift 0. Ej slutförd 1. Slutförd med svårighet 2. Enkelt slutförd Effektivitet: Time on task, skattad ansträngning (NASA TLX) Tillfredsställelse: Skattning, t.ex. System Usability Scale

22 22

23 23

24 24 SUS-uträkning Ett helhetsvärde. Enskild fråga är intet värd. Algoritm: Varje fråga ger 0 4 poäng. Fråga 1, 3, 5, 7, 9 räknas som markerat värde minus 1. Fråga 2, 4, 6, 8, 10 räknas som 5 minus markerat värde Multiplicera med 2,5 för SUS-värde 0-100

25 25 SUS System Usability Scale

26 Eftertestfrågor Usability.gov 26 Övergripande intryck? Vad tyckte du bäst om? Vad tyckte du sämst om? Om du fick ändra på något, vad skulle det första vara som du skulle förbättra? Do you feel that there is anything missing? Saknas något innehåll eller funktioner? Om du skulle beskriva den här appen/ webbplatsen för en kollega eller vän i en eller två meningar, vad skulle du då säga? Avslutande kommentarer eller frågor?

27 27 Analysera resultaten Rettig, 1994 Skriv ut skärmbilder från prototypen och lägg ut dem på ett stor bord Lägg indexkorten nära relevanta gränssnittskomponenter Gå igenom högarna för att sammanfatta och prioritera Gå igenom högarna och arbeta fram förslag på förändringar

28 28 Omdesign Skissa ned lösningar och sätt fast dem med häftklammer, häftmassa, tejp eller gem på relevant skärmbild Använd det som en grund för att skapa en reviderad design

29 Tips 29 Fokusera på att bygga en relation/empati Låt dem misslyckas Förklara uppgiften med så få ord som möjligt, luta dig sedan tillbaka och observera Svara på frågor med frågor Användare: Vad gör jag nu? Du: Vad tror du att du borde göra? Fokusera på vad de gör och inte på vad de tycker Beteenden är konsekventa, åsikter är det inte Fråga värdefulla frågor Hur upplevde du det här? Hur upplevde du uppgift X? Vilka delar av den din upplevelse av det här systemet sticker ut mest?

30 Vanliga misstag 30 Att inte göra pilottest Att inte ha specifika uppgifter med tydlig startpunkt och slutpunkt Inga uppgifter nedskrivna Att inte variera ordningen på uppgifterna Att inte förklara hur testet ska gå till Att säga till användaren vad de ska göra när de tvekar Att förklara eller försvara designen Skratta, uppmuntra, nicka, eller utrycka andra reaktioner på vad användaren gör. Att inte ha förberedda nedskrivna för- och eftertestfrågor Att inte be om informerat samtycke

31 Att testa med barn h`p:// 31 Se till att föräldrarna vet vad som ska ske och ha deras informerade samtycke Anpassa genomförande efter barnet eftersom särskilt förskolebarn har svårare att hålla uppmärksamheten länge. Låt barnen utforska själva, snarare än att ge dem en serie med uppgifter. Observera noga vad de gör Små barn har ofta svårt att i ord säga exakt vad de gillar och inte gillar. En testsession kan vara 30 minuter, men lägg in extra tid för lek och utforskning. Se till att du har gott om tid mellan varje barn. Småprata med barnen för att bygga en relation Berätta om systemet och att det inte är färdigt. Förklara varför deras tankar om det är viktiga. Under testet är det viktigt att hålla deras uppmärksamhet. När det inte går kan du försöka hitta något annat att göra för att sedan återvända till testet. Belöna barnen efter testet genom att säga hur hjälpsamma de varit. Förklara för dem hur de bidragit till ditt arbete.

32 Informell användbarhetsrapport (usability.gov) 32 Sammanfattning Syfte Testuppgifter Procedur Antal deltagare Uppgiftsframgång Varför vissa uppgifter var svåra Vad resten av rapporten innehåller Metod Deltagare Procedur Deltagare Övergripande resultat Viktigaste problemen Lösningar Detaljerade resultat Förtestfrågor och sammanställda svar Uppgift för uppgift, uppgiftsframgång, observerade problem och rekommendationer Eftertestfrågor och sammanställda svar

33 Akademisk användbarhetsrapport 33 Titelsida Titel, namn, kontaktuppgifter Sammanfattning Syfte, metod, viktigaste resultat, slutsats Inledning vad är rapportens syfte, varför är det viktigt och vad är forskningsproblemen/- frågorna? Bakgrund vad är sammanhanget, beskriv systemet? Teori vilka begrepp kommer att användas i rapporten och hur har de definierats i tidigare forskning (t.ex. handlingsinviter/affordances, mentala modeller osv.)? Metod Deltagare, procedur, dataanalys, instrumentering? Resultat Vad hände. Sammanställt och analyserat steg för steg mot proceduren. Diskussion Vad betyder resultaten utifrån teoretiska begrepp och tidigare forskning, finns problem i metoden som kan ha påverkat resultaten? Slutsatser Vilka är lärdomarna kopplade till forsknings- problem/-frågor och syftet Referenser Bilaga med skärmbilder från systemet

34 34 In summary Användbarhet är definierat på olika sätt i olika sammanhang: var tydlig Sätt upp testuppgifter Prototypa tillräckligt men inte mer Välj prototypningsverktyg utifrån behov Gör pilottest Introducera deltagarna och ställ förtestfrågor Håll ordning på rollerna i testningen Ställ eftertestfrågor Analysera resultaten och konsekvenser för omdesign

35 @mattiasarvola