Utvärdering TNMK31 Användbarhet Exempel Design problem In "Apple Presents... Apple, An introduction to Apple II computer", find out if the user is working on a color monitor. User profiles New owner Customer in a computer store Members of a class learning to use Apple computers. Evaluation... Martin Karlsson marka@itn.liu.se K7522 011 36 34 63 2007-02-19 Martin Karlsson - Användbarhet 2 Processen Utvärderingsanvändare Expertanvändare av systemet Liten datorvana Stor datorvana 1 2 3 5 extremanvändare 2-3 extremanvändare, 2-3 ytterligare 1-3 extremanvändare, 2-4 ytterligare Ny användare av systemet Användare Extremanvändare 2007-02-19 Martin Karlsson - Användbarhet 3 2007-02-19 Martin Karlsson - Användbarhet 4 Utvärderingsanvändare Användardeltagande är alltid möjligt En ursäkt för att inte ta med användare i utvärderingsaktiviteten är att de kanske inte är tillgängliga eller kända Liam Bannon berättar en ironisk historia där han inte var tillåten att träffa en enda användare for political, organizational reasons Surrogatanvändare står alltid att finna, bara man är medveten om att man kanske inte ska tro fullt ut på dem Utvärdering Varför utvärdera alls? Alla är inte som du Problem fixas före produkten släpps Designteamet kan koncentrera sig på verkliga problem, inte på eventuella tänkta sådana Programmerarna kan koda istället för att debattera hur det ska vara Utvecklingstiden minskas När produkten släpps så har marknadsavdelningen en design de kan sälja utan att behöva förklara hur mycket bättre det kommer att bli i nästa version 2007-02-19 Martin Karlsson - Användbarhet 5 2007-02-19 Martin Karlsson - Användbarhet 6 1
Utvärdering Formativ utvärdering Stöd för designprocessen Arbeta nära presumtiva användare Kvalitativa aspekter av systemet Summativ utvärdering Utvärdera en färdig produkt Arbeta med slutanvändare Kvantitativa aspekter av systemet Empirisk metod Med användare En analys av användarens prestation i relation till det tänkta systemet Arbeta med användare och samla data med hjälp av intervjuer, observationer, mätningar, etc. Analytisk metod Utan användare Usability inspection Kombinera metoder Varje iteration bör bestå av ett antal empiriska och ett antal analytiska metoder 2007-02-19 Martin Karlsson - Användbarhet 7 2007-02-19 Martin Karlsson - Användbarhet 8 Utvärdering En generell utvärderingsprocess har följande struktur: Identifiera målgruppen Rekrytera användare Forma uppgiften Genomför utvärderingen Rapportera/dokumentera upptäckter/beslut Metoder för empirisk utvärdering Frågeformulär Observationer Intervjuer Scenarier Wizard of Oz Tänka högt Kognitiv genomgång Kontextuell utforskning Deltagande design Gruppgranskning Fokusgrupper Kreativitetsmetoder (som brainstorming) Mätningar Prestationsrelaterade Kritiska händelser 2007-02-19 Martin Karlsson - Användbarhet 9 2007-02-19 Martin Karlsson - Användbarhet 10 Scenarier Användningsscenario & scenariobaserad utvärdering A scenario can be used to figure out whether a certain function in a product is worth constructing before actually constructing it. Uppgiftsscenario Syftar till att sätta in användaren i situationen och specificerar den uppgift som användaren ska utföra Gruppgranskning Utförs med användare, utvecklare och andra intressenter Gruppen går igenom ett antal scenarier som bygger på användarnas arbetsuppgifter Man utvärderar varje steg och kategoriserar samt värderar problem Fördel är att man får många infallsvinklar 2007-02-19 Martin Karlsson - Användbarhet 11 2007-02-19 Martin Karlsson - Användbarhet 12 2
Tänka högt-protokollet Bäst förståelse för hur användarna tänker är att låta dem tänka högt under tiden de utför en uppgift. (Direkt efter uppgiftens utförande är för sent, KTM). Användarna bör för varje steg i uppgiften förklara vad de gör och varför Att tänka högt är inte så lätt som det låter och det är lämpligt att man som utvärderare ser till att användaren känner sig bekväm med det. Alla typer av artefakter kan testas med att tänka högt Exempel Kognitiv genomgång Tekniken kommer ifrån systemutveckling, kodgenomgång är en vanlig metod att hitta buggar i system Både kodgenomgång och kognitiv genomgång har undermeningen att de är analytiska metoder Det är svårt att göra kodgenomgång med användare eller andra utomstående då de måste förstå programkod, däremot lämpar det sig mycket bra att använda kognitiv genomgång med användare (empirisk metod) 2007-02-19 Martin Karlsson - Användbarhet 13 2007-02-19 Martin Karlsson - Användbarhet 14 Kognitiv genomgång (empirisk metod) Består av: Uppgiftsscenario Tänka högt-protokollet Huvudfokus är på hur lätt ett system är att lära sig. Learning through exploration. Ställ frågor till användaren om användaren tvekar Vad ska man göra i det här läget? Hur ska man göra? Berättar systemet vad som har gjorts? (jämför: Visibility, affordance, feedback) Utvärdera varje steg i det korrekta uppgiftsutförandet och utröna varför användaren agerade som hon gjorde. (Lätt att hitta flaskhalsar) Utvärderingsetik Användare är människor, inte saker Tänk över testet noga. Inget får såra/skada användaren varken psykiskt eller fysiskt Kalla inte användaren för försöksperson Vad är etiskt? Vad får man hålla hemligt? (Milgram s obedience study) Etikregler för forskning Informationskravet, Samtyckeskravet, Konfidentialitetskravet, Nyttjandekravet 2007-02-19 Martin Karlsson - Användbarhet 15 2007-02-19 Martin Karlsson - Användbarhet 16 Utvärderingsetik Förklara för användaren vad som förväntas av henne Förklara att användaren är fri att avsluta utvärderingen närhelst hon vill Förklara vad syftet med utvärderingen är Det är produkten som testas, inte du Se till att användaren känner sig väl till mods Förklara att resultaten av utvärderingen är anonyma och hur de kommer att användas Användarutvärdering (exempel) 1. Tidsbestämning för utvärdering 2. Lär dig produkten (!) 3. Mottagande av användare, småprat(!) och bakgrund för utvärdering, produkt och användare 4. Kognitiv genomgång med uppgiftsscenario 5. Uppföljningsfrågor (intervju) för att mäta användbarhetsmål 6. Avslutning, tidsbestämning för nästa utvärderingstillfälle, belöning(?) 2007-02-19 Martin Karlsson - Användbarhet 17 2007-02-19 Martin Karlsson - Användbarhet 18 3
Expertutvärdering Varför analytisk utvärdering? Behöver ej tillgång till användare Snabb, billig, kostnadseffektiv När utvärderar man? När som helst Tidiga prototyper eller specifikationer För att snabbtesta nya lösningar Vad är expertutvärdering? Formell utvärdering med användbarhetsexperter, dvs. ni! Exempel på expertutvärdering / dokumentbaserad metod Cognitive walkthrough En del av analytisk metod Använder sig av tumregler (heuristiker) Team av utvärderare (experter) Utvärdera individuellt Ranka problem Sammanställ resultat Tumregler Nielsen, Norman, Shneiderman 2007-02-19 Martin Karlsson - Användbarhet 19 2007-02-19 Martin Karlsson - Användbarhet 20 1. Systemets status ska alltid vara synlig Systemet ska alltid visa användaren vad som händer genom lämplig feedback, inom rimlig tid 2. Matcha verkligheten Systemet ska tala användarnas språk och följa de regler och normer som gäller i den aktuella miljön. Information ska presenteras i en ordning som är logisk för användarna 3. Låt användaren vara i kontroll Det ska alltid finnas nödutgångar som användaren kan utnyttja om han/hon gjort fel eller ångrar sig. Det ska alltid gå att ångra sig. 4. Enhetlighet och standarder Användaren ska aldrig behöva fundera på om olika ord, situationer och funktioner betyder samma sak 5. Förebygg problem Systemet ska designas så att problem och fel kan undvikas i möjligaste mån 6. Igenkänning snarare än memorering Objekt, funktioner och alternativ ska vara synliga. Användaren ska inte behöva komma ihåg information från en dialog till en annan. Instruktioner för användning ska vara synliga eller lätta att ta fram. 2007-02-19 Martin Karlsson - Användbarhet 21 2007-02-19 Martin Karlsson - Användbarhet 22 7. Flexibilitet och effektivitet Snabbtangenter gör att systemet passar både nybörjare och expertanvändare. Det ska finnas möjligheter för expertanvändaren att skräddarsy frekventa operationer 8. Estetisk och minimalistisk design Dialoger ska inte innehålla information som är irrelevant eller används sällan. Varje enhet av onödig information tävlar om uppmärksamhet med den nödvändiga informationen 9. Hjälp användaren att upptäcka och rätta till fel och misstag Felmeddelanden ska skrivas på ett enkelt språk (inga koder!), beskriva problemet i detalj samt föreslå lösning 10. Hjälp och dokumentation Det bästa är om systemet kan användas utan hjälp och dokumentation, men i många fall är inte detta möjligt. Hjälp och dokumentation ska vara lätt att hitta i, beskriva användarens uppgifter, ange ett antal konkreta steg som användaren ska utföra och inte vara för stor 2007-02-19 Martin Karlsson - Användbarhet 23 2007-02-19 Martin Karlsson - Användbarhet 24 4
Ranka problem Prioritering enligt tre faktorer Frekvens: Hur ofta uppstår problemet? Påverkan: Hur lätt är problemet att komma runt? Ihärdighet: Är det ett engångsproblem eller ett återkommande problem? Värdera problem enligt prioriteringsfaktorer och placera på följande skala: 0 = Inget användbarhetsproblem. 1 = Kosmetiskt problem. Behöver endast åtgärdas om tid finns. 2 = Mindre användbarhetsproblem. Låg prioritet att åtgärda. 3 = Större användbarhetsproblem. Hög prioritet att åtgärda. 4 = Användbarhetskatastrof. Måste åtgärdas. 2007-02-19 Martin Karlsson - Användbarhet 25 Cognitive Walkthrough Kognitiv genomgång (analytisk metod) Fyra saker behövs En prototyp En uppgiftsbeskrivning Ett fullständigt användningsscenario En användarbeskrivning eller en persona Fyra frågor besvaras Kommer användarna försöka utföra uppgiften trots att problem har uppstått? Kommer användarna att inse om de har gjort rätt? När användarna hittar ett bra sätt att utföra en uppgift på, kommer de att inse att det är det bästa sättet? När uppgiften utförs, förstår användarna den återkoppling som systemet ger dem? 2007-02-19 Martin Karlsson - Användbarhet 26 Andra analytiska metoder Modellbaserade metoder Baseras på modeller av användare (ex. Personas) som teoretiskt möjliggör att man kan förutspå användarnas beteende Baseras mycket på stereotyper och är därför inte tillförlitliga Automatiska utvärderingar Utnyttjar algoritmer som fokuserar på användbarhetskriterier Diagnosticerar brister i systemet Kräver ett färdigt system, därmed används det oftast vid summativ utvärdering Råd vid val av metod Kombinera metoder Olika utvärderingsmetoder bidrar till att finna olika typer av användbarhetsproblem Enkla metoder framför komplexa Objektiva, noggranna och kvantitativa mått är onödigt. Bättre att upptäcka problem och använda tiden för att åtgärda problemen Dokumentera inte för mycket Korta listor är bättre än långa dokument Håll en positiv ton i utvärderingen Inse att all negativ kritik som användarna kan uppbringa är bra kritik. Se det som konstruktiva förslag Använd gärna rankningssystemet för alla funna problem 2007-02-19 Martin Karlsson - Användbarhet 27 2007-02-19 Martin Karlsson - Användbarhet 28 Avrapportering Brist på konstruktiva utvärderingsresultat Utvärderingar talar ofta om vad det är för fel på ett system, men inte vad man ska göra för att komma tillrätta med problemen Utvecklarna är inte särskilt betjänta av ickekonstruktiv kritik Därför bör man inte bara skapa en prioriteringslista över vad som ska ändras utan även en handlingsplan för hur det ska ändras Detta passar väl in i användbarhetsguiden Återkoppling till användare Riktlinjer för att ge feedback till användarna Samla in och dokumentera alla användarsynpunkter Tag ställning till alla användarkommenterar och fatta beslut: Att göra förändringar i enlighet med kommentarerna Att inte göra förändringar (här är det viktigt att förklara för användarna varför inte förändringen genomfördes) Rapportera beslutet tillbaka till användarna Ett designbeslut som får direkta inverkningar på användarens situation som denne inte känner till eller förstår kommer att förstöra användarens motivation till fortsatt deltagande 2007-02-19 Martin Karlsson - Användbarhet 29 2007-02-19 Martin Karlsson - Användbarhet 30 5
Sammanfattning Jakob Nielsens tre tips för enkel utvärdering: Rekrytera representativa användare Be dem utföra representativa uppgifter med prototypen Håll käft och låt användarna prata 2007-02-19 Martin Karlsson - Användbarhet 31 6