Utvärdering Fredag 1 oktober 13-15 F1 Ann Lantz - alz@nada.kth.se Anna Swartling - ast@kth.se Övergripande (1) Av den verkliga världen: Hur agerar man, vad händer? Hur används teknik? Beteendevetenskapliga metoder Oftast tidigt i utvecklingsprocessen Av design: Identifiera områden som är troliga att orsaka problem. Jämföra olika design Användbarhetsmål: ställa upp mätbara krav och se om designen klarar av dem Kolla om designen följer standards Analytiska respektive empiriska utvärderingar Helst tidigt i utvecklingsprocessen Övergripande (2) Av implementation: Överensstämmer funktionalitet med användarens uppgift? Matchas användarens förväntningar? Vilken effekt har gränssnittet på användaren? Identifiera specifika problem med systemet T.ex. fokusgrupper Oftast sent i utvecklingsprocessen Med/utan användare Utan användare Experter Analytiska genomgångar Med användare Går ut till deras användningsplats eller bjuder in dem Kan vara svårt att få tag på användare som är representativa Ovärderligt 1
Expertutvärdering Heuristisk utvärdering Fördelar: - Snabb och effektiv återkoppling - Relativt låg kostnad - Kan genomföras tidigt och under hela utvecklingen - Kan utföras på plats med utvecklare. Nackdelar: - Kräver erfarenhet av utvärderarna - Expertutvärderare kan aldrig fullt ikläda sig rollen av användare och kan därigenom missa vissa viktiga saker. En heuristisk utvärdering består av en strukturerad analys av ett gränssnitts användbarhet utifrån ett antal heuristiker. Expertutvärderare går igenom gränssnittet och granskar det jämfört med heuristik för heuristik. Anteckningar förs så snart problem/fel uppstår. Utvärderingen görs helst med tre eller fler utvärderare då det är svårt för en att finna alla fel i ett gränssnitt. Heuristisk utvärdering, genomförande 1.Ett antal utvärderare kontaktas. Ju mer erfaren utvärderare (MDI, heuristiker) desto färre behövs. 2.Varje utvärderare går igenom gränssnittet och jämför det med en heuristik i taget. Varje problem som hittas klassas efter hur alvarligt det anses. Varje anteckning kopplas till en eller fler heuristiker, det räcker inte med att säga att någonting är dåligt. 3. Alla anteckningar från expertutvärderarna summeras till en förteckning. En heuristiks utvärdering resulterar i en lista med potentiella användbarhetsproblem. Varje problem rangordnas efter skattad allvarlighet. Heuristiker 1. Synligt systemstatus 2. System och verklighet 3. Kontroll och frihet 4. Konsekvens och standarder 5. Förhindra fel 6. Känna igen vs komma ihåg 7. Flexibilitet och effektivitet 8. Estetisk och minimal design 9. Hjälp användare känna igen, diagnostisera och återhämta sig från fel 10. Hjälp och dokumentation Försöker ta fram en model hur användare agerar och tänker första gången de använder ett gränssnitt. Utvärderare beskriver en rimlig och trovärdig historia om hur en användare utför en uppgift, steg för steg, i ett gränssnitt. Målet är att simulera hur en användare eller användargrupp genomför en uppgift. Skattar hur lätt att förstå och hur lätt att lära gränssnittet är. En kognitiv genomgång kräver att: - Gränssnittet dokumenterats genomgående. - Uppgifter och delar av dem måste specificeras och beskrivas i detalj. - Användares kunskap och erfarenhet måste identifieras och beskrivas. En kognitiv genomgång resulterar i: - En förteckning över felaktigheter i gränssnittet. 2
En kognitiv genomgång inkluderar följande steg: - Karakteristika för en typisk användare identifieras och dokumentras och ett urval av uppgifter tas fram vilka fokuserar på designaspekter som ska utvärderas. - En utvecklare och en eller fler expertutvärderare analyserar materialet. - Utvärderarna går igenom de olika stegen för varje uppgift, placerar det i ett samanhang och under tiden försöker de besvara: Kommer användare förstå vad de ska göra för att kunna utföra uppgiften? Kan användare se knappar eller menyer som de ska använda för att kunna utför nästa del av sin uppgift? Kommer användare att från den återkoppling som ges också förstå om de utfört en korrekt eller inkorrekt handling? Genomgången resulterar i dokument med kritisk information om: - vad som kan orsaka problem samt varför - anteckningar om sidoeffekter samt design förändringar Revidering av design Pluralistisk genomgång - Användare, utvecklare och användbarhetsexperter arbetar tillsammans - Går igenom en uppgift/ett scenario - Diskuterar användbarhetsaspekter 1. Scenarios - en väg genom ett gränssnitt 2. Presenteras för panelen 3. Presentation av individuell lösning Fördelar: alla kommer till tals, fokus på uppgift Nackdelar: svårt samla alla samtidigt, långsam metod Användartest - allmänt Observerar och mäter typiska användares prestationer på noggrant förberedda typiska uppgifter Plus: Ger inblick i hur användare arbetar och interagerar Bra om systemet ska installeras på farlig eller avlägsen miljö eller om man vill kontrollera miljön Kan göras på fler olika versioner av ett system, framförallt behöver det inte vara färdigt Minus: Kontrollerat, laboratorium Överkritiska användare Användartest genomförande (1) Start: - Mål med testet, vad vill man uppnå? - Var och när ska testet genomföras? - Hur lång tid beräknas det ta? Teknik: - Vilket datorstöd behövs? - Vilken mjukvara krävs? - Hur ska systemet se ut då testet startar? - Vilken svarshastighet ska systemet ha? Användartest genomförande (2) Deltagare: - Vem är testledare? - Vilka är testpersonerna? - Hur når vi testpersonerna? - Hur många testpersoner krävs? Uppgifter: - Vilka uppgifter ska utföras? - Vilket kriterium används för att bestämma när en uppgift är utförd? - Vilken hjälp ska testpersonerna få? 3
Användartest genomförande (3) Datainsamling: - Vilken metod, teknik ska användas? - Vilken data ska samlas in? Vad ska mätas? - Hur ska data analyseras? - Komplettering med enkäter och intervjuer? Rapportering: - Hur ska studien rapporteras? - Vem ska rapporten lämnas till? Användartest vanliga misstag Prata användarens språk, fråga inte om navigering och struktur. Fråga: Stödjer det här det du vill göra? Vad är dåligt/saknas? Vad är bra? Förklara och försvara inte dålig design anteckna! Bekräfta inte i onödan Plåga inte användaren ( Försök igen! ) Användarens ord är inte lag! Alla användarens idéer är inte strålande Användartest - Tänka högt Be användaren att tänka högt, dvs. hela tiden berätta om vad man tänker medan man genomför uppgifter Beskriva vad de tror händer, varför de gör en viss sak, vad de försöker göra Observatör lyssnar, observerar och noterar Genom att beskriva kan det förändra det man gör Svåra situationer: Hur ska jag göra? Jag måste vara jättekorkad! Användaren är tyst säger ingenting Fokusgrupper (1) En grupp personer med liknande bakgrund diskuterar utvalda ämnen assisterade av en moderator 6 9 användare/grupp, flera grupper, 2h, moderator, frågar om erfarenheter och preferenser Öppen interaktion stimulerar tankar och känslor Viktigt väl genomtänkta och ihopsatta grupper information innan Moderatorn Trygghet möjlighet efteråt för individer att tillföra information Telefon eller Internet Osäkert vem som deltar Tenderar att vara personer som är över medel intresserade av datorer och/eller ämnet + Billigt + Får information från power users Fokusgrupper (2) Plus Upptäcka vad användaren vill ha ut av systemet mindre tidskrävande deltagarna stimulerar varandra att göra nya observationer interaktionen kan ge djupare insikt i vissa bidrag Film time Minus Inga subjektiva preferenser kan göra systemet dugligt om användare inte kan använda det inget test av gränssnittet man kan inte lita på vad folk säger färgade svar 4
Lästips Bias, R. G., The pluralistic usability walkthrough: Coordinated empathies, in Nielsen, J., and Mack, R. L. (Eds.), Usability Inspection Methods, 1994, John Wiley & Sons, New York N.Y. Boren, T. & Ramy, J. (2000). Thinking aloud: Reconciling Theory and Practice. www.ieee.com Nielsen, Jakob, Usability Engineering, Academic Press 1993 Nielsen, J. (1994) "Heuristic Evaluation" in Nielsen, J. and Mack, R. "Usability inspection methods" pp. 25-62, John Wiley & Sons Inc., ISBN 0-471-01877-5 Silverman, George, How to Get Beneath the Surface in Focus Groups, http://www.mnav.com/bensurf.htm, 2003-09-28 BOBBY, http://bobby.watchfire.com/bobby/html/en/index.jsp USOR, http://www.nada.kth.se/cid/usor/ 5