Utvärdering Måndagen den 29 september 8-10 F1 Ann Lantz Alz@nada.kth.se Anna Stockhaus Ast@nada.kth.se Övergripande (1) Av den verkliga världen: Hur används teknik på arbetsplatsen? Kan man förbättra design så att tekniken passar in bättre? Beteendevetenskapliga metoder Av design: Identifiera områden som är troliga att orsaka problem. Jämföra olika design Användbarhetsmål: ställa upp mätbara krav och se om designen klarar av dem Kolla om designen följer standards Analytiska respektive empiriska utvärderingar Övergripande (2) Med/utan användare Av implementation: Överensstämmer funktionalitet med användarens uppgift? Matchas användarens förväntningar? Vilken effekt har gränssnittet på användaren? Identifiera specifika problem med systemet T.ex. fokusgrupper Utan användare Experter Analytiska genomgångar Med användare Går ut till deras användningsplats eller bjuder in dem Kan vara svårt att få tag på användare som är representativa Ovärderligt Expertutvärdering Heuristisk utvärdering Fördelar: - Snabb och effektiv återkoppling - Relativt låg kostnad - Kan genomföras tidigt och under hela utvecklingen - Kan utföras på plats med utvecklare. Nackdelar: - Kräver erfarenhet av utvärderarna - Expertutvärderare kan aldrig fullt ikläda sig rollen av användare och kan därigenom missa vissa viktiga saker. En heuristisk utvärdering består av en strukturerad analys av ett gränssnitts användbarhet utifrån ett antal heuristiker. Expertutvärderare går igenom gränssnittet och granskar det jämfört med heuristik för heuristik. Anteckningar förs så snart problem/fel uppstår. Utvärderingen görs helst med tre eller fler utvärderare då det är svårt för en att finna alla fel i ett gränssnitt. 1
Heuristisk utvärdering, genomförande 1.Ett antal utvärderare kontaktas. Ju mer erfaren utvärderare (MDI, heuristiker) desto färre behövs. 2.Varje utvärderare går igenom gränssnittet och jämför det med en heuristik i taget. Varje problem som hittas klassas efter hur alvarligt det anses. Varje anteckning kopplas till en eller fler heuristiker, det räcker inte med att säga att någonting är dåligt. 3. Alla anteckningar från expertutvärderarna summeras till en förteckning. En heuristiks utvärdering resulterar i en lista med potentiella användbarhetsproblem. Varje problem rangordnas efter skattad allvarlighet. Heuristiker 1. Synligt systemstatus 2. System och verklighet 3. Kontroll och frihet 4. Konsekvens och standarder 5. Förhindra fel 6. Känna igen vs komma ihåg 7. Flexibilitet och effektivitet 8. Estetisk och minimal design 9. Hjälp användare känna igen, diagnostisera och återhämta sig från fel 10. Hjälp och dokumentation Heuristisk utvärdering För generell för att användas på nya produkter? Heuristiker för kommersiella webbplatser Heuristiker för on-line communities Heuristiker för kommersiella webbplatser HOMERUN - High-quality content - Often updated - Minimal download time - Ease of use - Relevant to users needs - Unique to the online medium - Netcentric corporate culture Heuristiker för online communitites Sociala aspekter - Varför ska jag gå med? - Vilka regler finns? - Är den säker? - Kan jag uttrycka mig som jag vill? - Ömsesidigt utbyte? - Varför ska jag komma tillbaka? Heuristiker för online communitites Användbarhetsaspekter - Hur går jag med? - Hur kan jag erhålla, läsa samt sända meddelanden? - Kan jag på ett enkelt sätt utföra det jag vill? 2
Försöker ta fram en model hur användare agerar och tänker första gången de använder ett gränssnitt. Utvärderare beskriver en rimlig och trovärdig historia om hur en användare utför en uppgift, steg för steg, i ett gränssnitt. Målet är att simulera hur en användare eller användargrupp genomför en uppgift. Skattar hur lätt att förstå och hur lätt att lära gränssnittet är. En kognitiv genomgång kräver att: - Gränssnittet dokumenterats genomgående. - Uppgifter och delar av dem måste specificeras och beskrivas i detalj. - Användares kunskap och erfarenhet måste identifieras och beskrivas. En kognitiv genomgång resulterar i: - En förteckning över felaktigheter i gränssnittet. En kognitiv genomgång inkluderar följande steg: - Karakteristika för en typisk användare identifieras och dokumentras och ett urval av uppgifter tas fram vilka fokuserar på designaspekter som ska utvärderas. - En utvecklare och en eller fler expertutvärderare analyserar materialet. - Utvärderarna går igenom de olika stegen för varje uppgift, placerar det i ett samanhang och under tiden försöker de besvara: - Kommer användare förstå vad de ska göra för att kunna utföra uppgiften? - Kan användare se knappar eller menyer som de ska använda för att kunna utför nästa del av sin uppgift? - Kommer användare att från den återkoppling som ges också förstå om de utfört en korrekt eller inkorrekt handling? Genomgången resulterar i dokument med kritisk information om: - vad som kan orsaka problem samt varför - anteckningar om sidoeffekter samt design förändringar Revidering av design Pluralistisk genomgång Fördelar: alla kommer till tals, fokus på uppgift Nackdelar: svår samla alla samtidigt, långsam metod - Användare, utvecklare och användbarhetsexperter arbetar tillsammans - Går igenom en uppgift/ett scenario - Diskuterar användbarhetsaspekter 1. Scenarios - en väg genom ett gränssnitt 2. Presenteras för panelen 3. Presentation av individuell lösning Användartest - allmänt Observerar och mäter typiska användares prestationer Noggrant förberedda typiska uppgifter Plus: Ger inblick i hur användare arbetar och interagerar Bra om systemet ska installeras på farlig eller avlägsen miljö eller om man vill kontrollera miljön Kan göras på fler olika versioner av ett system, framförallt behöver det inte vara färdigt Minus: Kontrollerat, laboratorium Överkritiska användare 3
Användartest genomförande (1) Start: - Mål med testet, vad vill man uppnå? - Var och när ska testet genomföras? - Hur lång tid beräknasdet ta? Teknik: - Vilketdatorstöd behövs? - Vilken mjukvara krävs? - Hur ska systemetse ut då testet startar? - Vilken svarshastighetska systemetha? Användartest genomförande (2) Deltagare: - Vem är testledare? - Vilka är testpersonerna? - Hur når vi testpersonerna? - Hur många testpersoner krävs? Uppgifter: - Vilka uppgifter ska utföras? - Vilket kriterium används för att bestämma nären uppgift är utförd? - Vilken hjälp ska testpersonerna få? Användartest genomförande (3) Datainsamling: - Vilken metod, teknikska användas? - Vilken data ska samlasin? Vad ska mätas? - Hur ska data analyseras? - Komplettering med enkäter och intervjuer? Rapportering: - Hur ska studien rapporteras? - Vem ska rapporten lämnas till? Användartest vanliga misstag Prata användarens språk, fråga inte om navigering och struktur. Fråga: Stödjer det här det du vill göra? Vad är dåligt/saknas? Vad är bra? Förklara och försvara inte dålig design anteckna! Bekräfta inte i onödan Plåga inte användaren ( Försök igen! ) Användarens ord är inte lag! Alla användarens idéer är inte strålande Användartest - Tänka högt Be användaren att tänka högt, dvs. hela tiden berätta om vad man tänker medan man genomför uppgifter Beskriva vad de tror händer, varför de gör en viss sak, vad de försöker göra Observatör lyssnar, observerar och noterar Genom att beskriva kan det förändra det man gör Svåra situationer: Hur ska jag göra? Jag måste vara jättekorkad! Användaren är tyst säger ingenting Fokusgrupper (1) En grupp personer med liknande bakgrund diskuterar utvalda ämnen assisterade av en moderator 6 9 användare/grupp, flera grupper, 2h, moderator, frågar om erfarenheter och preferenser Öppen interaktion stimulerar tankar och känslor Viktigt väl genomtänkta och ihopsatta grupper information innan Moderatorn Trygghet möjlighet efteråt för individer att tillföra information Telefon eller Internet Osäkert vem som deltar Tenderar att vara personer som är över medel intresserade av datorer och/eller ämnet + Billigt + Får information från power users 4
Fokusgrupper (2) Plus Upptäcka vad användaren vill ha ut av systemet mindre tidskrävande deltagarna stimulerar varandra att göra nya observationer interaktionen kan ge djupare insikt i vissa bidrag Film time Minus Inga subjektiva preferenser kan göra systemet dugligt om användare inte kan använda det inget test av gränssnittet man kan inte lita på vad folk säger färgade svar Lästips Bias, R. G., The pluralistic usability walkthrough: Coordinated empathies, in Nielsen, J., and Mack, R. L. (Eds.), Usability Inspection Methods, 1994, John Wiley & Sons, New York N.Y. Boren, T. & Ramy, J. (2000). Thinking aloud : ReconcilingTheory and Practice. www.ieee.com Nielsen, Jakob, Usability Engineering, Academic Press 1993 Nielsen, J. (1994) "HeuristicEvaluation " in Nielsen, J. and Mack, R. "Usability inspection methods" pp. 25-62, John Wiley & Sons Inc., ISBN 0-471-01877-5 Silverman, George, How to Get Beneath the Surface in Focus Groups, http://www.mnav.com/bensurf.htm, 2003-09-28 5