Utvärderingsmetoder: Teoretiska metoder IT-universitetet 2004-02-24
Utgångspunkt - användbarhet
Användarvänlighet (enl. Allwood 1998) Användarvänlighet Hjälpresurser Individualisering Förenligt med människans mentala funktionssätt Åtkomlighet
Usability enl. Löwgren (1993) Usability is a result of Relevance, Efficiency, Attitude and Learnability (REAL). Relevance is how well the system serves the users needs Efficiency states how efficient the user can carry out their tasks Attitude is the users subjective feelings towards the system Learnability is how easy it is to learn for initial use and how well the users remember the skills over time.
Usability is...... the extent to which a product can be used with effectiveness, efficiency and satisfaction by specific users to achieve specific goals in a specific environment (ISO DIS 9241-11) effectiveness = ändamålsenlighet, dvs. i vilken utsträckning mål/uppgifter kan uppnås, noggrannhet och fullständighet... efficiency=effektivitet, dvs. den ansträngning som krävs för att uppnå ett mål, resursåtgång i förhållande till noggrannhet och fullständighet... satisfaction=tillfredsställelse som användarna upplever vid användning, hur acceptabel produkten är ur användarnas synvinkel, frånvaron av obehag
... för att uppnå specifika mål med ändamålsenlighet... noggrannhet och fullständighet, kunna lösa uppgiften... effektivitet... resursåtgång/ansträngning i förhållande till noggrannhet och fullständighet... tillfredsställelse... frånvaro av obehag
Usability... är en interaktiv egenskap är en kvalitet som skapas i en användningssituation bestäms av egenskaperna hos användarna, användningssituationen, uppgiften och produkten
Usability enl. J. Nielsen enkelt att lära effektivt att använda lätt att komma ihåg användning skall resultera i få fel användning skall ge en känsla av tillfredsställelse
Analys -> Syntes Utvärderingen kan ha olika syften Syftet kan vara diagnostiserande - vilka är problemen? formativt - vilken lösning fungerar bäst? hur gå vidare? vad förbättra? summativt - har vi uppnått uppställda mål?
Utvärderingsstegen Nivå 1: Informell utvärdering Nivå 2: Teoretisk utvärdering/expertvärdering Cognitive Walkthrough - inspektionsmetod Heuristisk utvärdering GOMS Nivå 3: Empirisk utvärdering Användartester (usability tests) i lab Användartester i fält (alfa, beta tester)
Heuristisk värdering En liten grupp utvärderare värderar ett (produkt)gränssnitt utifrån ett antal uppställda designkriterier eller guidelines.
Exempel på guidelines Använd enkel och naturlig dialog Tala användarens språk Minimera användarens minnesbelastning Var konsekvent Ge feedback Erbjud genvägar Erbjud utvägar Formulera tydliga felmeddelanden Förhindra felhandlingar
Teman Visual clarity Information on the screen should be clear, well organized, unambiguous, and easy to read Consistency The way the system looks and works should be consistent at all times Compatability The way the system looks and works should be compatible with user conventions and expectations.
Informative feedback Users should be given clear, informative feedback on where they are in the system, what actions they have taken, whether these actions have been successful and what actions should be taken next. Explicitness The way the system works and is structured should be clear to the user. Appropriate functionality The systen should meet the needs and requirements of the users when carrying out tasks
Flexibility and control Error prevention and correction User guidance and support
Is each screen clearly identified with an informative title or description? Is important information highlighted on the screen? Where colour is used, will all aspects of the display be easy to see if used on a monochrome or low resolution screen, or if the user is colour-blind? always, most of the time, some of the time, never always, most of the time, some of the time, never always, most of the time, some of the time, never
Cognitive walkthrough Expertutvärdering (peer review) Ett antal bedömare bedömer: The ease by which a typical user can perform a task using an interface design with little or no formal instruction or informal coaching. Fokus: ease of learning Nödvändig information = En beskrivning av användargränssnittet, ett uppgiftsscenario, en procedur, en detaljerad beskrivning av användarna, samt en beskrivning av användningsmiljön
Utgångspunkt - utforskandet Relaterar till teoretiska modeller för lärande Norman s theory of action (goal -> plan -> execution of action -> evaluation of feedback -> revision of goals -> )
Mål <-> Handling Användarens uppgift (task) Målet (= den övergripande uppgiften) bryts ner i delmål och delmålen i handlingar Användarens mål <-> representationen av handlingen för att nå målet Handlingen - trycka på knappen - väljs pga att knappen har en kodbeteckning vilken stämmer överens med användarens mål
Steg 1 - Förberedelse Definiera uppgifter (tasks) Uppgiften skall beskrivas utifrån en helt novis användares perspektiv (1:a gångs användare) Realistiska uppgifter Beskriv den bästa, korrekta handlingssekvensen som krävs för att genomföra uppgiften, med vilken detaljeringsnivå kan diskuteras (jfr hierarkisk uppgiftsanalys) Beskriv systemets utgångsläge och statuslägen Definiera användargruppens förutsättningar, förkunskaper, etc. Beskriv vilket mål användaren har initialt
Steg 2 - Utvärdering Analyser genomförs för vart och ett av de handlingssteg som beskrivits i steg 1. Analys 1 - jämförelse mellan användarens mål och de mål som krävs för att interagera med användargränssnittet Har användaren rätt mål? Målrelaterade problem - användaren försöker göra fel sak Ex. Tryck på 5 <-> Avsluta
Analys 2 - problem associerade med val av handling Handlingsrelaterade problem - användaren försöker göra rätt men kan inte förstå hur man ska göra Handlingen måste vara tillgänglig och användaren måste veta att det är en möjlig handling Ex. om ett möjligt alternativ inte finns listat i menyn, hur skall användaren då veta att alternativet är ett möjligt val? Alternativet måste vara kodat så att handlingsalternativet kan associeras med målet för handlingen Användaren måste ha tid att göra rätt val Handlingen måste vara enkel att utföra
Analys 3 - ev. korrigering av målbild givet den feedback som erhållits från systemet Användaren måste uppfatta att och vilka delmål som uppnåtts Användaren måste också uppfatta att och vilka delmål som inte uppfyllts
En ngt förenklad struktur För varje korrekt handling Beskriv en korrekt handlingssekvens - a success story Beskriv en inkorrekt handlingssekvens - a failure story Notera problem, orsaker Notera alternativa designlösningar
Exempel: Jag vill ha hänvisning på alla mina samtal till 772 1234 Korrekt handlingssekvens Lyft luren Tryck ##7 Lägg på luren Lyft luren Tryck **7 Tryck 1 2 3 4 Lägg på luren
Exempel: Jag vill ha hänvisning på alla mina samtal till 772 1234 Korrekt handlingssekvens Mål Lyft luren Lyft luren Tryck ##7 0-ställ hänvisningsfunktion Lägg på luren Lyft luren Specificera ny hänvisning Tryck **7 Tryck 1 2 3 4 Lägg på luren
Exempel: Jag vill ha hänvisning på alla mina samtal till 772 1234 Korrekt handlingssekvens Lyft luren Rätt mål? Tryck ##7 Uppenbart vilken handling? Lägg på luren Möjlig att utföra? Lyft luren Konkurrerande alternativ? Tryck **7 Feedback? Tryck 1 2 3 4 Lägg på luren
Cognitive Jogthrough En förenklad cognitive walkthrough Görs ofta i grupp
Cognitive Heuristisk GOMS User tests Walkthr. utvärdering Uppgiftsspecifik ja nej ja ja Ger motiv för ev. ja ev. nej (ja) felhandlingar Analyserar användarens ja nej ja ev. mentala processer Värderar inlärningstid ev. ev. ja ev. Utvärderar prestation nej nej ja ja
Litteraturreferenser Kirwan B. and Ainsworth L.K. A guide to task analysis. Taylor & Francis, London, 1992. Lewis C. och Wharton C. Cognitive walkthrough. Kapitel 30 i Handbook of Human Computer Interaction. Helander M., Landauer T.K.och Prablu P. (eds). 1997. pp 717-732 Polson P.G., Lewis C., Rieman J. och Wharton C. Cognitive Walkthrough: a method for theory-based evaluation of user interfaces. Int J Man-Machine Studies, 1992, 36, pp- 741-773 Ravden S. and Johnson G. Evaluating usability of human-computer interfaces - a practical method. Ellis Horwood Ltd., Chichester, 1989 Wharton C., Rieman J., Lewis C. och Polson P. The Cognitive Walkthrough Method: A practitioner s guide. Kapitel 5 i Usability Inspection Methods. Nielsen J. och Mark R.L. (eds). N.Y. John Wiley et sons, 1994. pp. 105-140.