Teoretiska och empiriska ansatser I. C. MariAnne Karlsson Teori Empiri Utgångspunkt för kravbild / målbild för diagnos av problem för utvärdering av (design)lösning Scenario inkl. personas 1
Exemplet Diagnos/Utvärdering Informell Teoretiskt/expertbaserad/inspektion mha guidelines, tumregler, CW, HTA Empirisk användare använder produkten på ngt sätt och/eller ger sin bedömning, olika datainsamlingsmetoder 2
Alternativ kategorisering User-based Theory-based Expert-based (Maguire & Sweeny 1989) Alternativ kategorisering User-based Prestation (tid, # fel etc.) Icke-verbalt beteende (ögonrörelser etc.) Attityd (verbala yttringar) Kognition (verbala protokoll) Stress (galvanisk mätning, hjärtfrekvens) Motivation (verbala yttringar) Theory-based Expert-based Alternativ kategorisering User-based Theory-based Prestation (tid, lärbarhet), t.ex. CLG, TAG, GOMS, CCT Expert-based 3
Alternativ kategorisering User-based Theory-based Expert-based Heuristisk bedömning mha guidelines Professionell bedömning av potentiella användbarhetsproblem Heuristisk värdering Inspektionsmetod En liten grupp utvärderare värderar ett (produkt)gränssnitt utifrån ett antal uppställda designkriterier eller guidelines Exempel på guidelines Använd enkel och naturlig dialog Tala användarens språk Minimera användarens minnesbelastning Var konsekvent Ge feedback Erbjud genvägar Erbjud utvägar Formulera tydliga felmeddelanden Förhindra felhandlingar 4
Antal utvärderare? 5 utvärderare upptäcker mellan 50 och 80% 10 utvärderare upptäcker mellan 75 och 90% 20 utvärderare upptäcker mellan 75 och 90% Cognitive walkthrough Expertutvärdering (peer review) Ett antal bedömare utvärderar: The ease by which a typical user can perform a task using an interface design with little or no formal instruction or informal coaching. En beskrivning av användargränssnittet, ett uppgiftsscenario, en procedur, en detaljerad beskrivning av användarna, samt en beskrivning av användningsmiljön 5
Utgångspunkt - utforskandet Relaterar till teoretiska modeller för lärande Norman s theory of action (goal -> plan -> execution of action -> evaluation of feedback -> revision of goals -> ) Mål <-> Handling Användarens uppgift (task) Målet (= den övergripande uppgiften) bryts ner i delmål och delmålen i handlingar HTA Användarens mål <-> representationen av handlingen för att nå målet Handlingen - trycka på knappen - väljs pga att knappen har en kodbeteckning vilken stämmer överens med användarens mål Steg 1 - Förberedelse Definiera uppgifter (tasks) Uppgiften skall beskrivas utifrån en helt novis användares perspektiv (1:a gångs användare) Systemets utgångsläge måste beskrivas Beskriv den bästa handlingssekvensen som krävs för att genomföra uppgiften, med vilken detaljeringsnivå kan diskuteras (jfr hierarkisk uppgiftsanalys, HTA) Definiera användargruppens förutsättningar, förkunskaper, etc. Beskriv vilket mål användaren har initialt 6
HTA: grafisk presentation Hur görs det? HTA, utföra infusion 0. Utföra infusion med infusionspump Varför görs det? 1. Förbered medicin 2. Förbered infusionsaggregat 3. Montera infusionsaggregat 4. Programmera pumpen 5. Övervaka pumpen 1.1 Öppna 1.2 Mät upp förpackning rätt mängd 3.1 Öppna mekanism 3.2 Montera slang 3.3 Stäng mekanism 3.2.1 Fäst in övre klack 3.2.2 Fäst in nedre klack Steg 2 - Utvärdering Analyser genomförs för vart och ett av de handlingssteg som beskrivits i steg 1. Analys 1 - jämförelse mellan användarens mål och de mål som krävs för att interagera med användargränssnittet - Har användaren rätt mål? Målrelaterade problem - användaren försöker göra fel sak Ex. Tryck på 5 <-> Avsluta Analys 2 - problem associerade med val av handling Handlingsrelaterade problem - användaren försöker göra rätt men kan inte förstå hur man ska göra Handlingen måste vara tillgänglig och användaren måste veta att det är en möjlig handling Ex. om ett möjligt alternativ inte finns listat i menyn, hur skall användaren då veta att alternativet är ett möjligt val? Alternativet måste vara kodat så att handlingsalternativet kan associeras med målet för handlingen Användaren måste ha tid att göra rätt val Handlingen måste vara enkel att utföra 7
Analys 3 - ev. korrigering av målbild givet den feedback som erhållits från systemet Användaren måste uppfatta att och vilka delmål som uppnåtts Användaren måste också uppfatta att och vilka delmål som inte uppfyllts CW, procedur Analysen genomförs genom att fyra frågor ställs vid varje steg i handlings-sekvensen Frågorna besvaras med Ja med motivering (success story) Nej med motivering: problem identifierat (failure story) CW, procedur 1. Kommer användaren att försöka utföra korrekt handling? 2. Kommer användaren upptäcka att korrekt handling är tillgänglig? 3. Kommer användaren att associera korrekt handling med önskad effekt? 4. Kommer användaren få feedback för att förstå att handlingen korrekt utförd? 8
Exempel: Jag vill ha hänvisning på alla mina samtal till 772 1234 Korrekt handlingssekvens Lyft luren Tryck ##7 Lägg på luren Lyft luren Tryck **7 Tryck 1 2 3 4 Lägg på luren Användbarhetstest En utvärdering där ett urval användare genomför/löser ett antal uppgifter mha produkten. Användartester (1) VEM? Vilka deltagare? VAR? I lab-miljö eller i verklig användningsmiljö? VAD? Skiss? Datoranimering? Prototyp? Innehåll? Funktionalitet? 9
Användartester (2) HUR? Procedur? Uppgifter? Kriterier? Mätinstrument? VARFÖR? Var? Fälttester + verklig användningsmiljö, verkliga uppgifter - ingen kontroll? tillgänglighet/möjlighet att observera Lab-tester - overklig användningsmiljö, ålagda uppgifter + kontroll -> jämförelse + tillgänglighet/möjlighet att observera Vem? Rekommendationen är representanter för målgruppen Statistiska eller teoretiska (subjektiva) urval? Representativa eller kritiska urval? Noviser eller experter? noviser/experter map teknikvana noviser/experter map domänkunskap 10
Andra än användare? En eller två användare samtidigt? Constructive interaction / Co-discovery Antal? Den s.k. mättnadspunkten uppnås normalt vid mellan 12-20 personer något beroende på målgruppens homogenitet. Vad? Hela eller delar av produkten/gränssnittet? minimum: före- och efterstudier bör testa samma typ Funktionalitet och omfattning? Papper? Animation? Prototyp? ex. Wizard-of-Oz -tester Enbart produkten eller också information/dokumentation? Hur? Procedur? introduktion, test, värdering, ev. mätning Beskriv syftet med utvärderingen. Ange t.ex. om testen spelas in på olika sätt. Informera om möjligheten att dra sig ur, etc. dokumentation(bandspelare? kamera?) hjälp? utbildning, träning? max-tid? provokation? Så snabbt som möjligt...! 11
tänka-högt? Att tänka högt kan påverka användarens beteende - både positive och negativt retrospektiv värdering, ad hoc procedur loggning? Kommentar Valet av metod påverkar resultatet Skriva kommentarer genererar mindre information än att verbala kommentarer. Metoden styr typen av information t.ex. vid utvärdering av manualer skriva frågor -> fokus: innehåll verbala kommentarer -> fokus: ord och innehåll Uppgifter? representativa uppgifter/frågor alt. kritiska? Rekommendation: ordning enkel -> ökande svårighetsgrad -> enkel Rekommendation: scenario-baserade uppgifter Uppgifterna styr resultatet jfr. Ställ in pizzaläget! vs. Du skall baka en pizza. Ställ in ugnen på lämpligt sätt. Rekommendation: uppgifter/frågor på papper minimera memorering av uppgifter -> tar arbetsminne i anspråk 12
Exempel Uppgift Ett företag som heter Företagshälsan har utvecklat en tjänst på Internet. Gå till www.foretagshalsan.com Om Du enbart betraktar startsidan, vilken tjänst är det företaget erbjuder tror Du? Kriterier? Mått? Instrument? effektivitet? prestation? tillfredsställelse? begriplighet? objektiva kriterier och mått: ex. effektivitet kan mätas i termer av tid eller fel subjektiva kriterier och mått: ex. begriplighet, tillfredsställelse mm kan mätas mha subjektiv skattning (i enkät eller intervju) rekommendation: både objektiva och subjektiva bör användas för värdering: användbarhet =effektivitet och tillfredsställelse Exempel på... Objektiva mått Total tid för att slutföra en viss uppgift Antal uppgifter / tidsenhet eller inom ramen för tiden x Antal interaktioner eller fel per uppgift Antal fel Total tid för att korrigera fel Antalet hjälptillfällen Antal kommandon/knapptryckningar/motsvarande per uppgift 13
Subjektiva mått Exempel på... Preferens, dvs. antalet personer som föredrar en viss lösning framför en annan (ej möjlig i between-subject test). Antalet positiva resp. negativa omdömen under testen. Antalet tillfällen användaren uttrycker frustration. Skattning av tillfredsställelse, mm. Exempel på skattningsskalor X Inte alls Helt of fullt En 100 mm lång skala där testpersonen sätter ett kryss som markering på sin bedömning.man mäter sedan avståndet i mm från 0 läget till kryssets mitt. Avståndet i mm = skattning (t.ex. 33 mm = värde 33) 1 2 3 4 5 Välj inte en alltför lång skala om ett fåtal testpersoner. Jämn eller ojämn beror på frågeställningen. 14
Ange i vilken utsträckning Du håller med om följande påstående: Dessa symboler var enkla att förstå. Håller Håller inte med alls helt och med fullt Within-subjects Samma person utvärderar de olika versionerna av gränssnitt Jämförelser, preferenser möjliga (+) men leder till inlärning och ev. uttröttning (-) Between-subjects Olika personer utvärderar de olika versionerna v gränssnitt Subjektiva jämförelser omöjliga (-) Jämförbara testgrupper är mycket svårt att nå Testordning Lösning A Lösning B Lösning C Fp 1 1 2 3 Fp 2 2 3 1 Fp 3 3 2 1 Slumpmässig? Finns risk för bias! Fp 4 2 1 3 Fp 5 3 1 2 Fp 6 etc. 15
Identifierade användbarhetsproblem mha olika metoder Empiriska test Team WT Indiv. WT 421 115 78 159 68 49 Överensstämmelse User Task Technical system Environment Heuristic General user - Interface design - CW Assumed (novice, expert) Goal, sub-goal Interface design? HTA Usability test - Intended users Organization of task in relation to goal Intended (but most often predefined) - Interface design - Possibly (?) 16
Litteratur Nielsen J (1993); Usability Engineering, Academic Press, London. Jordan P.W., Thomas B., Weermeester B.A., McClelland I (1996): Usability evaluation in industry. Taylor & Francis Ltd, London. Jordan P.W. (1998): An introduction to usability. Taylor & Francis Ltd, London. 17