Föreläsning 3: Mer om utvärdering, Inspektionsmetoder kan man utvärdera utan användare? FSR: (1), 2, 5, (6), 7 Att läsa: Kapitel 14-15 i Rogers et al.: Interaction design
160405 Mer om utvärdering 2
Översikt Att kunna om utvärdering utan användare mm Etnografisk metod Hypotestestning Analys Vad betyder bra? Fler aspekter att beakta Utvärdera utan användare Heuristisk utvärdering Cognitive Walkthrough (kognitiv genomgång) Prediktiva modeller 160405 Mer om utvärdering 3
Att kunna om utvärdering utan användare mm Känna till, beskriva och i enkla projekt tillämpa etnografisk metod, inspektionsmetoder och prediktiva metoder Känna till grundläggande begrepp kopplade till hypotestestning och veta vad de står för i det sammanhanget Förstå grunderna i att analysera, och kunna tillämpa detta, samt känna till ett antal grunder för analys Kunna förklara vad utvärdering utan användare kan bidra med Kunna exemplifiera ett antal sätt att definiera vad bra kan betyda när man granskar användargränssnitt och interaktionsdesign Kunna redogöra för minst fem designprinciper / heuristiker (Nielsens) inom interaktionsdesign 160405 Mer om utvärdering 4
Etnografisk metod Används inom antropologi och etnologi Syfte: Ta reda på hur människor verkligen gör när de arbetar eller leker in the wild. Interaktionsdesign: utveckla förståelse för dagligt arbete och teknologier som används i dagligt arbete. Datainsamlingstekniker: Intervjuer Observationer Deltagande-observationer Innebär att tillbringa mycket tid med och delta i vardagligt liv hos de personer man studerar Utvecklades under sent 1800-, tidigt 1900-tal Flexibel ansats: Studien tar form allteftersom, man följer upp oväntade, intressanta händelser 160405 Mer om utvärdering 5
Hypotestestning När? För att jämföra två eller flera designförslag Nollhypotes: båda likvärdiga Variabler: Oberoende, som fastslås Beroende, som mäts storlek; plats; struktur; utseende; terminologi; funktionalitet Statistisk bearbetning Inte så vanligt i mindre projekt Statistisk analys ingår inte i denna kurs 160405 Mer om utvärdering 6
Analys Ett sätt att strukturera eller dela upp data Kan vara Baserat på genomförda uppgifter Feltyper Användbarhetsmål Designprinciper systemet bryter emot Reaktioner och känslouttryck, att inte vilja använda produkten Andra ramverk och aspekter Beaktas redan när utvärderingen planeras 160405 Mer om utvärdering 7
Vad betyder bra? antal fel per tidsenhet/uppgift hur definiera fel? antal steg/knapptryckningar antal avklarade uppgifter på viss tid hur lång tid en uppgift tar att lösa hur många som tycker att det var bra hur många som löser uppgifter på viss tid hur de reagerar (och hur många) kul, intressant, måste testa hemma fattar inte, njaa, svårt 160405 Mer om utvärdering 8
Fler aspekter Hur många ska man ta med? Målet är att hitta så många problem som möjligt. 5 st. säger Jakob Nielsen Fel problem enligt Dennis Wixon (Barnum et al., 2003)* Ska man testa själva användargränssnittet eller hela användningssituationen? Think-aloud vid observation * Barnum, C et al. (2003). The Magic Number 5 : Is It Enough for Web Testing. In Proceedings of CHI 2003, ACM Press. 160405 Mer om utvärdering 9
Att utvärdera utan användare Som komplement Vid brist på användare Utförs ofta av experter Inspektionsmetoder: Heuristisk utvärdering Kognitiv genomgång (cognitive walkthrough) Prediktiva metoder GOMS (goals-operators-methods-selection rules) KLM (keystroke level model) Fitts lag Ger kvantitativa resultat, uttryckt i tid 160405 Mer om utvärdering 10
Heuristisk utvärdering Genomförs genom att ett antal uppgifter att utföra tas fram Sedan går man igenom dessa och undersöker om ett antal heuristiker (riktlinjer) är uppfyllda Jakob Nielsen har ett antal generella heuristiker, men det kan även vara mer specifika, t.ex. för webb Helst ska flera experter göra detta, gärna fem stycken 160405 Mer om utvärdering 11
Nielsens heuristiker (engelska) Visibility of system status Match between system and the real world User control and freedom Consistency and standards Error prevention Recognition rather than recall Flexibility and efficiency of use Aesthetic and minimalist design Help users recognize, diagnose, and recover from errors Help and documentation 160405 Mer om utvärdering 12
Nielsens heuristiker (svenska) Systemets aktuella tillstånd ska vara synligt Matchning mellan system och fysisk värld Användarkontroll och frihet Konsekvens och standarder Förhindra fel Känna igen sig snarare än att erinra sig Flexibilitet och effektivt användande Estetik och minimalistisk design Hjälpa användare att identifiera, förstå och återhämta sig från fel Hjälp och dokumentation 160405 Mer om utvärdering 13
Cognitive Walkthrough Utvärderare och designer sätter sig in i användares situation utifrån lätt-att-lära Man går igenom specifika uppgifter och ställer frågor i varje steg: Är den korrekta handlingen tillräckligt uppenbar? Är denna handling lätt att se i gränssnittet? Är det lätt att se och bedöma det som händer? Detta visar på problemområden och förhoppningsvis vilka åtgärder som behövs Variant: Pluralistic walkthrough först genomgång, sedan diskussion, både användare och experter 160405 Mer om utvärdering 14
Prediktiva modeller För att beräkna tidsåtgång för en uppgift GOMS Goals det mål man vill åstadkomma Operators grundhandlingar att tillgå Methods operatorer i kombination Selection rules det som gör att man väljer en specifik metod Varje operator kan tidsbestämmas Resultatet blir en tidsuppskattning för att nå målet KLM- keystroke level model, knapptryckningsmodell Varje moment (även mental förberedelse och datorns svarstid) räknas ihop Fitts lag hur lång tid en förflyttning tar: T= k log (D/S + 1.0) T=tid D=avstånd, S=storlek k=en konstant 160405 Mer om utvärdering 15
GOMS 160405 Mer om utvärdering 16
Diskussionsfrågor I vilken typ av situation är det viktigt att använda prediktiva metoder? Bör man testa med användare eller experter tidigt i utvecklingsprocessen då man kanske bara har skisser? Vad kan skilja i resultat mellan expertutvärdering och utvärdering med användare? Vad är egentligen en expert? Ge exempel på olika typer av experter. Vad påverkar vilken av heuristikerna man skulle prioritera före nån annan? Passar exempelvis GOMS-metoden för utvärdering av webbsida? Vilken typ? Typ av resultat? 160405 Mer om utvärdering 17
Synpunkter på dagens föreläsning Gå till webbsidan www.govote.at ange koden: 69 33 99 Besvara frågorna, obs! två sidor Frågorna är följande: Det här saknade jag exempel på (ge gärna förslag på egna exempel om du kan): Det här kände jag till sen förut: Det här behöver förklaras mer: Övriga synpunkter på innehåll och upplägg: 160405 Mer om utvärdering 18