Test och utvärdering - introduktion Systemering med användarfokus Malin Pongolini
ACD metoden: faserna Analys Användaranalys Uppgiftsanalys Kravställande Användbarhetskrav Funktionalitetskrav Design Prototyping Utvärdering
Utvärdering Att evaluera design av (digitala IT) artefakter Processen att systematiskt samla information som visar oss hur det är att använda systemet för en given användare eller användargrupp för ett specifikt syfte i en specifik situation. Att låta hypoteserna dö i vårt ställe
Varför utvärdera? Problem fixas innan leverans, inte efter Fokusering på riktiga problem, inte påhittade Programmerare kodar istället för att debattera Möjlighet att lära inför nästa system Möjlighet att lära om teknikanvändning Möjlighet återkoppling, att föra tillbaks kunskap om användning till organisationen, designlaget... Men, är det inte självklart att utvärdera?
Utvärdera mot vad? Mål Krav Kriterier Guidelines Målet med utvärdering: Hur väl uppfyller designen användarens behov och om de uppskattar lösningen Vad vill man ha fram vid nytt koncept? Nån typ av användbarhet. Vad ingår i detta begrepp?
Utvärdering av kvalitet att den färdiga artefakten överensstämmer med förväntningar hos målgruppen att artefakten uppfyller de krav som finns i kravspecifikationen att utvärdera mot användbarhet och funktionalitet att kunden/användaren är till 100% nöjd
Vad ska utvärderas? Produktfokus Gränssnittsfokus Protyp (tidig version) Systemets långsiktiga värde Artefaktsförändring Processfokus Användarnas utveckling och acceptans Designmetodik (metodval, lämplighet) Designprocessens aktörer (inverkan, medverkan)
Vad kan utvärderas? Utvärderingsnivåer: tekniken programvaran gränssnittet uppgiften användarna ergonomin kontext, miljön
När skall utvärdering göras? Under själva designprocessen Prototyping för att utforska krav Prototyping för att utvärdera realiserbara prototypförslag Inför implementering För test och utprovning För anpassning och revidering Longitudinellt efter viss tids användning 1 v 3 mån 10 mån 3 år
Test och utvärdering - metoder Systemering med användarfokus Malin Pongolini
Att veta hur man gör Designa och testa inte i en annan miljö än den artefakten/systemet ska användas i Designa och testa en bilstereo i dagsljus? Designa och testa en PDA inomhus? Designa och testa en webbplats för försäljning av barnkläder i kontorsmiljö? Designa och testa pappershanddukar i torr miljö?
Hur utvärdera? Olika utvärderingsmetoder Usability test Cognitive walkthrough Inspection methods Reviews (Tiger teams) Guidelines Heuristics Contextual Inquiry Talk out loud Fältstudie Etnografi
Vanliga utvärderingsmetoder Intervjuer Kvalitativ - uppfattningar, Kvantitativ - operationaliserade mål från t ex användbarhets/kravspecifikationen Enkäter och frågeformulär Användbarhetslaboratorium sk usability lab ; utprovning i en laborativ miljö; tala- och tänkahögt med videoinspelning i interaktion med programmet Demonstration med halvstrukturerad diskussion någon demonstrerar och leder ett seminarium Fokusgrupper Co-discovery
Vanliga utvärderingsmetoder, forts Heuristisk utvärdering en expert utvärderar mha sin erfarenhet och vissa designprinciper Erfarenhet Checklista Tumregler Guidelines Objektiv/subjektiv? Prototyping Utforskning Utvärdering gärna i form av papperskörning, jmf Utopia-projektet Olika versioner olika stadier
Användbarhetstest Usability test or evaluation - En del av en användarcentrerad metod Leder till: Problem löses innan artefakten lanseras Lösa äkta problem, inte upplevda Programmerare koncentrerar sig på programmering Tidsåtgång kortas Lägre kostnader Metoder Talk out loud Wizard of Oz Co-Discovery method
Wizard of Oz llustration av Anders Karlsson ur Lennart Molin (2002), Multimediautveckling konst eller teknik? Reflektioner kring produkt, process, kravarbete och kunskapsutbyte Karlstads Universitet
Co-operative evaluation (Co-design) Designers och användare utvärderar tillsammans en föreslagen designs användbarhet och modifierar designen baserat på utvärderingens resultat Seminariebaserad informell diskussion Fokusgrupper
Reviews Granskning av både mjukvaruprodukten (delar och komponenter i systemet, gui, kod, manual etc) software processen (dokument, flöden och aktörer/ansvar i processen) expertdominerad inhyrd eller egen avdelning subjektiv men försök till objektiv mha guidelines och checklistor Tiger teams
Upplägg för utvärdering Paradigm Quick and dirty Usability test Fältstudie Förutsägande Användarens roll Riktig användning Utför fördefinierade uppgifter Naturlig användning Inga användare Plats Riktig plats Lab Riktig plats Varsom, ofta hos kund Typ av data Kvalitativ, texter, video Kvantitativ, siffror Kvalitativ, texter, citat, scenarios Problemlistor, tidtagning Filosofisk approach Användarcentrerad praktisk, ethnoinspirerad Experiment, ingengörs-approach, kontroll Ethnoinspererad, längre tid Expertutvärdering, guidelines-inriktad.
Graden av verklighetsförankring vs kontrollerbarhet Noggrannhet Kontrollerad miljö Laboratorium Expertutfrågning Quick and Dirty Fältexperiment Relevans Verklig miljö Fältstudie
Svårigheter med utvärdering Att genomföra ett test Att övertyga kunden Övertyga din organisation Övertyga utvecklare Som expert inom användbarhet är det inte ovanligt att man får argumentera för sin egen existens varje dag vill du att någon ifrågasätter det du gjort?
Jobba på Formulera målet med utvärderingen Planera testet Vem är användaren Vad vill hon göra Hur ser kontexten ut Spårbara slutsatser från kravspecifikation Kommuincera och återge feedback Re-designa och iterera!