Föreläsning 11, Mer utvärdering

Transkript

1 Föreläsning 11 Planera utvärdering Att läsa: Kapitel i Rogers et al.: Interaction Design Att planera utvärdering Vem, vilka? Att välja användare, antal Vad? Hur sätter man ihop lämpliga uppgifter? När? Hur lång tid ska man avsätta? Var? Särskild lokal eller på plats? Pilotprojekt Utifrån ovanstående gör man en plan, ska bygga på vetenskaplig grund Objektiv Upprepningsbar Granskningsbar Påståenden ska stödjas Använda vetenskapliga fakta Vedertagna metoder Mer utvärdering 2 Vetenskapliga experiment Testa hypoteser ett grundantagande, som man utgår ifrån Vårt system anses mer användbart än Y:s system Verdana är lättare att läsa än garamond på skärmen Relationer mellan två företeelser, variabler oberoende - den man väljer, 1-2 st. typsnitt beroende - den man avläser tid det tar att läsa texten Mer utvärdering 3 1

2 Användbarhetstest & forskning Användbarhetstest Förbättra produkter Få deltagare Resultat > design Inte helt upprepningsbart Villkor styrs så mycket som möjligt Planerad procedur Resultat ges vidare till utvecklare Experiment för forskning Upptäcka kunskap Många deltagare Resultat bekräftas statistiskt Ska vara återupprepningsbart Starkt styrda villkor Experimentdesign Resultat rapporteras i akademiska sammanhang Mer utvärdering 4 Att välja testanvändare Riktiga användare Smalare än aktuell grupp Utanför aktuell grupp Täcka in aspekter för aktuell grupp Ska slumpen styra? Sällan lämpligt, man vill försäkra sig om vissa egenskaper Ensam eller i par? Assistent? Mer utvärdering 5 Att engagera användare Formativt syfte: ofta rekommenderas 5 deltagare Dessa sägs täcka in 80 % av alla problem Forskare är inte ense i frågan Praktiker bokar ofta 5, men räknar med att 1-2 faller bort av olika skäl Antalet blir en avvägning, färre användare och fler iterationer kan vara önskvärt I särskilda fall testas till dess inga nya problem hittas Mer utvärdering 6 2

3 Bemötande Viktigt att informera om syfte, omfattning, eventuell inspelning, tillvägagångssätt mm Tänk särskilt på att informera om vad som förväntas av användaren Betona att det är programmet/systemet som ska bedömas, inte användarens insats Användaren ska ha rätt att avbryta när som helst Alla bemöts på samma sätt Mer utvärdering 7 Vad, vilka uppgifter? Vem hittar på uppgiften? Utvärderaren eller användaren? Ska man testa normalt beteende eller undantagsfall? Ska man styra uppgifterna? Beställ en resa till Mallorca i början av juli Beställ en resa Mer utvärdering 8 När? Att planera tiden Bedöm längden av en session introduktion, genomförande, avslutning Boka tid med användarna Räkna med flera iterationer och informera berörda om fler insatser Ta med förberedelser och efterarbete i tidsplanen Mer utvärdering 9 3

4 Övrigt praktiskt Boka lokaler Kontrollera programvara Skriv ut eventuella instruktioner Skriv ut eventuella formulär Var beredd på att vara mycket flexibel och tolerant Mer utvärdering 10 DECIDE: ramverk för utvärdering Determine the goals. Explore the questions. Choose the evaluation approach and methods. Identify the practical issues. Decide how to deal with the ethical issues. Evaluate, analyze, interpret and present the data. Mer utvärdering 11 Observationer Tänka-högt, verbala protokoll Förbered lämpliga prompter Vad tänker du på? Är det vad du förväntade dig? Vad hände nu? Anteckningar Förbereds om möjligt Mer utvärdering 12 4

5 Anteckningsformulär Mer utvärdering 13 Efterbehandling (postsession) För att klargöra något oklart Kan göras efter varje uppgift för att man ska minnas bättre Nödvändigt om tidtagning används Reservplan om tänka-högt upplevs som svårt Mer utvärdering 14 Standardformulär T.ex. SUMI, Likert-skalor, dvs. håller med/håller inte med/varken eller Exempel: Lätt att lära: Jag kommer inte att lära mig alla delar av systemet Hjälp: Instruktioner och hjälpfunktioner var till stor nytta Upplevelse av kontroll: Ibland vet jag inte hur jag ska gå vidare i systemet Mer utvärdering 15 5

6 QUIS Messages which appear on screen: Confusing clear NA Instructions for commands or choice: Confusing clear NA Man måste vara inloggad för att ta del av materialet licens krävs Mer utvärdering 16 Typer av resultat Tid att färdigställa en uppgift Tid att färdigställa en uppgift efter en specificerad tid utan att använda produkten Antal fel per uppgift och typ av fel Antal fel per tidsenhet Antal gånger de vänder sig till hjälpfunktioner eller manualer Antal användare som gör en viss typ av fel Antal användare som framgångsrikt lyckas utföra en viss uppgift Mer utvärdering 17 Övrigt Video/audio-inspelning Användarens samtycke Reservplan Användning: Illustrerar resultat i genomgång med teamet Eye-tracking, kan ge information om var användarna oftast tittar Specialskärm, kostsam Föra anteckningar Signalerar engagemang, backup, sånt som inte fångas av andra tekniker Mer utvärdering 18 6

7 Utvärderarnas roller och uppgifter Att behärska: Uppmuntra tänka-högt Objektiv forskare God antecknare Tekniker Observerare Rekryterare Statistik Enkätkonstruktion Intervjuteknik... och naturligtvis social kompetens Mer utvärdering 19 Utvärderingsmanus Färdiga formuleringar för lika bemötande Nödvändig/tillräcklig information Förutseende Mer specifikt: Välkomnande Introduktion till sessionen Medgivande, skriftligt eller muntligt? Frågor om testpersonen Introduktion till uppgifterna Avslutning Mer utvärdering 20 Pilotprojekt Varför gör man pilottest? Man vill testa utvärderingsmaterialet, fungerar det? Ger det användbara resultat? Användare behöver inte vara representativa i pilottestet Fokus på utvärderingsmaterialet, inte på interaktionen, för övrigt på samma sätt som den slutgiltiga utvärderingen Mer utvärdering 21 7

8 Mer om pilotprojekt Specifikt bör man testa Allt informationsmaterial De uppgifter testpersonerna ska utföra Eventuella frågor i enkäter eller frågeformulär Förstås vad som menas? Täcker de in viktiga aspekter? Är alla önskvärda svar möjliga att ge? Besvaras det man vill ha svar på? Om man hoppar över pilottest? Då blir första testomgången ett pilottest. Bättre att vara förberedd. Resultat från pilottestet? Spara, men designa inte om systemet. Mer utvärdering 22 Semiotic Engineering Semiotik teckenlära gest, symbol, ordval Semiotic Engineering betraktar interaktion i termer av designern som vill kommunicera något till användarna Semiotic Inspection Method expertutvärdering Communicability Evaluation Method genom observation fokuserar på när designerns budskap inte når fram, a breakdown 13 olika typer, t.ex. oj, vad är det?, var är den? Mer utvärdering 23 Modeller för designprocessen enkel modell för interaktionsdesign vattenfallsmodellen stjärnmodellen RAD (rapid applications development) DSDM lifecycle model Boehms modell usability engineering lifecycle Mer utvärdering 24 8

9 Enkel modell för interaktionsdesign Identify needs/ establish requirements (Re)Design Evaluate Build an interactive version Final product Mer utvärdering 25 Project set-up RAD (Rapid Applications Development) JAD workshops Iterative design and build minimal planering snabbt framtagna prototyper starkt samarbete disciplin hos individ, inte modell JAD= Joint Application Development, med intressenter Engineer and test final prototype Implementation review Mer utvärdering 26 DSDM lifecycle model Dynamic Systems Development Method Kännetecken: iterativ användarmedverkan fokus på att hålla budget att hålla stoppdatum att ledning stödjer projekt, delegering tillräckligt bra resultat Mer utvärdering 27 9

10 Spiralmodellen (Boehm) Kännetecken både top-down och bottom-up iterativ med fokus på prototyper risk analys Mer utvärdering 28 The usability engineering lifecycle Består av tre faser kravanalys design/test/utveckling installation Mycket detaljerad Iterativ i varje enskilt steg Mer utvärdering 29 10