Föreläsning 11, Planera utvärdering. Att planera utvärdering. Vetenskapliga experiment. Kapitel i kursboken

Transkript

1 Föreläsning 11 Planera utvärdering Kapitel i kursboken Att planera utvärdering Vem, vilka? Att välja användare, antal Vad? Hur sätter man ihop lämpliga uppgifter? När? Hur lång tid ska man avsätta? Var? Särskild lokal eller på plats? Pilotprojekt Utifrån ovanstående gör man en plan, ska bygga på vetenskaplig grund Objektiv Upprepningsbar Granskningsbar Påståenden ska stödjas Använda vetenskapliga fakta Vedertagna metoder 2 Vetenskapliga experiment Testa hypoteser ett grundantagande, som man utgår ifrån Vårt system anses mer användbart än Y:s system Verdana är lättare att läsa än garamond på skärmen Relationer mellan två företeelser, variabler oberoende - den man väljer, 1-2 st. typsnitt beroende - den man avläser tid det tar att läsa texten 3 1

2 Att välja testanvändare Riktiga användare Smalare än aktuell grupp Utanför aktuell grupp Täcka in aspekter för aktuell grupp Ska slumpen styra? Sällan lämpligt, man vill försäkra sig om vissa egenskaper Ensam eller i par? Assistent? 4 Hur många ska man välja? Formativt syfte: ofta rekommenderas 5 deltagare Dessa sägs täcka in 80 % av alla problem Forskare är inte ense i frågan Praktiker bokar ofta 5, men räknar med att 1-2 faller bort av olika skäl Antalet blir en avvägning, färre användare och fler iterationer kan vara önskvärt I särskilda fall testas till dess inga nya problem hittas 5 Bemötande Viktigt att informera om syfte, omfattning, eventuell inspelning, tillvägagångssätt mm Tänk särskilt på att informera om vad som förväntas av användaren Betona att det är programmet/systemet som ska bedömas, inte användarens insats Användaren ska ha rätt att avbryta när som helst 6 2

3 Vad, vilka uppgifter? Vem hittar på uppgiften? Utvärderaren eller användaren? Ska man testa normalt beteende eller undantagsfall? Ska man styra uppgifterna? Beställ en resa till Mallorca i början av juli Beställ en resa 7 När? Att planera tiden Bedöm längden av en session Boka tid med användarna Räkna med flera iterationer och informera berörda om fler insatser Ta med förberedelser och efterarbete i tidsplanen 8 Övrigt praktiskt Boka lokaler Kontrollera programvara Skriv ut eventuella instruktioner Skriv ut eventuella formulär Var beredd på att vara mycket flexibel och tolerant 9 3

4 Observationer Tänka-högt, verbala protokoll Förbered lämpliga prompter Vad tänker du på? Är det vad du förväntade dig? Vad hände nu? Anteckningar Förbereds om möjligt 10 Anteckningsformulär 11 Efterbehandling (postsession) För att klargöra något oklart Kan göras efter varje uppgift för att man ska minnas bättre Nödvändigt om tidtagning används Reservplan om tänka-högt upplevs som svårt 12 4

5 Standardformulär T.ex. SUMI, Likert-skalor, dvs. håller med/håller inte med/varken eller Exempel: Lätt att lära: Jag kommer inte att lära mig alla delar av systemet Hjälp: Instruktioner och hjälpfunktioner var till stor nytta Upplevelse av kontroll: Ibland vet jag inte hur jag ska gå vidare i systemet 13 QUIS Messages which appear on screen: Confusing clear NA Instructions for commands or choice: Confusing clear NA Man måste vara inloggad för att ta del av materialet licens krävs 14 Övrigt Video/audio-inspelning Användarens samtycke Reservplan Användning: Illustrerar resultat i genomgång med teamet Eye-tracking, kan ge information om var användarna oftast tittar Specialskärm, kostsam Föra anteckningar Signalerar engagemang, backup, sånt som inte fångas av andra tekniker 15 5

6 Utvärderarnas roller och uppgifter Att behärska: Uppmuntra tänka-högt Objektiv forskare God antecknare Tekniker Observerare Rekryterare Statistik Enkätkonstruktion Intervjuteknik... och naturligtvis social kompetens 16 Utvärderingsmanus Färdiga formuleringar för lika bemötande Nödvändig/tillräcklig information Förutseende Mer specifikt: Välkomnande Introduktion till sessionen Medgivande, skriftligt eller muntligt? Frågor om testpersonen Introduktion till uppgifterna Avslutning 17 Pilotprojekt Varför gör man pilottest? Man vill testa utvärderingsmaterialet, fungerar det? Ger det användbara resultat? Användare behöver inte vara representativa i pilottestet Fokus på utvärderingsmaterialet, inte på interaktionen, för övrigt på samma sätt som den slutgiltiga utvärderingen 18 6

7 Mer om pilotprojekt Specifikt bör man testa Allt informationsmaterial De uppgifter testpersonerna ska utföra Eventuella frågor i enkäter eller frågeformulär Förstås vad som menas? Täcker de in viktiga aspekter? Är alla önskvärda svar möjliga att ge? Om man hoppar över pilottest? Då blir första testomgången ett pilottest. Bättre att vara förberedd. Resultat från pilottestet? Spara, men designa inte om systemet. 19 Modeller för designprocessen enkel modell för interaktionsdesign vattenfallsmodellen stjärnmodellen RAD (rapid applications development) DSDM lifecycle model Boehms modell usability engineering lifecycle 20 Enkel modell för interaktionsdesign Identify needs/ establish requirements (Re)Design Evaluate Build an interactive version Final product 21 7

8 Project set-up RAD (Rapid Applications Development) JAD workshops Iterative design and build minimal planering snabbt framtagna prototyper starkt samarbete disciplin hos individ, inte modell JAD= Joint Application Development, med intressenter Engineer and test final prototype Implementation review 22 DSDM lifecycle model Dynamic Systems Development Method Kännetecken: iterativ användarmedverkan fokus på att hålla budget att hålla stoppdatum att ledning stödjer projekt, delegering tillräckligt bra resultat 23 DSDM lifecycle model. n 24 8

9 Spiralmodellen (Boehm) Kännetecken både top-down och bottom-up iterativ med fokus på prototyper risk analys 25 Spiralmodellen (Boehm) 26 The usability engineering lifecycle Består av tre faser kravanalys design/test/utveckling installation Mycket detaljerad Iterativ i varje enskilt steg 27 9