Utvärderingsmetoder inom MDI DH2408 Introduktion Ann Lantz, Associat professor, alz@kth.se Elina Eriksson, phd-student, elina@kth.se Rebekah Cupitt, phd-student ebekah@csc.kth.se Kursens mål diskutera den teoretiska bakgrunden till utvärdering av användbarhet inom människa-datorinteraktion. veta hur användbarhet praktiseras i industrin i olika stadier i en produktutvecklingsprocess samt hur produkter utvärderas i användbarhetslaboratorier. planera och genomföra olika typer av användbarhetsutvärderingar. ha förmåga att välja utvärderingsmetod baserat på det problem och sammanhang studenten ställs inför. bedöma de olika metodernas möjligheter och begränsningar. kommunicera resultat från utvärderingar på ett sätt som är användbart för en produktutvecklingsgrupp. För att ni ska ha förmågan att resonera om användbarhet och kunna förstå vilket syfte en användbarhetsutvärdering kan fylla i olika delar av en produktutvecklingsprocess självständigt kunna genomföra utvärderingar inom människadatorinteraktionsområdet vara kapabel att kritiskt granska en användbarhetsutvärdering som någon annan gjort. 1
Praktiska detaljer Kurshemsida: http://www.csc.kth.se/utbildning/kth/kurser/dh2408/utvardh11/ Kurslitteratur: Handbook of Usability Testing, Jeffrey Rubin, Wiley, 2008. Kursbunt finns på CSC-studentexpeditionen: Borg, E. & Westerlund, J. (1991). Statistik för beteendevetare. Liber, 178-193. Bälter, O., & Augustsson Bälter, K. (2005). Demands on web survey tools for epidemiological research. European Journal of Epidemiology, 137-139. Lantz, A. (1993). Intervjumetodik. Lund: Studentlitteratur. Obligatoriska moment Obligatorisk närvaro 2011-11-02 Litteraturseminarium om en utvärderingsmetod 2011-11-17 Diskussionsseminarium om pågående projekt 2011-11-30 alt. 2011-12-01 (10-12) alt. 2011-12-01 (13-15) Slutredovisning Obligatoriska inlämningsuppgifter 2011-10-28 Inlämning 1: Seminarieuppgift: användbarhetsmetoder, 1/2 A4-sida (Gruppuppgift) 2011-11-04 Inlämning 2: Utvärderingsartefakt och metod ska vara vald, 1 A4-sida (Gruppuppgift) 2011-11-11 Inlämning 3: Plan för utvärderingen ska vara klar, 2 A4-sida (Gruppuppgift) 2011-11-23 Inlämning 4: Progressrapport skall vara inlämnad. 1 A4-sida (Gruppuppgift) 2011-12-07 Inlämning 5: Inlämning av slutrapport (Gruppuppgift) Utvärderingsuppgift Under kursens gång ska ni planera och genomföra en användbarhetsutvärdering i grupper om fyra personer. 4 nov. Grupper bildade, val av system 1A4 samt val av utvärderingsmetod och operationaliseringar. 11 nov. Full beskrivning av genomförande. 2A4 Tidsplan klar inkl. bokningsönskemål gällande labbet och fältvideokameror. 17 nov. Diskussionsseminarium om projekten 23 nov. Progressrapport inlämnad 1A4 30 nov, 1 dec. Slutredovisning av projektet 7 dec. Inlämning av slutrapport max 5000ord 2
Utvärderingsuppgiften Granska kritiskt möjligheten att på ett bra sätt utvärdera det gränssnitt och den frågeställning som ni har valt innan ni sätter igång. Vilka problem kan ni förutse? Är det möjligt att utvärdera det delsystem/de funktioner som ni har valt att utvärdera med fokus på något av följande? att jämföra olika versioner av samma delsystem/funktion att jämföra olika interaktionssätt i samma delsystem/funktion att jämföra olika presentationssätt i samma delsystem/funktion att jämföra olika målgrupper som använder samma delsystem/funktion att jämföra olika kontexter där samma delsystem/funktion används Inlämning 1: Seminarieuppgift användbarhetsmetoder Litteraturseminarium om användbarhetsmetoder under en del av lektionen. Alla förväntas hitta intressanta/nya utvärderingsmetoder och delta aktivt i diskussioner i mindre grupper. Metoder som involverar användare. Alla skriver 1/2 A4 om en utvärderingsmetod, gärna någon som ej finns i kursboken. Motivera varför ni upplever att metoden är intressant. Tips: ACM digital library (http://portal.acm.org/dl.cfm) Texten skickas till Ann via email senast den 28 okt. kl. 23.59 samt medtages till seminariet den 2 nov. då ett urval av metoder beskrivs för de andra. Målet är att vi som grupp samlar en mängd exempel på utvärderingsmetoder på kort tid som görs tillgängliga på kurshemsidan. Vad är användbarhet? Det beror på Användbarhet är inget som kan bestämmas i sig. Den är alltid knuten till en kontext vissa användare som ska lösa en viss uppgift i en viss miljö. En produkts användbarhet kan minska (eller öka) om någon av dessa faktorer förändras. I denna kurs ska vi studera hur man kan ta reda på om en produkt är ändamålsenlig, effektiv och för användaren tillfredsställande. 3
Vad är användbarhet? Definition: ISO (International Organization for Standardization) 9241-11 Användbarhet: I hur hög grad en specifik användare i ett givet sammanhang kan bruka en produkt för att uppnå specifika mål på ett ändamålsenligt, effektivt och för användaren tillfredsställande sätt. Användarcentrerad designprocess ISO 13407 1. Planering av användar- centrerad process Möter kraven 5. Användbarhetsutvärdering Uppfylla kravspecifikation 2. Specificering av anv. sammanhanget. Användaren: kunskaper, erfarenheter, vana, kultur. Miljön: platsen, befintliga system & hjälpmedel. Arbetsuppgifter: hur ofta arbetsflöde, önskat resultat, befogenheter/ansvar, behov för att lösa uppg. 3. Specificering av 1)användar- nas & 2)organisationens krav. 1.funktionalitet, interaktionssätt, struktur, terminologi, anv.stöd, 2.verksamhetens syfte, kostnad, underhåll, arbetsflöde, identitet 4. Produktion av designlösningar Utvärderingstyper Explorativ, används tidigt i produktionscykel: Funkar den här idén? Pappersmockup, workshop, fokusgrupp, ger kvalitativa resultat Bedömande, en bit in i implementationen: Hur bra är det här? En riktig uppgift, mindre interaktion, mer kontroll, kvantitativa och kvalitativa data samlas Validerande, mot (nästan) färdig produkt: Uppfyller det här kraven? T.ex. Nybörjare ska klara att utföra 75% av alla uppgifter vid första försöket experter 90%. Jämförande, i godtyckligt stadium: Är A eller B bättre? Experimentell studie som ger kvantitiv och kvalitativa data. 4
Vad påverkar och vad påverkas? ISO 9241-11 Faktorer som kan specificeras Faktorer i användningskontexten Faktorer som kan mätas Användbarhetsmått Användaren Uppgiften Produkten Miljön Ändamålsenlighet Effektivitet Tillfredsställelse Mjukvarukvalitet ISO 9126 Funktionalitet Prestation Pålitlighet Användbarhet Robusthet Underhåll Användbarhet ISO 9241-11 Ändamålsenlighet nå målen, klara uppgiften fri från fel Effektivitet-produktivitet hur mycket tid och andra resurser som krävs Tillfredsställelse bekvämlighet acceptans Hur mäter man användbarhet? Faktorer som kan mätas Användbarhetsmått Ändamålsenlighet Effektivitet Tillfredsställelse Precision, felfrihet Antal klarade uppgifter Optimal väg Tid att utföra uppgifter Upplevd kontroll Upplevd effektivitet Lätt att förstå Förutsägbart Uppfyller syfte Attraktiv, roligt 5
Fler användbarhetsdimensioner Lättlärdhet Flexibilitet Hur lätt är det att lära sig produkten och sedan komma ihåg vad man lärt sig. Skillnaden i tid vid första användningstillfället jämfört med andra. Hur lätt är det att anpassa produkten till nya förhållanden. Effekten av att variera uppgiften, kontexten el. målgruppen Förståelighet Hur lätt är det att förstå vad man gjort och vad man kan göra nu. Genomströmning Hur mycket kan man få gjort. Fler förslag ex. underhållningsvärde? Hur utvärderar man dessa faktorer kvantitativt & kvalitativt? Standardiseringsorganisationer Standarder arbetas fram av internationella standardiseringsorganisationer som tex: ISO International Organization for Standardization ETSI European Telecommunications Standards Institute BSI SIS British Standards Institution Standardiseringen i Sverige Olika kategorier av utvärderingsmetoder Modellbaserad utvärdering Kvantitativa/kvalitativa uppskattningar Expertgranskning, heuristisk utvärderingar, designprinciper. Medverkande utvärdering Representativa användare (ca 5 för mättnad) utför realistiska uppgifter. Subjektiva Frågeformulär för att mäta användarens subjektiva uppfattning eller intervjuer som ger kvalitativ information. Små och storskaliga labbtester Kontrollerade tester där beteende loggas. 6
Subjektivt / objektivt Det objektiva är det vi kan se som utomstående betraktare. Det subjektiva är det försökspersonen rapporterar att denne upplever. Det betyder inte att det subjektiva är vare sig godtyckligt eller försumbart. Den uppfattning en person bildar om en produkts användbarhet under de första sekundrarna avgör i vissa fall om de kommer att använda den. Upplevd förmåga att använda en produkt kan vara viktigare än den faktiska prestationen. Det är därför viktigt att mäta både den subjektiva upplevelsen och beteendet. Kvantitativt och kvalitativt Kvantitativt är när vi mäter kvantiteter av någonting. Enkätsvar där skalor använts ger subjektiv kantitativ data. Om vi mäter hur lång tid en uppgift tar får vi objektiv kvantitativ data. Kvalitativt är när vi tolkar texter, verbal kommunikation eller beteenden. Personers svar vid en intervju ger subjektiv kvalitativa data. Videoinspelat beteende ger objektiv kvalitativ data...men om personen yttrar värderingar eller åsikter är detta subjektiv data.eller? Varför testa? Användbarhetsstudier kostar tid och pengar i allt kortare produktionscykler, räcker det inte med att man följer guidelines? Användbarhet uppstår i kombinationen av faktorerna användargrupp, miljö och uppgift. Oväntade effekter uppstår i princip alltid. Vi behöver fånga upp dessa så tidigt som möjligt. 7
Varför testa? Det viktigaste användbarhetskravet är att produkten ska låta användaren lösa sin uppgift. Användarcentrerad utveckling ökar chansen att utvecklarna förstått uppgiften, men att användbarhetsmålen uppnåtts måste kontrolleras. Användbarhetsproblem hittas i princip alltid vilket kräver modifiering av systemet. Varför testa? Många produkter används i situationer där de påverkar liv, hälsa och ekonomi. Det får inte vara ens produkts fel om någon kommer till skada. Den mänskliga faktorn uppstår i kombination med den maskinella faktorn. Varför testa? Ökad användbarhet sparar tid och pengar för användaren/kunden och också för utvecklaren i och med mindre supportbehov. Användbarhet är en konkurrensfördel som man diskuterar i media. Över flera generationer av mjukvara bör användbarheten helst öka, absolut inte minska. 8
Utvärdering löser inte alla problem Det är i praktiken omöjligt att testa alla delar av en någorlunda komplex produkt. Det är också omöjligt att testa alla potentiella användare. Vi har alltid ofullständig (men förhoppningsvis inte falsk) information. Val görs inför utvärderingen om vilken målgrupp och vilka uppgifter som testas och även vilka kontexter man testar i. Utvärdering löser inte alla problem Att man identifierat ett problem betyder inte att man automatiskt har lösningen på det. Ofta skapar den lösning man trodde var bättre nya problem, testa igen. Olika krav strider många gånger mot varandra. Konsten är att kunna gå från testresultat till en bra och användbara rekommendationer. Man kan inte utvärdera sig själv Utvärderingar ska inte utföras av utvecklarna själva. Inte heller bör de ingå som försökspersoner, ens om de skulle tillhöra målgruppen. 9
Utvärdering är ej ostrukturerad observation Man kan naturligtvis bara sitta och vänta på att användaren ska få problem, men det är varken målet för utvärdering eller särskilt effektivt. Istället koncentrerar man sig på de moment som man misstänker kan ge problem eller där man är osäker på bästa lösningen. Vad ska man testa? Om en funktion används mycket ofta är det förmodligen viktigt att den kan utföras snabbt. Om en funktion används sällan är det förmodligen viktigare att det är lätt att förstå/komma ihåg hur den ska utföras. Observera förmodligen kontexten bestämmer, det kan finnas säkerhetskrav, det kan vara så att sällsynta operationer måste kunna utföras blixtsnabbt, osv. Beror ex. På målgruppens expertnivå. Vad ska man testa? Produkten bör helst testas i en realistisk kontext om vi t ex producerar dokumentation, måste denna testas ihop med resten av produkten. Det kan dock vara svårt att få tillräcklig kontroll när jämförande el. validerande studier görs i verklig arbetsmiljö. Då kan det vara bättre att vara i labbmiljö. I förlängningen är hela arbetssituationen föremål för bedömning, men det är sällan vi som testare kan påverka den. 10
När det blåser motvind Produktansvariga är ofta ovilliga att göra förändringar. Effektivt är en videofilm som visar hur svårt användare har att hantera produkten. Effektivt är också siffror på hur dålig den egna produkten fungerar jämfört med konkurrentens produkt eller förutbestämda kriterier. Det är alltid bättre att testa lite än att inte testa alls. Nästa tillfälle Onsdagen den 2 november 10-12, V3 Design av utvärderingsstudier, Eva-Lotta Sallnäs Inlämning 1, sänds in senast 28 oktober, urval av metoder presenteras den 2 november. Delta aktivt på föreläsningarna och läs kurslitteraturen innan! Kursledare: Ann Lantz alz@kth.se Elina Eriksson elina@kth.se Kursassistent: Rebekah Cupitt rebekah@csc.kth.se 11