Kontinuerlig utvärdering på distans med användare

Kontinuerlig utvärdering på distans med användare Max Walter Civilingenjörsprogrammet, Datateknik, KTH Rörläggarvägen 42, 168 33 Bromma maxwa@kth.se SAMMANFATTNING Allt fler webbplatser och program utvecklas kontinuerligt, det vill säga lanserar nya funktioner löpande. Tiden då företag lanserade en ny stor version varje år är förbi och i framtiden kommer tiden mellan nya versioner att bli allt kortare. Att utföra kontinuerlig utvärdering med traditionella metoder, till exempel i laboratoriemiljö, är dyrt, men ett sätt att göra dem billigare är att använda utvärderingsmetoder på distans. Det innebär att utvärderare och användare befinner sig på olika platser och/eller vid olika tidpunkter. De metoder som beskrivs och utreds i den här litteraturstudien är utvärdering i en videokonferens, automatisk inhämtning, enkäter på distans och att användaren rapporterar själv. Slutsatsen blir att en del av metoderna kan ge mycket bra resultat till en lägre kostnad, men att resultatet av dem ibland beror på vad som ska utvärderas. En kombination av utvärderingsmetoderna skapar förmodligen det bästa resultatet. Nyckelord på engelska Remote usability testing, automated testing, usability methods ACM klassificerade nyckelord H.5.2 [Information Interfaces and Presentation]: User Interfaces Graphical user interfaces (GUI), Theory and Methods, Evaluation/methodology. INTRODUKTION I dag utvecklas program i en allt högre utsträckning kontinuerligt och nya versioner kommer med allt kortare mellanrum, till exempel Skype [1], LastFM [2] och många fria program från öppen källkodsrörelsen. Det är inte bara förbättringar av existerande funktioner, utan även helt nya funktioner som förändrar hur programmet kan användas. Webbaserade program, till exempel Googles GMail [3], utvecklas fortlöpande och nya funktioner blir tillgängliga för vanliga användare varje månad [4]. En annan trend, som relaterar till kontinuerlig utveckling, är att företag introduceras deras webbaserade program som offentliga beta-versioner [5], en inte färdig version, eller till och med som alpha-version [6], en ännu mindre färdig version. Förutom många av Googles tjänster, introducerar många webbaserade program offentligt i ett tidigt skede av utvecklingen: YouOS [6], Slideshare [7] och Skrbl [5]. När nya funktioner introduceras behöver även de utvärderas och testas kontinuerligt för att säkerhetsställa deras funktion och användbarhet. Många webbplatser och program har användare från olika delar av världen. I olika delar av världen kan ett program eller webbplats ha olika användningsområden. Det innebär att utvärderare behöver ta hänsyn till olika demografiska grupper. Metoder för att utvärdera på distans gör det enklare att utvärdera programs användbarhet för användare från olika delar av världen och att göra det oftare. Det här är en litteraturstudie om fyra metoder som finns för utvärdering på distans och deras för- och nackdelar. I den första delen av litteraturstudien kommer utvärderingsmetoderna att beskrivas: metoden Användarna rapporterar själva Därefter följer en diskussion om hur de olika metoderna fungerar i faserna inhämtning, bearbetning och hur resultatet ska tolkas under en utvärdering. Litteraturstudien avslutas med mina slutsatser om hur utvärderingsmetoder på distans kan användas i projekt. METODER Det finns ett brett spektrum av metoder, så kallade Remote Usability Evaluation Techniques (RUEM) [8], för att utvärdera programs användbarhet på distans. Från kvalitativa metoder, som liknar de som används i kontrollerade miljöer, till mer kvantitativa metoder, som att automatiskt samla in hur en användare förflyttar sig på en webbplats eller i ett program. Utvärderingar på distans definieras i den är texten som att användarna är placerade vid sina egna datorer, men är anslutna till utvärderarna via Internet. Utkontraktering av utvärderingar till externa företag, som gör en dem i laboratoriemiljö eller använder experter, är inte att uträtta dem på distans. Fokus ligger på den fysiska placeringen av utvärderare och användare, oavsett om utvärderingen sker med båda parter samtidigt eller inte. metoden Att dokumentera vad användare utför med hjälp av video och ljudupptagning är en beprövad metod i laboratoriemiljö [9]. Det är även möjligt att spela in vad en person gör på distans med hjälp av ett videokonferensprogram. Det enda som behövs är att både användare och utvärderare är anslutna till Internet. Användaren överför i realtid sin dators skärmbild till utvärderaren, som både kan se, lyssna 1

och ställa frågor [8]. Mer avancerade program som TechSmiths UserVue [10] tillåter andra utvärderare att passivt avlyssna utvärderingen och samtidigt göra annoteringar i materialet [8]. Det viktiga är att materialet spelas in för att senare kunna analyseras. Ett billigare alternativ är att använda Skype [1] med olika tillägg för att spela in och överföra skärmbilden. I två studier har man kunnat konstatera att skillnaden mellan två exakt likadana utvärderingar i laboratoriemiljö och på distans är minimal, om man räknar till antalet funna användbarhetsfel [11; 12]. De användare som gjorde utvärderare på distans fann flera fel, även om det inte gick att statistiskt säkerhetsställa. metoden blev 35 % billigare än motsvarande utvärdering i laboratoriemiljö. Bland annat användes extrafönster (eng. pop-up windows) på den utvärderade webbplatsen för att rekrytera användare, i stället för att ett externt rekryteringsföretag fick uppgiften [12]. Allt som en användare utför på en webbplats sparas som data i loggar. Den kan bearbetas för att förstå hur användaren arbetar på webbplatsen. Inhämtningen av data är billig och påverkar inte användaren. Automatisk inhämtning (eng. automated data collection) kan även användas för att inhämta data i vanliga program [8]. Antingen kan det vara ett system där allt bearbetas eller där bara data bearbetas när ett fel uppstår. Ett exempel är projektet InGimp [13] där en forskargrupp har lagt till funktioner i det fria bildbehandlingsprogrammet Gimp [14] för att logga vad användaren gör. En av grundarna, Michael Terry, förklarar i en föreläsning [15] att problemet med att bearbeta den data som inhämtats kan avhjälpas genom att användarna själva får förklara vad de ska utföra för uppgift. Ett av resultaten av bearbetningen är att en grafisk persona skapas automatiskt. Syftet med projektet är att hitta bättre utvärderingsmetoder som kan användas i öppen källkodsprojekt. Kommersiella program använder liknande metoder för att skicka in data när ett fel uppstår, till exempel Microsofts Windows Error Reporting (WER) [16]. Fördelen med automatisk inhämtning är att den faktiskt sker kontinuerligt och kan samla in stora mängder data. Däremot är det svårare att bearbeta den och tolka resultatet. En vanlig metod att inhämta kvantitativ data är att använda enkäter (eng. questionnaire) som delas ut fysiskt [9]. Det är enkelt att anpassa metoden för att använda den på distans. På en webbplats kan ett extrafönster öppnas med enkäten när en användare besöker den. Ett annat alternativ är att distribuera enkäten till användaren med e-post [8]. En enkät kan även vara ett interaktivt instrument som bara visas i samband med vissa situationer, till exempel när en användare lämnar ett registreringsformulär, utan att göra klart den. Att kombinera enkäter med att användaren får utföra uppgifter är ett annat tillvägagångssätt [8]. Med en enkät hittar användaren betydligt färre användbarhetsproblem, om man jämför med en likadan utvärdering i laboratoriemiljö [11]. Att föra ihop data från enkäter och automatisk inhämtning kan göra det lättare att hitta mönster i den data som samlats in i den sistnämnda metoden [15]. Användarna rapporterar själva Den sista metoden är att användaren själv rapporterar in problem som upptäcks. Den enklaste förfarandet är att det finns en felknapp som användaren klickar på för att via ett formulär skriftligt rapportera problemet [8]. Automatisk inhämtning kan användas för att mer förstå vad som vållade problemet [17]. Ett exempel på hur användare kan rapportera själva är vid utvecklingen av fria program (eng. free software), även kallad öppen källkod (eng. open source). Allt arbete är ideellt och därför finns det inga resurser för utvärderingar. Användare rapporterar i stället problem till buggrapporteringssystem, forum eller e-postlistor [18]. Ett annat exempel är Google som bland annat förlitar sig på återkoppling från användare i kombination med andra system [19]. De använder ett forumsystem kallat för Google Groups [20], där användare kan ställa frågor, komma med förslag på förbättringar och ge kritik. Samma metod med offentliga forum för vanliga användare används bland annat av Skype [21] och Joost [22]. Ett forum kan både skapa kvalitativ data, när en användare beskriver ett problem väl, och kvantitativ, när många användare rapporterar liknande problem. [23]. DISKUSSION De olika metoderna har för- och nackdelar i de olika faserna av arbetet för att förbättra användbarheten i ett program. De olika faserna har i det här fallet förenklats till följande iterativa process: Inhämtning den inledande fasen där testpersoner rekryteras och utvärderingen genomförs. Bearbetning den analyserande fasen där utvärderarna tolkar den data som inhämtades. Tolkning av resultat vilka åtgärder som går att vidta från den information som skapats under bearbetningen. I de fall där det varit möjligt har metoderna rangordnats enligt de källor som finns. I andra fall är det mina egna tolkningar utifrån källorna i texten. Beroende på vad som utvärderas är det svårt att exakt rangordna dem, utan i enskilda fall kan den vara annorlunda. Olika källor drar ibland olika slutsatser. Inhämtning Det första som sker i utvärdering är att rekrytera lämpliga användare. Det är ofta både tids- och resurskrävande. Oavsett utvärderingsmetod är det vanligaste förfarandet att rekrytera användare via den webbsida som marknadsför 2

Rekrytering Tabell 1. Från att inte behöva rekrytera överhuvudtaget till att i en allt högre grad behöva rekrytera, även om det i alla fall kan ske passivt. Kontinuerlig eller diskret inhämtning och bearbetning Tabell 2. Från att kunna automatisera inhämtning och bearbetning till att inte kunna göra det alls Från kvalitativ till kvantitativ Tabell 3. Från att vara kvalitativ till kvantitativ produkten [12; 8]. Att ett externt rekryteringsföretag genomför rekrytering är ibland nödvändigt, till exempel för att hitta användare som inte redan använder en produkt. Å andra sidan är det betydligt dyrare [12]. Risken finns också att företaget inte hittar rätt användare. Upptagningsområdet för en internationell webbsida är lika stor som hela världen. Chansen att en användare är intresserad av att delta är större, oavsett vilken utvärderingsmetod som används. En svår kräftgång kan vara hur användarna ska uppmärksammas på utvärderingen. E-postmeddelanden kan uppfattas som skräppost och extrafönster som öppnas kan klickas bort i tron om att det är reklam. Det enklaste är att inhämta passivt och svårast att inhämta data när användaren behöver engageras (se tabell 1). När program utvecklas snabbt behöver den iterativa processen upprepas ofta. I tabell 2 är de olika metoderna rangordnade efter hur kontinuerligt de kan genomföras. Alla metoder kan genomföras kontinuerligt, men videokonferensmetoden kostar betydligt mera än automatisk inhämtning. Alla metoder, förutom videokonferensmetoden, sker utan att användaren och utvärderaren behöver koordineras i tid [8], vilket förenklar kontinuerlig utvärdering. Bearbetning De olika metoderna skapar olika typer av data, både avseende kvantitet och kvalitet. Från automatisk inhämtning som kan generera stora kvantiteter obearbetad data till videokonferensmetoden där utvärderaren omedelbart gör en preliminär bearbetning (se tabell 3). Från objektiv till subjektiv Tabell 4. Från att inte användarna vet om att de utvärderas till att användarna själva väljer att rapportera. metoden kan ytterligare förbättras om flera utvärderare passivt avlyssnar en utvärdering. Därutöver kan utvärderare göra fördjupade analyser av det inspelade materialet. Samma metodik används som vid på plats - utvärdering, vilket är beprövat och väldokumenterat [9]. Enkätens utformning påverkar hur den kan bearbetas. Att utforma en enkät med tydliga frågor, oavsett om de är öppna eller slutna kräver erfarenhet och kunskap [9]. Fördelen med enkäter på distans är att de samlas upp i en databas och kan, om det är slutna frågor, bearbetas automatiskt och kontinuerligt [9]. skapar stor kvantiteter data som i de allra flesta fall behöver bearbetas med program, som sedan kan tolkas av en utvärderare. Det finns program, till exempel från företaget ErgoLight [24], som påstår sig hitta användbarhetsproblem i webbplatsers vanliga loggfiler. De påtalar själva att trots att de använder program för att bearbeta informationen, behövs det en expert, som de tillhandahåller, för att tolka resultaten. Att låta användaren själv rapportera problem innebär att den preliminära bearbetningen redan har blivit gjord av användaren. Därefter är det upp till utvärderaren att tolka resultatet. Enligt Eva-Lotta Sallnäs [25] är det objektiva vad den utomstående betraktaren utvärderaren observerar, medan användaren rapporterar vad denne upplever, vilket är det subjektiva. Den subjektiva upplevelsen är lika viktig som den objektiva. De olika metoderna skapar data som behöver bearbetas olika. och även videokonferensmetoden är därför objektiv, medan enkäter, 3

Svårighet att tolka bearbetningen Tabell 5. Den metod som är svårast att tolka resultatet av är placerad högst upp. användarna rapporterar själva och delvis videokonferensmetoden är subjektiva (se tabell 4). Med videokonferensmetoden kan användbarhetsproblem observeras av utvärderaren, som kanske inte användaren själv skulle observera. Därtill kan användaren själv påpeka problem, som utvärderaren kanske inte observerar. När användaren själv rapporterar eller svarar på en enkät är det han eller hon som observerar och utvärderaren kan bara tolka data. I automatisk inhämtning är det tvärtom, det är utvärderaren som hittar felen i inhämtad data [8]. metoden och enkäter där användaren ska utföra vissa uppgifter innebär att användaren kan hamna i en onaturlig situation [17]. De övriga metoderna innebär att användaren utför uppgiften i en mera naturlig miljö och därför inte utsätts för den press som en formell utvärdering kan skapa. Det är svårt att avgöra hur mycket användare påverkas av att utvärderas [25]. Tolkning av resultat Efter att inhämtade data har bearbetats blir resultatet olika beroende på vilken metod som har använts. En av de främsta orsakerna som komplicerar tolkningen av resultatet är vilka användare som har deltagit i utvärderingen. Det är inte möjligt att avgöra vilka användare som deltar vid automatisk inhämtning, vilket både kan vara en för- och en nackdel. En annan viktig skillnad är kostnaden för att utföra de olika metoderna. metoden uppnår nästan samma resultat som om utvärderingen skulle genomförts i en laboratoriemiljö. Enligt José C Castillo och H. Rex Hartson är det den metod som ger det bästa och snabbaste resultatet av de fyra beskriva, men däremot är det den dyraste. Det finns problem med videokonferensmetoden. Bland annat om det är en internationell studie, där översättare behövs. Då blir den direkta kontakten begränsad, vilket kan förvanska resultatet. En annan är att utvärderaren inte får hela bilden av hur användaren arbetar, utan bara en skärmbild och användarens ansikte. [8] är den metod som är svårast att tolka resultatet av bearbetningen (se tabell 5). Det är inte möjligt att upptäcka alla typer av fel och de fel som hittas beror på vilken typ av analysprogram som används. Analysprogram är kostsamt och de är specialiserade på olika områden [8] Däremot om automatiskt inhämtad data Kostnad för Metodens inhämtning effektivitet och bearbetning Enkäter på distans Användaren Automatisk rapporterar inhämtning själv Användaren rapporterar själv Automatisk Enkäter på inhämtning distans Tabell 6. 7. Från Högst det upp som är kostar den metod med som till det relativt som är till billigast kostnad skapar det bästa (8). resultatet (8). kombineras med data från andra metoder kan nya problem upptäckas [15]. Enkäter är billiga att genomföra [8], men ger ett subjektivt resultat som kan vara svårare att bearbeta i en känd miljö än mer objektiva metoder [26]. Om man behöver något resultat är det bättre än inget resultat alls. Ett användbarhetsproblem som användare självmant rapporterar kan betyda extra mycket, eftersom de har tagit sig tid att rapportera det. Precis som med enkäter är det utvärderaren som behöver tolka det. Mindre viktiga problem kan försvinna i mängden. Det kan avhjälpas om användarna blir tränade i vad och hur de ska rapportera. Näst efter att använda videokonferensmetoden är den här metoden den som ger det mest användbara resultatet, men till ett billigare pris [8]. José C Castillo och H. Rex Hartson konstaterar dock att resultatet beror på vad som ska utvärderas [27]. De olika metoderna har olika kostnader för inhämtning och bearbetningen av data (se tabell 6). metoden är dyrast i den inledande inhämtningen, men relativt billig att bearbeta. är billig att inhämta, men betydligt dyrare att bearbeta. kan vara dyra att skapa, men inhämtning och bearbetning är billig, om det är slutna frågor. är billig att inhämta, men dyrare att bearbeta. SLUTSATS Fyra olika utvärderingsmetoder för att på distans studera hur användare arbetar med en webbplats eller program har beskrivits. Nio stycken studier som utvärderat metodernas för- och nackdelar sammanfattas och diskuteras. Att bara använda en av metoderna skulle vara att förenkla bilden av hur människa-datorinteraktion fungerar. Precis som att det är viktigt att söka brett efter en lösning på ett problem [28] är det, tror jag, viktigt att söka brett efter utvärderingsmetoder beroende på vad som ska utvärderas. Om dessutom utvecklingen sker kontinuerligt, med ständigt nya funktioner, är det viktigt att tidigt hitta rätt utvärderingsmetoder [29]. I en del fall kanske traditionella utvärderingsmetoder är det som ger det mest användbara resultatet. En annan viktig aspekt är om olika metoder hittar olika typer av fel. I den litteratur som har studerats har inte 4

samtliga metoder jämförts under exakt likadana förhållanden. I en studie där utvärdering i laboratoriemiljö, videokonferensmetoden och uppgiftsorienterade enkäter användes blev resultatet att de allra flesta typer av problemen hittades med flera av metoderna. Däremot var videokonferensmetoden den som upptäckte flest unika problem [11]. En erfarenhet från projektarbetet var att det är svårt att förstå problembilden som utvärderare. Att använda passiva metoder, som automatisk inhämtning, kan inte förklara den, vilket aktiva metoder, som videokonferensmetoden, kan. Däremot kan de passiva metoderna vara ett komplement som fungerar bättre att använda kontinuerligt. metoden, som är att föredra om webbplatsen eller programmet är riktad till en internationell publik, utförs när det finns behov av det, till exempel för att testa funktioner som ska lanseras. Ett viktigt problem med inhämtning på distans är att övertyga användarna om att inhämtad och bearbetad data är konfidentiell och inte kan spåras till dem. Det är svårare att bygga förtroende med användare på distans, även med videokonferensmetoden [29]. Den data som samlas in med automatisk inhämtning skulle kunna användas för att spionera på användarna. En lösning på det etiska problemet, som används i ingimp-projektet [15], är att allt är tillgängligt för användarna i form av inhämtad data, bearbetningen av den och till och med källkoden som används vid inhämtningen. Det är självklart inte möjligt i kommersiella projekt. Företag, till exempel Google, väljer att inte avslöja hur de använder data som insamlas, men motiverar det bland annat med att de vill förbättra användbarheten. [30]. Att utveckla program kontinuerligt innebär att stora krav ställs på att de utvärderingsmetoder som används snabbt kan ge användbar information till en låg kostnad. José C Castillo och H. Rex Hartson har graderat metoderna (se tabell 7) i hur effektiva det är. Det vill säga hur användbart resultatet är relativt kostnaden. En del av projekten, till exempel ingimp, visar hur automatisk inhämtning och bearbetning skulle kunna användas. Projektet pågår fortfarande och det blir intressant att se vilka resultat de kommer fram till. Att arbeta med användbarhet i öppen källkodsrörelsen är fortfarande eftersatt, i jämförelse med hur det sker i företagens värld. Det blir intressant att se hur den kommer att förbättras i framtiden. Utvärderingsmetoder på distans är ännu ett verktyg som är speciellt viktigt att känna till i den allt snabbare utvecklingen av både vanliga program, men kanske främst de webbaserade programmen. LITTERATURFÖRTECKNING 1. Skype. Skype. [Online] [Citat: den 17 12 2007.] www.skype.com. 2. LastFM. LastFM. [Online] [Citat: den 17 12 2007.] www.lastfm.se. 3. Google. Google GMail. [Online] [Citat: den 17 12 2007.] www.gmail.com. 4. Google GMail Team. Official Gmail Blog. Blogger. [Online] [Citat: den 19 12 2007.] http://gmailblog.blogspot.com/. 5. Ruveka. Skrbl. [Online] [Citat: den 17 12 2007.] www.skrbl.com. 6. WebShaka, Inc. YouOS - A web operating system (Alpha). [Online] [Citat: den 17 12 2007.] www.youos.com. 7. SlideShare Inc. Slideshare. [Online] [Citat: den 17 12 2007.] www.slideshare.net. 8. Castillo, José C. och Hartson, H. Rex. Remote Usability Testing Methods a la Carte. Blacksburg : Department of Computer Science, Virginia Tech, 2007. TR- 07-05. 9. Rogers, Yvonne, Sharp, Helen och Preece, Jenny. Interaction Design: Beyond Human-computer interaction. u.o. : John Wiley & Sons, Inc., 2002. 10. TechSmith Corporation. UserVue: Remote User Experience Testing Solution for Web Sites and Software. TechSmith. [Online] TechSmith Corporation. [Citat: den 17 12 2007.] http://www.techsmith.com/uservue.asp. 11. What Happened to Remote Usability Testing? An Empirical Study of Three Methods. Andreasen, Morten Sieker, o.a. San Jose, CA, USA : CHI 2007, 2007. 12. Houck-Whitaker, Julia. Remote Testing versus Lab Testing. Bolt Peters User Experience. [Online] Bolt Peters User Experience. [Citat: den 15 12 2007.] www.boltpeters.com/articles/versus.html. 13. InGimp. [Online] University of Waterloo. [Citat: den 15 12 2007.] www.ingimp.org. 14. GIMP - GNU Image Manipulation Program. [Online] [Citat: den 17 12 2007.] www.gimp.org. 15. Terry, Michael. Usability in the Wild. University of Waterloo Computer Science Club. [Online] [Citat: den 15 12 2007.] http://csclub.uwaterloo.ca/media/usability%20in%20the%2 0Wild.html. 16. Microsoft. Introducing Windows Error Reporting. MSDN. [Online] Microsoft. [Citat: den 17 12 2007.] http://msdn2.microsoft.com/en-us/isv/bb190483.aspx. 17. Automated Summative Usability Studies: An Empirical Evaluation. West, Ryan och Lehman, Katherine R. Montréal, Québec, Canada : CHI 2006, 2006. 18. Twidale, Michael B. och Nichols, David M. Usability Discussions in Open Source Development. Hamilton, New 5

Zealand : Department of Computer Science, University of Waikato, 2004. 19. Google GMail Team. Google - GMail - Help Center. [Online] [Citat: den 18 12 2007.] http://mail.google.com/support/?ctx=gmail&hl=en. 20. Google. Gmail Help Discussion. [Online] [Citat: den 18 12 2007.] groups.google.com/group/gmail-help- Discussion. 21. Skype. Skype. Skype Forums. [Online] Skype. [Citat: den 22 1 2008.] 22. Joost. Joost. Joost - Forum. [Online] Joost. [Citat: den 22 1 2008.] 23. Boardman, Rick. See you at CHI. Google Research Blog. [Online] Google. [Citat: den 18 12 2007.] googleresearch.blogspot.com/2006/04/see-you-at-chi.html. 24. Ergolight. Ergolight. [Online] [Citat: den 18 12 2007.] www.ergolight-sw.com. 25. Sallnäs, Eva-Lotta. Utvärderingsmetoder inom MDI - Introduktion. Sal 1537, Stockholm : KTH, 2008. 26. How Can Networked Users Provide Their Own Usability Feedback? Elgin, Bruce. u.o. : SIGCHI Bulletin, 1995. 27. Remote evaluation for post-deployment usability improvement. Hartson, H. Rex och Castillo, José C. L'Aquila, Italy : Proceedings of the working conference on Advanced visual interfaces, 1998. 28. Westerlund, Bosse. Designprocessen och idéarbete. Stockholm : u.n., 2007. 29. Dray, Susan och Siegel, David. Remote Possibilities? International Usability Testing at a Distance. u.o. : ACM, 2004. 30. Fitzpatrick, Jen. The Science and Art of User Experience at Google. Google Video. [Online] [Citat: den 18 12 2007.] http://video.google.com/videoplay?docid=- 6459171443654125383. 6