Tänka-högt metoden versus Enkätundersökning

Chalmers tekniska högskola, IT-universitetet 2004-01-12 MDI Interaktionsdesign Designmetodik, 3 p HT-03 Tänka-högt metoden versus Enkätundersökning Sofia Torberntsson Kursansvariga: Hanna Landin Staffan Björk

Jag har valt att jämföra metoderna Tänka-högt och enkätundersökning. Anledningen till detta är att jag anser att de båda kan användas i många olika faser och upprepade gånger i designprocessen. Tänka-högt metoden kan användas som komplettering tillsammans med både intervjuer och observationer, vilket enkäter också kan, men med ett annat syfte. Jag ser likheter och olikheter som jag finner intressanta att diskutera lite närmare. Inledningsvis redogör jag för de två metoderna separat och behandlar syfte, genomförande, datainsamling och analys samt användningsområden. Därefter följer en jämförelse mellan de två metoderna och slutligen en sammanfattning. 1 Tänka-högt metoden 1.1 Genomförande Ett tänka högt test genomförs genom att användaren ges ett antal uppgifter att genomföra eller ett scenario att följa. Användaren ombeds tala högt under tiden uppgifterna genomförs. Detta innebär att användaren talar om saker han/ hon tänker på, problem som uppkommer eller saker som är svåra att förstå angående hur prototypen ska användas. Det kan också handla om att användaren är osäker på hur han/ hon ska göra i en viss användarsituation eller hur en felsignal tolkas. Efter genomfört test är det även vanligt med en så kallad Debriefing; en intervju med användaren, vari denne får reflektera över prototypen i en öppen diskussion. (Molich, 2002, kap 11) Testledarens roll är betydande i en tänka högt övning. Det är viktigt att inte stressa testpersonen, eftersom han/ hon då inte kommer att tänka högt i samma utsträckning som om han/ hon haft längre tid på sig. Det är därför viktigt att låta användaren ta sin tid och även uppmana honom/ henne till detta. (Molich, 2002, kap.11) Testledarens roll kan antingen vara en iakttagare, som endast observerar användaren, eller en deltagande observerare, som användaren kan ställa frågor till eller som ger vissa instruktioner. Dessutom kan testledaren vara en etnograf som analyserar de underliggande processer och beteenden som användaren utför under försöket. De olika typerna av ledare kan förekomma enskilt eller tillsammans i samma studie. Vilken av de olika slags testledarna som är bäst lämpad beror på vilket slags data som är intressant. I samtliga fall är testledarens uppgift att observera och lyssna till användaren behov. (Preece, Rogers & Sharp, 2002, s.361) Molich (2002) rekommenderar att antalet testpersoner ska vara runt sex stycken. Han menar att färre skulle innebära att viktiga upptäckter förloras, samtidigt som fler testpersoner skulle vara överflödigt.(molich, 2002, s.156) 1.2 Syfte Syftet med Tänka-högt metoden är att avslöja problem med prototypen som designgruppen inte vet om. Istället för att fråga om något problem låter designgruppen användaren testa prototypen för att upptäcka problemen då den används. Det är bra att användaren talar högt, eftersom tankarna bakom problemets uppkomst då blir enklare att förstå. Det kan annars vara svårt för användaren att återge problem, och dess orsaker, endast i en debriefing, eftersom denna sker efter användningen. Det krävs alltså ett tänka högt test. (Molich, 2002, kap 11) 1

När man använder tänka högt metoden är syftet inte att få veta vad användaren anser. Meningen är inte heller att få veta vad forskare, experter eller andra utvecklare tycker om prototypen, utan istället att märka användarens beteende. Metoden visar alltså hur olika användare beter sig i interaktion med prototypen. (Molich, 2002, kap 11) 1.3 Datainsamling och analys En Tänka-högt undersökning dokumenteras genom ljud- och/ eller bildupptagning. Observationer ger stora mängder data, varför det är viktigt att redan före försökets början besluta vilken typ av analys som ska göras på det data som testet resulterar i. Man bör ha i åtanke att data ej kan analyseras i minsta detalj. Det finns minst fyra olika sätt att analysera data på. (Preece et al, 2002, s.374) 1.3.1 Fokus på problem En möjlighet är att leta upp så kallade Breakdowns. Breakdowns kallas de mönster i användningen som orsakas av problem som användaren stöter på. Det gäller att finna dessa problem och att sedan åtgärda dem. (Preece et al, 2002, s.381-382) 1.3.2 Fokus på innehållet Genom att skapa problemkategorier kan resultatet analyseras utifrån undersökningens innehåll. Ett antal kategorier skapas och de olika beteendena sorteras in under dem. Det är följdaktligen svårt att skapa rätt kategorier för undersökningen samt att skapa kategorier som inte överlappar varandra. Ofta uppmärksammas detta först då kategorierna använts i en undersökning, varför upprepade pilotstudier bör genomföras innan kategorierna används. (Preece et al, 2002, s.383) 1.3.3 Fokus på dialogen Ett tredje tillvägagångssätt för att analysera data från en Tänka-högt undersökning på är att fokusera på varför användaren säger det den gör. Att finna orsaken till yttrandet kan innebära att man också finner problem eller orsaken till dem. Meningen är alltså att finna meningen av vad som sägs, istället för att fokusera på vad som sägs.(preece et al, 2002, s.383) 1.3.4 Kvantitativ analys Genom att mäta tiden användaren tar på sig att utföra en viss uppgift eller att räkna de fel de gör, fås ett kvantitativt resultat. Efter en jämförelse mellan problem och tid kan försöksledaren utse de problem som flest användare tagit längst tid på sig att lösa.(preece et al, 2002, s.383-384) 1.4 Tidigt eller sent i designprocessen Tänka-högt metoden kan användas både sent och tidigt i designprocessen beroende på vilken form av observation som används tillsammans med metoden. 1.4.1 Quick and Dirty Quick and Dirty tekniken, som är precis vad den heter - snabb och mindre formell, kan användas under hela designprocessen. Den används ofta upprepade gånger och i olika faser. Dels tidigt i processen, för att få veta användares krav, och dels senare i processen, för att 2

undersöka om användarkraven blivit tillgodosedda. Quick and Dirty observationer kan göras både i labb- och i fältmiljö (Preece et al, 2002, s.363) 1.4.2 Objektiv observation En objektiv observation innebär att försöksledaren endast iakttar testpersonen utan att hjälpa till eller ingripa i försöket. Sådana observationer sker i labbmiljö, vilket medför att helhetsbilden försvinner eftersom interaktionen med den verkliga miljön förloras, men också att en helt kontrollerad situation skapas.(preece et al, 2002, s.363) Observationstekniken kan användas tillsammans med Tänka-högt metoden. Då kan den utföras både tidigt och sent i designprocessen beroende på hur den ser ut. Vid en vidareutveckling kan tekniken användas i början av designprocessen för att finna problem hos det gamla systemet. Då vet designteamet vad som behöver ändras och kan utifrån försöket ställa upp användarkrav för vidareutvecklingen. Om uppgiften istället är att utveckla ett helt nytt system kan tekniken inte användas förrän i slutet av processen. Detta på grund av att tekniken förutsätter att användaren ska kunna utföra uppgifter, varför en prototyp måste existera. 1.4.3 Fältstudie Att använda Tänka-högt metoden i en fältstudie innebär att försöksledaren kan ha någon av de möjliga tre rollerna som finns i samband med metoden; Objektiv, subjektiv eller etnolog. Det är alltså den enda undersökningstekniken vari försöksledaren är en etnograf. Detta beror på att den sker i sin verkliga miljö, vilket innebär att det verkliga beteendet endast fås i en fältstudie. (Preece et al, 2002, s.363) 2 Enkäter 2.1 Skapande En enkät består av tre olika delar. Inledningsvis efterfrågas grundläggande demografiska fakta om användaren, exempelvis ålder och kön, samt detaljer om användarens olika erfarenheter med koppling till användningen av prototypen. Sådana erfarenheter kan vara till exempel datorvana om enkäten handlar om datoranvändning. I de fall då designteamet vet att erfarenheten i målgruppen är väldigt varierande, kan enkäten delas upp så att användare med få erfarenheter får besvara en del och de resterande en annan. (Preece et al, 2002, s.398) Efter den generella delen bör det finnas en sammanfattande del där mer specifika frågor ställs på ett övergripande sätt. Denna del är till för stressade testpersoner som inte hinner svara på hela enkäten. Genom att ha en sådan del fås en generell bild av vad de tycker, vilket kan vara nog så bra som en fullständig enkät och framför allt är bättre än ingenting. (Preece et al, 2002, s.404) Slutligen utgörs enkäten av en del där specifika frågor ställs mer i detalj. I många fall är denna del uppdelad i mindre delar för att långa enkäter inte ska vara svårlästa eller verka längre än de är. (Preece et al, 2002, s.398) 3

En enkät kan användas för att få fram både kvalitativ och kvantitativ information. Vid skapandet av en enkät är det viktigt att tänka på att inte göra den för omfattande och lång. En riktlinje brukar vara att begränsa enkäten till 2 sidor. Dessutom bör man testa frågorna före för att minimera risken att testpersonerna tolkar den annorlunda. (Molich, 2002, s.194) Metoden kan användas enskilt eller tillsammans med andra metoder som exempelvis observationer eller intervjuer. En enkätundersökning liknar strukturerade intervjuer eftersom användaren uppmanas att svara på frågor i båda fallen, men en enkät kan användas på fler människor. Det kan vara bra att intervjua användarna i vissa fall då de har bråttom och inte vill fylla i en enkät. (Preece et al, 2002, s.398) Molich (2002) rekommenderar att antalet svarsalternativ i en enkät ska vara ojämnt (Molich, 2002, s.196). Jag föredrar dock jämna antal svarsalternativ eftersom det tvingar testpersonen att ta ställning i frågan. Om denna möjlighet inte finns kommer en osäker testperson lätt undan och ett rikare resultat fås. Dessutom menar Preece et al (2002) att testpersonerna tenderar att välja alternativ i mitten av skalan. Vidare påpekar de att åsikten i frågan är delad och menar att valet är fritt, men att det är viktigt att ha ett Vet ej -alternativ (Preece et al, 2002, s.402). Molich däremot menar att ett jämt antal svarsalternativ inte alls tvingar testpersonen att ta ställning utan att han/ hon istället sätter ett kryss mellan alternativen (Molich, 2002, s.196). Jag anser att det är värt att ta den risken eftersom jag inte uppfattar den som stor. Vid en enkätundersökning rekommenderar Preece et al (2002) att 20 testpersoner används. Svarsfrekvensen tenderar att bli hundraprocentig om antalet testpersoner är under 20, och minskar då antalet testpersoner ökar. Dock är det bäst med fler svar, varför fler än 20 testpersoner är att rekommendera. (Preece et al, 2002, s.404) 2.2 Syfte En enkätundersökning utförs för att samla allmän information om användare samt om deras uppfattningar om prototypen. Den resulterar i en åsikt till skillnad från en observation som är mer inriktad på att finna ett beteende. Den går ut på att fråga testpersonerna istället för att observera och liknar därför en intervju i den meningen. 2.3 Datainsamling och analys Inledningsvis sammanställs svaren från enkäten i exempelvis Excel eller något statistikprogram (ex. SPSS). Detta görs för att upptäcka tydliga tendenser. Svaren kan anges i procent, men om enkätsvaren är färre än tio stycken bör istället antalet anges. Jämförelser mellan de olika frågorna kan genomföras genom att undersöka om relationer och korrelationer existerar mellan frågesvaren. (Preece et al, 2002, s.407) Olika slags frågor kräver olika svarsformer. En öppen enkät där testpersonerna får ange sina egna åsikter kan inte sammanställas enligt ovan. Istället får en liknande analys som vid intervju eller observationer göras. Innehållet och upptäckten av mönster är det viktigaste och en mer detaljerad analys krävs. Ibland kan en frågas svar bero på en annans. Den allra enklaste typen av enkätsammanställning sker med onlineenkäter eftersom svaren redan finns i datorn. Preece et al (2002) menar dock att svarsfrekvensen är mindre i sådana 4

undersökningar än om enkäten skrivs ut på papper (Preece et al, 2002, s.405). Jag anser att detta beror på vilken målgrupp man riktar sig till. Om målgruppen är vana vid datorer kan svarsfrekvensen bli högre online än i pappersformat. Jag har själv gjort en sådan jämförelse när jag i ett tidigare projekt skulle undersöka förändringar som införandet av ett nytt datasystem på psykologiska institutionen vid Umeå universitet skulle påverka de anställda där. Vi erbjöd respondenterna att svara både i elektronisk- och pappersform. Lika många svarade på de olika sätten trots att deras datorvana uppskattades som liten av många. 2.4 Tidigt eller sent i designprocessen En enkät kan i någon form användas när som helst under designprocessen när designteamet vill få användarens åsikt i en fråga. 3 Jämförelse 3.1 Anonymitet En nackdel med Tänka-högt är att en del människor kan uppfatta det generande att tala om hur de tänker eller om det är något de inte förstår. De kan känna sig dumma eller obekväma i situationen. En sådan testperson är det svårt att få något resultat ur med hjälp av denna metod, eftersom den inte talar högt i den utsträckning att testledaren kan veta något om hur testpersonen uppfattar prototypen. Det blir i detta fall svårt att skapa en bild av interaktionen. Preece et al (2002) föreslår ett sätt att lösa detta problem på, nämligen genom att låta två testpersoner samarbeta med uppgifterna. Testpersonerna förklarar deras tankar och tillvägagångssätt för varandra och får på så vis en mer naturlig konversation. Detta rekommenderas, eftersom en påminnelse uppfattas påträngande, vilket är opassande i en undersökningssituation (Preece et al, 2002, s.367-368) Metoden är dock väldigt bra om testpersonen har lätt för att tala högt. Då kan den resultera i ovärderliga upptäckter av problem som man inte hade märkt med en annan metod. Eftersom en enkätundersökning är mer anonym än ett Tänka-högt test, genom att ingen egentligen vet vad Du har sagt, kan dessa vara bättre för osäkra personer. Enkäten kan vara ett sätt för dem att ändå tala om sina åsikter och de problem som uppkom under Tänka-högt undersökningen. Enkäter kan alltså fungera som ett komplement till Tänka-högt metoden. Omvänt kan enkäter kompletteras av ett Tänka-högt test där användaren motiverar svaren på enkäten. 3.2 Fråga testledaren Under en Tänka-högt undersökning har testpersonen möjlighet att hela tiden fråga försöksledaren om det är någon uppgift eller något med prototypen som de finner oklart. Detta är en fördel genom att det på detta viset inte kan uppstå några missförstånd av frågor, vilket är vanligt i en enkätundersökning. Det kan också vara en nackdel eftersom alla testpersoner inte nödvändigtvis får samma förutsättningar. En testperson som inte vill eller vågar fråga något han/ hon inte förstår, utgör samma risk för missuppfattning som en testperson i en enkätundersökning. Att det finns en testledare att fråga betyder med andra ord inte alltid att testpersonen tolkar frågorna eller uppgifterna rätt. Dock är chansen ganska 5

stor att en iakttagande testledare märker om testpersonen förstått uppgiften rätt, och då kan tillrättavisa denne. En fördel med enkäter är att alla testpersoner får exakt samma information och frågor samt att ingen påverkan från försöksledaren förekommer. Detta kan även vara negativt eftersom testpersonerna inte har någon möjlighet att fråga om de har svårighet att tolka något. Det kan därför hända att testpersonen tolkat en fråga fel och svarat på den så som han/ hon uppfattat den. (Molich, 2002, s.194-195) Eftersom enkätundersökningar är anonyma är det omöjligt att veta om testpersonen uppfattat frågorna rätt eller om de tagit undersökningen på allvar. Detta kan resultera i felaktiga resultat. Det är därför viktigt att skriva tydliga frågor och helst testa dem i en pilotstudie innan de används i den verkliga undersökningen. (Molich, 2002, s.194-195) Att avgöra om testpersonerna är tillförlitliga är svårt. Jones (1992) anser att varje enkätundersökning ska inledas med en öppen intervju för att klargöra om användarna har tillräckligt mycket erfarenhet inom ämnet eller av det system som ska utvärderas exempelvis. Han menar att testpersonen måste vara väldigt insatt och ha stor erfarenhet för att svaren ska bli tillförlitliga. Erfarenheterna ska vara nya, familjära och närliggande. Vidare menar Jones att det är bättre att fråga användaren efter sina beteenden tillsammans med designen än att leta åsikter om själva designen. (Jones, 1992, s.222-224) Jag tror i sådant fall att en tänka högt observation är bättre för att få fram beteenden, eftersom testpersonerna inte kan se sitt beteende objektiv och därför inte återger det korrekt. 3.3 Direkt feedback värdefull Det finns en stor fördel med att låta användaren återge sina tankar under testets gång, utöver de ovan nämnda. Genom att få veta problemen då de uppkommer kan testledaren dessutom se orsaker som kanske inte användaren inser. Det är också möjligt att sätta problemet i en kontext för att få större förståelse. Metoden är också bra eftersom designteamet kan upptäcka hur bra teknologin stöder användningen samt om någon mer form av hjälp behövs.(preece et al, 2002, s.359) Sådan feedback ges på ett visst sätt även i en enkätundersökning. Eftersom en sådan går ut på att finna användarens åsikter snarare än hans/ hennes beteende är dock utgångspunkten något annorlunda. 3.4 Experimentmiljö Testpersonerna i en enkät eller Tänka-högt undersökning bör hållas från varandra både före och efter testet för att förhindra att de får information om uppgifterna. Försöksledaren har möjlighet att kontrollera samtliga parametrar och har full kontroll över situationen i en labbmiljö. Vissa användarsituationer utsätts dock ständigt för yttre påverkan, varför även försöken måste ske i den vardagliga miljön för att en helhetsbild ska kunna skapas. Det går inte att testa ett kommunikationssystem som ska användas på en bullrig byggarbetsplats i ett tyst labb. Det beteende och den uppfattning användaren får av prototypen i labbet skiljer sig markant mot uppfattningen han/ hon skulle ha haft i den verkliga miljön. Det är därför 6

viktigt att tänka igenom hur experimentet bör gå till, samt var det ska utföras, utifrån den slutliga användningsmiljön. I regel utförs enkätundersökningar i en kontrollerad miljö. 3.5 Användningsfaser Tänka-högt metoden ingår i den fas som enligt Ideo-korten (2002) kallas för look, då den används tillsammans med observationer. Den kan även användas som motivering till enkätsvar, då jag skulle placera metoden i learn-kategorin, eftersom den används i samband med enkätanalysen. Enkätmetoden tillhör ask-kategorin. (IDEO, 2002) Tänka-högt metoden ger stora mängder data och öppnar upp området, varför metoden kan användas i det som Jones (1992) kallar för divergensfasen. I denna fas försöker man öppna upp och utöka designrymden (Jones, 1992, s.64-66). Observationer går endast att kontrollera till en viss grad eftersom användaren alltid ska ta minst hälften av platsen i diskussionen som uppkommer med testledaren. Du kan aldrig veta säkert hur användaren kommer att bete sig, varför en lyckad Tänka-högt undersökning bör resultera i upptäckten av fler problemområden. Genom att sammanställa resultaten från en Tänka-högt undersökning uppnås en transformation av problemområdet och man befinner sig i tranformationsfasen (Jones, 1992, s.64-69). Öppna enkäter kan användas i divergensfasen för att generera idéer och problemområden. För att sammanställa problemen kan en enkät användas även i transformationsfasen genom att användare anger de största problemen. Enkäter kan även användas i en konvergensfas på samma sätt som i transformationsfasen. I de två senare faserna används mer strikt utformade enkäter. 3.6 Datamängder och sammanställning Tänka-högt undersökningar resulterar i väldigt stora datamängder, vilket kan vara besvärligt att sammanställa. Det är därför viktigt att ha en tydlig plan för hur data ska sammanställas redan innan försöket startar, vilket tidigare nämnts. Det är dessutom viktigt att föra noteringar under observationen för att sedan ha en aning om var man ska leta för att finna ett visst problem. Många problem upptäcks nämligen under själva undersökningen. Enkätundersökningar däremot, resulterar i färre data och är enklare att sammanställa. Öppna enkäter kan dock vara svårare att sammanställa än enkäter med kryssalternativ. En öppen enkät fokuserar på testpersonens fria åsikter angående prototypen till skillnad från en enkät med kryssalternativ, som fokuserar på vilka alternativ användaren tycker passar bäst. Om enkäten består av kryssalternativ kategoriseras resultatet naturligt. Om enkäten istället är öppen är det svårare att kategorisera åsikterna och någon analysteknik måste användas (nämns ovan). 3.7 Kostnader i tid, pengar och arbetskraft Förarbetet till de två metoderna liknar varandra och kräver liknande mängd arbetskraft. Båda metoderna kräver planering av hur resultatet ska analyseras, kategorisering av de olika åsikterna samt test av enkäten respektive uppgifterna som användaren ska genomföra då han/ hon tänker högt. 7

En fördel med enkätundersökningar är att de går snabbt att genomföra eftersom flera testpersoner kan svara samtidigt. Det går i regel snabbt att fylla i en enkät, vilket medför att fler testpersoner fås. Enkätundersökningar kräver heller inte några medverkande under själva testet utan bara enkäten krävs. Även sammanställningen av resultatet går snabbare vid en enkätundersökning än vid en Tänka-högt observation.(preece et al, 2002, s.398) 4 Sammanfattning Sammanlagt tar alltså en enkätundersökning kortare tid, kräver mindre arbetskraft och kostar därför mindre pengar än en Tänka-högt undersökning. Resultaten som vinns ur de två metoderna är dock olika. En enkät syftar till att hitta användarens åsikter och sker i labbmiljö. Detta innebär att en helhet av användarens uppfattning och verkliga beteende går förlorat. För att ta reda på användarnas beteende och samtidigt få fram deras åsikter i den tänkta användningsmiljön bör man därför genomföra en Tänka-högt observation i denna miljö. Eftersom fler testpersoner kan tillfrågas i en enkätundersökning än vid en Tänka-högt observation ger enkäter resultat som är mer generella. De kan generaliseras på en större population och är därför lite säkrare. Tänka-högt observationer däremot är mer fokuserade och resulterar i upptäckten av mänskliga faktorer. 5 Referenser Ideo Methodcards, 2002. Jones, J.C, Design Methods, John Wiley & Sons Inc., New York, 1992. Molich, R., Webbdesign med focus på användbarhet, Studentlitteratur, Lund, 2002. Preece, J., Rogers, Y. & Sharp, H.., Interactiondesign beyond human-computer interaction, John Wiley & Sons Inc., New York, 2002. 8