Feedbackrapport 729A45 Användbarhetstestning. Oscar Carlsson

Transkript

1 Feedbackrapport 729A45 Användbarhetstestning Oscar Carlsson Mars 2010

2 1 Inledning I kursen 729A45 Användbarhetstestning ingick ett moment där varje student skulle observera och ge feedback på en annan students användbarhetstest. I detta dokument kommer jag göra en kortare beskrivning av respektive delmoment av en kurskamrats användbarhetstest och försöka återkoppla det till litteraturen samt komma med rekommendationer på vad som kan förbättras. De observationer som denna rapport bygger på skedde vid totalt två tillfällen, där det första och andra tillfället inträffade precis i början respektive precis i slutet av projektet. Det första tillfället utspelades i IKT-studion i Key-huset, det andra i den sk interaktionsdesignsstudion i E-huset, båda lokaler på Linköpings universitet Campus Valla. Nedan kommer respektive försök beskrivas i turordning. För bekvämlighetens skull kommer hädanefter den andra studentens namn 1 förkortas till S (som i student ) och försökspersonen förkortas till FP. 2 Det första försöket Det första försöket som observerades genomfördes i IKT-studion i Key-huset på Campus Valla. Anledningen till att försöket utfördes i just denna lokal var att i försöket användes den eyetracker-apparatur som fanns i lokalen. Strax innan undertecknad själv kom till lokalen hade S förberett försöket genom att testa och konfigurera apparaturen, sortera de enkäter och liknande som skulle användas i försöket. På grund av praktiska anledningar kunde inte S gå ner och möta FP själv vid husets entré, utan FP fick själv ta sig till försökslokalen. FP var även ett par minuter sen, då ett brandlarm strax innan avtalad försökstid hade utlösts och utelåst FP från huset. Väl på plats i lokalen hälsar S försökspersonen välkommen vid dörren, tackar för att denne kommit till försöket och förklarar att det inte är någon som helst fara att denne är lite sen. När FP själv hängt av sig sina kläder följer S FP från dörren till eyetrackern, på väg dit hälsar även FP och undertecknad på varandra, och S förklarar mitt syfte vid försöket. FP och S slår sig ner vid apparaturen och S förklarar hur försöket ska gå till (med anonymitet, rätten att avbryta när FP vill osv), att hemsidan som ska testas är en prototyp och att tyvärr bara hemsidan kommer att testas i försöket. Vidare förklarar S att man innan försöket kan påbörjas måste apparaturen kalibreras, men att FP innan dess ska få fylla i en enkät. När FP väl är klar med sin enkät förklarar S att FP snart kommer få se själva hemsidan, men att man innan dess måste kalibrera apparaturen, och att detta normalt sett tar ett par försök ( teknikens under ) innan man lyckas. S poängterar att kalibreringen inte är ett test. Det första försöket lyckas inte, S kommenterar det bara med hoppsan, vi gör ett försök till, redo? och försök två lyckas. Efter att kalibreringen slutförts förklarar S att FP kan börja med uppgifterna så fort denne ser muspekaren, och att det är väldigt viktigt att du säger till mig när du är klar med en uppgift!. Precis innan FP startar med sina uppgifter ringer S telefon ( hoppsan, nu händer allting på en gång! ), och det tar ett litet tag innan S hinner få tyst på telefonen. Därefter påbörjas själva försöket. Under försöket läser S upp de uppgifter FP ska Förberedelser FP kommer till lokalen Kalibrering Störning Försöket startas 1 Som är anonymiserat för att vid behov kunna publicera denna rapport på internet. 1

3 Intervju FP lämnar lokalen utföra, och vid ett par tillfällen läser S om uppgifterna på FPs begäran, och vid dessa tillfällen svarar S med en i princip identisk formulering som innan. Vid något tillfälle börjar FP luta huvudet i händerna och S ber denne att inte göra det ( det är bra om du försöker att inte luta hakan på handen ) och FP korrigerar sin sittställning. När försöket (och vid kalibrerinen innan) pågår sitter S till höger om FP och sköter apparaturen (med den bärbara dator som styr apparaturen vinklad från FP) samt antecknar vad som inträffar. S anteckningar verkar framförallt begränsas till slutet av respektive uppgift, men verkar vara ganska konsekvent i detta. När samtliga uppgifter väl är avklarade ber S FP fylla i ett formulär, och därefter genomförs en kortare intervju. Under denna intervju ställer S inledningsvis ett antal frågor i en snabb följd och låter därefter FP tala ganska fritt. Intervjun är inte särskilt lång, och under intervjun tittar S FP i ögonen, nickar för att få denne att fortsätta och antecknar kontinuerligt vad FP säger. Efter att den regelrätta intervjun avslutats sitter FP och S kvar på sina platser och pratar lite om hur testet har varit, exakt vad man har testat och liknande. Därefter följer S FP till dörren där denne klär på sig, S håller upp dörren och säger hejdå till FP när denne klätt på sig. Försök och observation avslutas. 3 Det andra försöket S hämtar FP Försöket startas Intervju På grund av ett återbud och tidsbrist vid de ordinarie försöken (som utfördes runt om i Eskilstuna) behövde ytterligare en försöksperson testas, och denne testades i Linköping. FP var även i detta fall en student, men detta försök utfördes utan en eyetracker och i en annan lokal än det första försöket. Även vid detta försök är FP och S bekanta med varandra sedan tidigare, vilket orsakar lite huvudbry när S hämtar FP en våning ner för att guida upp till försökslokalen. Undertecknad satt kvar i försökslokalen och förbereder sig för sin observation av försöket. Väl i lokalen tar FP av sig sina ytterkläder, S står upp och förklarar vad det är för lokal (interaktionsdesignsstudion) och lite om hur testet ska gå till. När FP tagit av sig sina ytterkläder slår sig denne ner på den stol S anvisat och S sätter sig samtidigt ner, snett bakom FP med översikt över den bärbara dator testet utförs på. När båda satt sig ner förklarar S att några enkäter ska fyllas i innan försöket, och medan S väntar på att FP ska göra detta väntar hon i samma sittställning strax bakom FP. När enkäterna är ifyllda förklarar S hur försöket med dess olika uppgifter kommer gå till, S frågar om FP är redo och därefter startades själva försöket. Under försöket sitter S kvar i samma ställning som tidigare och antecknar i en enkät vad FP gör för något. Vid något tillfälle frågar FP S om testet, varpå S förklarar att hon inte kan svara på frågor annat än efteråt. Vid något tillfälle lutar sig S fram för att tydligare se vad som händer på FPs skärm, utan att FP reagerar eller noterar detta på något särskilt sätt. När försöket väl är avklarat ger S FP ytterligare enkäter att fylla i, när FP fyllt i dessa tackar S för dessa och undrar om FP har några kommentarer på det hon gjort. Under denna intervju yttrar S då och då mm... för att få FP att fortsätta prata, och vid ett par tillfällen fyller S även i med ajuste... precis. Varken FP eller S har flyttat på sig innan eller under intervjun, vilket gör att FP har väldigt svårt att se S (denne måste titta sig själv över axeln) även om FP då och då ändå försöker. Parallellt med detta tittar S i huvudsak ner i sitt anteckningsblock och antecknar vad FP säger. 2

4 När S känner sig nöjd med försöket frågar S FP om denne vill ha en bulle, även undertecknad tilldelas en bulle och S tar den sista. När alla inblandade intar sina bullar förklarar S vilka som har utvecklat systemet, hur det hänger ihop osv. Undertecknad slutar anteckna när diskussionen börjar gå mot vardagliga saker utan koppling till försöket, och deltar själv i diskussionen. 4 Återkoppling till litteraturen Nedan kommer de observerade försöken att kopplas till litteraturen och de riktlinjer (... the golden rules of interacting for moderators of usability tests, som de beskrivs i bokens första kapitel) som presenteras genom boken[1]. Då testet tycks ha varit av vad litteraturen beskriver som en summative typ[1, 2] Regel 1 anser jag att S interaktionsmönster med sina FP i mina observerade försök har varit mycket lämplig. Dumas & Loring skriver bland annat att man för denna typ av test ska undvika att påverka användaren allt för mycket, då man oftast är intresserad av att upprätta någon slags baseline för ens tilltänkta användare. Det Dumas & Loring kallar informed consent har inte varit lika uttalat som tycks Regel 2 vara normalt i litteraturen - istället har denna information delgivits försökspersonen muntligt och utan något kontrakt att skriva på eller liknande. Detta, kombinerat med att S poängterade att deltagande i försöket var helt frivilligt och att FP kunde avbryta försöket när denne ville, måste anses vara adekvat för formen på försöket och vad undertecknad anser sig veta om praxis vid exempelvis psykologiska experiment i Sverige. Dock hade det kunnat varit intressant för FP att veta exakt hur insamlad data skulle komma att användas, i vilka sammanhang och liknande. Vid varje observerat försök informerades försökspersonen att denne skulle testa Regel 4 en prototyp av en hemsida för ett projekt som pågick i ett antal industrier i Eskilstuna. En marginell anmärkning skulle kunna vara att produkten angavs vara en prototyp, trots att den för undertecknad tycktes fungera precis som den skulle - och att S beskrev produkten som just en prototyp kan ha förändrat vad respektive FP tyckte om dito. Denna anmärkning är förmodligen bara relevant för de försökspersoner som observerats i Linköping, då de försökspersoner som testats i Eskilstuna antagligen haft en viss kunskap om produkten sedan tidigare. Även om alla rekommendationer i sektion i Dumas & Loring inte är lämpliga Regel 5 att praktisera i svensk miljö (i alla fall inte utan viss modifikation) och därför kan användas som en checklista för att garantera ett professionellt (men ärligt) beteende, anser undertecknad att S generella beteende gentemot FP har varit utmärkt, särskilt med tanke på förutsättningarna (S bekant med båda FP som observerats, vilket antagligen påverkar hur man kan interagera med FP på ett inte helt okomplicerat sätt). En anmärkning skulle kunna vara hur FP sökte (ögon)kontakt under intervjun i det andra observerade försöket utan att få någon respons, på grund av hur FP och S var positionerade i förhållande till varandra. Utöver detta hade S en god vana av att låta FP ha ordet (Dumas & Loring Regel 6 rekommenderar att försökspersonen har ordet minst 80% av tiden) och att inte & 7 uttrycka en vilja att släta över de problem och buggar som användaren stött på under försöket. Något som hänger ihop med den tidigare anmärkningen på att produkten be- Regel 9 skrivits som en prototyp är regel 9, som berör hur försökspersonen upplevelse av försöksledaren som neutral eller inte. I denna aspekt finns inget att anmärka, då 3

5 S inte beskrev sig själv som en del av projektet i fråga eller antydde något särskilt negativt (eller positivt) om projektet i allmänhet heller. 4.1 Övriga anmärkningar Under båda försöken var S mobiltelefon påslagen med ljud. I det första försöket ringde dessutom denna (även om FP i detta fall tog det väldigt lugnt och sansat) och i det andra försöket pep den till (av något som får antas vara en SMS-signal), vilket dels inte är acceptabelt och dels antagligen förändrar FPs intryck av försöket i stort till det sämre. Dock kan det poängteras att detta var det enda riktigt allvarliga problem som inträffade under försöket. 5 Rekommendationer Avslutningsvis tänkte denna feedbackrapport komma med några kortfattade rekommendationer till min kurskamrat för framtida försök. Då dessa har beskrivits i någon utsträckning tidigare kommer dessa rekommendationer inte vara särskilt långa. Mina rekommendationer: Dubbelkolla alltid all teknik - rätt teknik ska fungera och orelevant dito ska vara avslagen! Var försiktig med att upplysa försökspersonen om en given produkt är en prototyp, en beta eller redan finns ute på marknaden - det kan förändra hur försökspersonen upplever produkten mer än vad som känns intuitivt! Håll koll på hur du och försökspersonen sitter i förhållande till varandra om en intervju ska genomföras efter försöket - det upplevs nog som obekvämt för användaren om denne måste utföra intervjun i en konstlad position som skedde under det andra observerade försöket! Det kan vara värt att förklara för försökspersonen exakt hur den data som ska samlas in ska användas, av vem, hur osv Referenser [1] Joe Dumas & Beth Loring, Moderating Usability Tests: Principles & Practices for Interacting, Morgan Kaufman, [2] Tom Tullis & Bill Albert, Measuring the User Experience: Collecting, Analysing, and Presenting Usability Metrics, Morgan Kaufman,