Utveckling av ett lärsystem en fallstudie av prototyparbete för ett lärsystem riktat till barn

Transkript

1 Utveckling av ett lärsystem en fallstudie av prototyparbete för ett lärsystem riktat till barn Uppsats inom kognitionsvetenskap Sofie Skarpsvärd Linköpings universitet

2 Sammanfattning I denna studie har en design för ett digitalt lärsystem tagits fram och utvärderats i en iterativ designprocess innehållandes skissning, prototyp-arbete och användbarhetstestning. Lärsystemet som utvecklas är riktat mot barn i åldern 10 till 12 och är del av ett större projekt där målet är att det dels ska kunna användas för historieundervisning samt dels för att forska kring barns lärstrategier. Denna studie är en fallstudie där två undersökningar gjorts. Den första undersökningen bestod av tre iterationer där varje iteration bestod av användbarhetstest av prototyp och omdesign av prototyp utifrån resultat från användbarhetstest. Den andra undersökningen bestod av ett användbarhetstest med en skolklass där deltagarna fick använda den prototyp som tagits fram i den första undersökningen och sedan svara på enkät angående deras interaktion med denna. Ett sekundärt syfte med studien har varit att undersöka barn som deltagare i användbarhetstest. Resultat visar att designen har förbättras efter iterationer av test och omdesign men behöver fortsätta att utvecklas för att målgruppen ska kunna använda systemet på ett tillfredställande sätt.

3 1. Inledning Problemformulering Mål med projektet Bakgrund hworld Teachable Agent Teori Användbarhet och användbarhetstestning Användbarhetstestning med barn Barn i designprocessen Metod Frågeställning Val av fall och deltagare Designmetoder Prototyping Skissning Utvärdering Tillvägagångssätt Skapande av design för prototyp Insamling av data Analysprocedur Procedur för att säkerställa validitet Resultat Utvärderingsresultat och omdesign Iteration Iteration Iteration Iteration Resultat av sluttest (andra undersökning) Analys av resultat Första undersökning Andra undersökning Analys av barn som deltagare i användbarhetstesten Diskussion Framtida omdesign Slutsatser och framtida arbete...32 Referenser...33 Appendix A Trädstruktur...35 Appendix B Material från första undersökning...36 Appendix C Enkät och intervjufrågor...43 Appendix D Sammanställning andra undersökning...45 Appendix E Bilder från prototyp...49

4 1. Inledning Digitala miljöer och artefakter blir allt vanligare i människans vardag. I takt med att dessa utvecklas används interaktionsdesign för att anpassa dem till människan. Löwgren och Stolterman (2011) förklarar interaktionsdesign som den process som ordnas inom begränsade resursramar för att skapa, forma och fastställa de bruksorienterade egenskaperna (strukturella, funktionella, etiska och estetiska) hos en digital artefakt för en eller flera uppdragsgivare. För att undersöka hur väl människan kan interagera med ett visst system eller en specifik digital artefakt görs användbarhetsundersökningar. Dessa görs ofta i form av tester där användare får använda ett system medan interaktionen mellan användare och system undersöks. I föreliggande studie har en design för ett lärsystem, riktat till barn i åldern 10-12, tagits fram i en iterativ process av interaktionsdesign och användbarhetsundersökningar. Det finns väl etablerade metoder för användbarhetsundersökningar men många är anpassade efter vuxna som deltagare och tar inte hänsyn till vilka skillnader som kan finnas mellan barn och vuxna vid testningsmetoder. I denna fallstudie tas även en diskussion kring användbarhetstest anpassat för barn i åldern upp. Som bakgrund till studien finns ett större forskningsprojekt kallat hworld med två inriktningar. Den ena inriktningen är att använda lärsystemet som ett verktyg för att studera inlärningsprocesser och strategier. Den andra inriktningen är att utveckla ett system som kan användas i skolor. Den studie som gjorts har behandlats som en fallstudie och rapportens struktur är därför anpassad efter detta. I en fallstudie undersöks ett fall grundligt för att ge fördjupad kunskap inom ämnet (Patton, 2002). Runeson och Höst (2009) menar att en fallstudie är lämplig för mjukvarukjonstruktion och att en fallstudie innehåller följande element: Mål - det som ska åstadkommas Fall - det som undersökts Teori - referensram Frågeställning Metoder - hur data ska samlas in Urvalstrategi - hur data hittas 1.1 Problemformulering Det primära är att ta fram en design för ett påbörjat projekt för ett lärsystem inriktat på historia för barn i åldern 10 till 12. Sekundärt är att ta reda på hur barn involveras i användbarhetstestning. 1.2 Mål med projektet Mål med studien är att ta fram en design för ett lärsystem. De mål som finns med det övergripande projektet är att det framtagna lärsystemet ska kunna användas vid 1

5 lärande i skolor samt att det ska kunna användas för att undersöka och forska kring barns lärstrategier. 2

6 2. Bakgrund I följande kapitel beskrivs det större projekt som denna studie är en del av samt den tidigare konceptprototyp och utvärdering som gjorts. 2.1 hworld Som bakgrund till föreliggande projekt, där en design till ett digitalt lärsystem tas fram, finns ett större forskningsprojekt kallat hworld med två inriktningar. Den ena inriktningen är att använda lärsystemet som ett verktyg för att studera inlärningsprocesser och strategier. Den andra inriktningen är att utveckla ett system som kan användas i skolor. Forskningsprojektet är fokuserat på inlärningsformen inlärning genom utlärning och Teachable Agents, pedagogiska lärbara agenter, som beskrivs mer detaljerat i kapitlet 2.2. Tidigare konceptprototyp Som utgångspunkt för den design som tagits fram i denna fallstudie användes en konceptdesign som tidigare utvecklats inom projeketet hworld samt en utvärdering som gjorts av den konceptdesignen. Konceptprototypen fungerar som ett spel. Nedan följer en beskrivning av konceptprototypen och även dess utvärderingsresultat. Den tidigare konceptprototyp till lärspelet som utvecklas beskrivs i Funk et al (2012). I konceptprototypen får en spelare gå in i ett slott där den möts av en gråtande alv kallad Tidsnisse. Tidsnisse berättar att han försöker ta över titeln som Tidens Väktare och måste, genom att resa i tiden, lära sig om historia för att kunna ta över nuvarande Väktaren Chronos titel. Tidsnissse berättar även att han har ett problem, han kan inte använda tidsmaskinen för att åka runt och lära sig historia för han har för lätt för att bli åksjuk. Spelaren får i uppgift att åka med tidsmaskinen till olika epoker för att lära sig historia och sedan återvända för att lära Tidsnisse allt. Tidsnissen i detta spel är en så kallad Teachable Agent, en pedagogisk agent som spelaren kan läras, för mer om Teachable Agent se kapitel 2.2. Spelaren kan gå in i en tidsmaskin och välja en epok genom en tidslinje. Efter att spelaren valt epok så visas en bild på en smäll och efter detta så visas information om den valda epoken i en textruta. I denna finns en text om epoken samt fält med benämningarna Upptäckter, Personer och Händelser där spelaren kan klicka för att läsa mer om dessa. Efter att spelaren läst och gjort aktiviteter dyker en text upp som meddelar att spelaren är redo att lära Tidsnisse om epoken. Efter utförd aktivitet inom upptäckter visas även en lampa under Upptäckter. Spelaren kan återvända till slottet för att där möta Tidsnisse igen. Spelaren får i uppgift att gå in i Tidsnisses hjärna för att lära honom om epoken. Efter att spelaren har gjort detta genom att placera ut händelser, personer och upptäckter på olika tider är Tidsnisse redo att göra ett prov hos Chronos. Spelaren tittar på medan Chronos frågar frågor om epoken och Tidsnisse svarar. Spelaren får se hur väl Tidsnisse gjorde ifrån sig på provet. Utvärderingsresultat från tidigare konceptprototyp En utvärdering av konceptprototypen gjordes med sex deltagare. Nedan listas alla de svårigheter som deltagare av utvärderingen upplevde. Även övriga kommentarer, som mer positiva resultat, från utvärderingen beskrivs. 3

7 - Svårt att förstå att man måste scrolla i textboxar för att gå vidare - Förstår ej vad added to trips innebär eller boken resor - Förstår ej hur TAn ska läras - Svårt att förstå navigationen - Svårt att förstå val av vilken upptäckt man vill lära sig mer om - Svårt att hitta klar vid klar aktivitet - Förstår ej stegen i lära Tidsnisse - Svårt att förstå hur aktivitet väljs - Svårt att skapa ny karaktär - Läser ej texten noga - Förstår ej lampa under upptäckter Funk et al (2012) beskriver även att det inför framtida utveckling bör läggas fokus på hur spelaren ska förstå hur TAn ska förvara kunskap och sedan använda den. En annan viktig del är hur spelaren ska få återkoppling på huruvida den lärt Tidsnisse rätt eller fel. Positiva upplevelser listas nedan. - Tidsmaskin var lätt att förstå - Bra sätt att välja epok - Förstår progressbaren - Deltagare upplevde spelet som Funny game 2.2 Teachable Agent I det större projekt hworld som denna studie är en del av är Teachable Agents en grundpelare. Blair et al (2006) beskriver en Teachable Agent (TA) som en pedagogisk agent som kan bli lärd kunskap. Personer kan lära TAn och sedan komma åt dess lärda kunskap genom att fråga frågor till TAn eller låta TAn lösa uppgifter. Blair et al (2006) menar att Teachable Agents bidrar med unika möjligheter att optimera interaktion av inlärning genom utlärning. Studier om barn och lärande har visat att Teachable Agents (TAs) ger barn ökad motivation till lärande. Två undersökningar gjordes av Chase (2009) för att undersöka TAs effekter på barns lärande. I dessa undersökningar fick två grupper av barn spela ett spel där en agent fanns med. Ena gruppen fick veta att de skulle lära en agent medan den andra gruppen av barn trodde att de skulle lära sig för sin egen skull. Resultat från dessa undersökningar visade att barn ansträngde sig mer för att lära en agent än när det kom till att lära sig själv och de barn som lärde en agent lärde sig även mer än den gruppen som inte lärde en agent. Barn som lärde en agent var även mer motiverade att lära sig för att lära sig. Dessa barn valde läraktiviteter framför andra aktiviteter som att chatta eller spela spel. Chase (2009) beskriver hur TAs i deras undersökning fungerar som något av en blandning av agent och avatar; i likhet med en agent så behandlades TAn som en social varelse med kognitiva tillstånd och i likhet med en avatar så kunde deltagare se TAn som en reflektion av dem själva. Chase (2009) menar att denna unika blandning leder till ökad motivation till att anstränga sig mer för att lära sig. 4

8 3. Teori I detta kapitel beskrivs den teori som använts. Begreppet användbarhet beskrivs och även användbarhetsundersökningar som användbarhetstest. Utöver detta beskrivs även användbarhetstestning med barn och barn i designprocessen. 3.1 Användbarhet och användbarhetstestning Head (1999) skriver att användbarhet har sin grund i kognitionsvetenskap - studier om hur människor upplever och bearbetar information genom inlärning, minne och uppmärksamhet. Hon menar även att användbarhet är något som är särskilt fördelaktigt vid omdesign av något då utvecklare och inblandade måste ta reda på vad som ska finnas kvar och vad som bör förändras i ett system. Nielsen (1995) beskriver fem viktiga saker som utgör om ett gränssnitt är användbart. (1) det är enkelt att lära sig, (2) det är effektivt att använda, (3) det är enkelt att komma ihåg, (4) det orsakar få misstag, (5) det är behagligt att använda. De fem punkter som beskrivs ovan gäller även vid en kontext för barn (Nesset och Large, 2004). Tullis och Albert (2008) beskriver att på grund av begreppets bredd är användbarhet något som påverkar alla regelbundet, oberoende av faktorer som kultur, kön och ålder. De menar även att användbarhet inte bara syftar på användningen av webplatser och teknologi utan att det även kan handla om att försöka lista ut en skattesedel eller att köra en ovan bil. Tullis och Albert (2008) har, genom att jämföra vilka likheter som finns inom olika definitioner av termen, tagit fram nedanstående tre kriterier för att användbarhet ska vara något mätbart: - En användare är inblandad. - Användaren gör något. - Användaren gör något med en produkt, ett system eller annat. För att undersöka användbarheten hos en produkt eller ett system görs ofta användbarhetsundersökningar med användare. Nesset och Large (2004) ger en övergripande bild över vad användbarhetsundersökningar innebär. De beskriver att sådana undersökningar fokuserar på hur användare tänker kring, interagerar med, och ger information som är nödvändig för mjukvaran. De skriver att de flesta användbarhetsundersökningar tillämpar en iterativ process där användare från den tänkta målgruppen testar gränssnittet till mjukvaran eller websidan. Efter den första iterationen, efter tester med användare gjorts, så omdesignas gränssnittet och testas igen. Processen fortsätter tills en önskvärd design har uppnåtts (Nesset och Large, 2004). Tullis och Albert (2008) delar upp användbarhetsundersökningar i två olika delar: formativ användbarhet och summativ användbarhet. Det som kännetecknar den första typen är iterativ testning där målet är att förbättra en design. Nedanstående frågor är sådana som ofta bevaras efter en formativ utvärdering: - Vilka är det största svårigheterna inom användbarhet som förhindrar användare från att uppnå sina mål eller som resulterat i ineffektivitet? - Vilka delar av produkten fungerar bra för användare? Vad tycker de är frustrerande? - Vilka är de vanligaste felen eller misstagen som användare gör? - Har det förbättrats mellan design-iterationerna? - Vilka svårigheter kan tänkas finnas kvar när produkten släppts? 5

9 Till skillnad från den formativa försöker den summativa att utvärdera hur bra en färdig produkt är givet kriterier eller en konkurrerande produkt. Deltagare i användbarhetsutvärdering Ett väl diskuterat ämne är hur många deltagare som behövs vid en användarutvärdering. Något som enligt Tullis och Albert (2008) oftast gäller är att i början av en designprocess så räcker det med ganska få deltagare för att upptäcka större svårigheter och när systemet börjar bli färdigt så krävs det fler deltagare för att få fram vilka svårigheter som kan finnas. Fem deltagare kan vara tillräckligt för att upptäcka de största upplevda svårigheterna med ett system men då bör systemet vara begränsat i sina funktioner och runt 20 till 30 sidor om det är en webbsida. Målgruppen bör även vara väl definierad och representerad av deltagarna om tester med få användare ska ge resultat. Användbarhetsmått är något som används inom användbarhetsutvärdering. Tullis och Albert (2008) har samlat mått på användbarhet och beskriver att dessa säger något om användarens upplevelser samt interaktionen mellan användare och system med avseende på ändamålsenlighet, effektivitet och tillfredställelse. Mått kan bidra med struktur till design och till utvärderingsprocessen samt ger information om användarupplevelser. Utan dessa så tvingas viktiga beslut tas utifrån gissningar, vilket kan ge konsekvenser. Data är, enligt Tullis och Albert (2008), viktigare än intuition när det kommer till att ta ett designbeslut. 3.2 Användbarhetstestning med barn När det kommer till användbarhetstestning med barn som deltagare så är det viktigt att anpassa testet efter den åldergrupp som deltagarna tillhör. Hanna et al (1997) beskriver riktlinjer för användbarhetstestning med barn. I denna artikel definieras barn som människor mellan åldern 2,5 år och 14 år. Det är enligt Hanna et al (1997) väldigt enkelt att använda barn i åldern år i användbarhetstestning då de flesta i den åldern är bekväma med datorer och vuxna som de inte känner sedan tidigare. Något som bör tas hänsyn till är att barn blir trötta efter en timmes användning av datorer och därför är det viktigt att inte schemalägga mer än det på ett tillfälle. För att spara tid rekommenderas det att endast barn som har erfarenhet av datorer används vid testningen då tiden annars kommer att gå åt till att lära barn om användandet av datorer, till exempel hur mus och skärm fungerar. Det finns även en risk med att använda barn som har för mycket kunskap om datorer, till exempel barn som programmerar sina egna spel. Detta då data som tas fram utifrån sådana deltagare är svåra att använda för att göra något användbart för en bredare målgrupp. Ytterligare riktlinjer som de föreslår är att, för deltagarna, understryka deras roll i testet, detta då det gör att barnen ofta blir mer samarbetsvilliga. Hanna et al (1999) beskriver att iterativ testning med barn, där barnen deltar en i taget med forskaren, tillåter forskaren att observera barnen och hur de använder produkten. Detta leder till att det på ett enkelt sätt går att hitta vilka problem som finns. Enkäter med barn 6

10 Att göra enkätundersökningar med barn som respondenter kan skilja sig från undersökningar där vuxna är respondenter eftersom barn inte förstår allt som vuxna gör. När barn är den tänkta målgruppen så görs enkäter ofta med barn. Scott (1997) menar att det bästa sättet att ta reda på barns perspektiv, handlingar och attityder är genom att använda barnen som respondenter. Enligt Borgers et al (2000) kan barn användas som respondenter i undersökningar från och med att de är 8 år gamla. Enkäter måste dock enligt dem ta hänsyn till den åldergrupp som undersöks eftersom barns kognitiva förmågor utvecklas med åldern. En rekommendation som Borgers et al (2000) ger är att vara noga med att undvika tvetydighet i frågor och svarsalternativ. Vaga kvantifierare kan också ha en stark inverkan på kvalitet av data, detta speciellt med yngre barn. Något annat som lyfts fram är att undvika negationer, detta är något som skiljer sig mycket från hur vanliga enkäter med vuxna som respondenter oftast ser ut där negationer involveras. Barn i åldern kan dock oftast svara på enkäter med samma språk som de enkäter som används för vuxna (Borgers et al, 2000). 3.3 Barn i designprocessen Barn har länge involverats i designprocessen men på olika sätt. Druin (2002) beskriver fyra huvudsakliga roller som barn har i en designprocess för teknologi. De fyra rollerna är användare, testare, informant och designpartner. De två första rollerna fokuserar på barn som deltagare av test, likt inom användbarhetstestning. De två senare rollerna innebär processer där barn deltar under flera steg i designprocessen. I rollen som användare bidrar barn genom att använda teknologi medan försöksledare observerar eller testar barnen. Den här rollen används när det som undersöks är hur existerande teknologi påverkar barn. I rollen som testare testar barn prototyper som ännu inte släppts som färdiga produkter. Barnen observeras och får ge kommentarer om deras upplevelser. Rollen som testare används vid iterativ utveckling. I rollen som informant medverkar barn i flera moment, vilka moment det blir baseras på när forskare tror att barn har nått att bidra med. Barn som informanter kan observeras, bidra med åsikter kring skisser och prototyper samt bidra med åsikter om utvecklad produkt. I rollen som designpartner involveras och ses barn som likvärdiga intressenter genom hela designprocessen. Barn bidrar här på sätt som är lämpliga för dem. En fördel med att ha barn som informanter är att det tillåter flexibilitet när det kommer till när och var aktiviteter ska ske. Eftersom det kommer att finnas flera moment då barn inte behöver vara med i processen så kan tidsscheman anpassas efter när barnen har tid. En fördel med att ha barn som designpartners är att det inte är lika mycket väntande innan vilken riktning som bör tas är tydlig. Detta eftersom barnen i denna roll bidrar med feedback och diskussioner så pass ofta. En utmaning som finns med att använda barn som designpartners är att det inte är den vuxna som bestämmer. Det är inte heller barn som bestämmer utan besluten måste tas gemensamt i gruppen. Detta kan vara en stor omställning för både barn och vuxen. 7

11 4. Metod I följande kapitel beskrivs designmetoder och utvärderingsmetoder samt fallstudiens fall, deltagare och tillvägagångssätt. 4.1 Frågeställning Hur ska ett lärandespel för barn i åldern utformas? Hur kan barn involveras i användbarhetstestning? - Vilka delar av användbarhetstestning är viktigast att anpassa efter barn? 4.2 Val av fall och deltagare En fallstudie är lämplig för mjukvarukonstruktion, då det som studeras kan vara svårt att få fram i en isolerad miljö (Runeson & Höst, 2009). I en fallstudie är det meningen att det valda fallet ska undersökas grundligt och på så sätt ge fördjupad kunskap inom ämnet. Fallet i en fallstudie kallas även Unit of Analysis, vilket är det som undersöks eller studeras, och denna kan förändras under studiens gång. Fallstudie refererar inte bara till själva produkten som kommer utav en analys utan även den process som kommer från analysen (Patton, 2002). Runeson och Höst (2009) menar att en fallstudie ska använda följande element: Mål - det som ska åstadkommas Fall - det som undersökts Teori - referensram Frågeställning Metoder - hur data ska samlas in Urvalstrategi - hur data hittas Vidare så säger de även att fallet ska vara något som är ett samtida fenomen i en verklig kontext. Meningen med detta projekt var att ta fram en design till projektet hworld, vilket är ett lärspel eller en lärmiljö för barn i åldrarna Projektets Unit of Analysis blev processen för framtagandet av designen samt de designförslag som togs fram. Designen utformades från grunden med hjälp av gamla utvärderingar för själva konceptdesignen inom projektet hworld vilket gav en djupgående kunskap om hur spelet kom att se ut och fungera. Deltagarna i användbarhetstestningarna som gjordes var barn i åldern år, vilket stämde in på målgruppen. Användbarhetstestet gjordes i två delar, där sex barn fick testa spelet i första delen och 28 barn fick testa spelet i andra delen. De sex barnen i del ett kan delas in i två grupper, där grupp ett med två barn gjorde testet på Linköpings universitet, och grupp två vilka var fyra av barnen gjorde testet på den skola där de gick. Alla gjorde testet i någon slags datorsal. Innan användartestet utfördes gjordes ett pilottest på fyra barn, där alla var 12 år. Dessa 8

12 tillfrågades om de ville fortsätta att testa spelet, vilket två av dem kunde, och blev då grupp ett. För att få tag i fler barn som skulle utgöra grupp två, kontaktades en skola för att se vilka av barnen som var intresserade att testa en prototyp till ett spel. Barnen fick med sig en förklarande lapp hem, hur testet skulle gå tillväga som målsman läste igenom och skrev på. På denna lapp skulle barnen även fylla i vilka tider de kunde vara med. Om de vill vara med så skulle de fylla i åtminstone tre tider under de tre veckor som testet skulle pågå. Barnen lämnade sedan tillbaka lappen och utifrån vilka tider de fyllt i valdes åtta barn ut. Dessa kontaktades för att träffas för det första testet. Av de åtta barnen som kontaktades kunde endast fyra vara med. Samma skola kontaktades för sista testet, vilket utfördes under ett tillfälle i skolans datorsal. 4.3 Designmetoder De designmetoder och mått som använts i denna studie är prototyping, skissning och användbarhetsmått. Olika typer av och ansatser till prototyping beskrivs samt skissning och använda mått inom användbarhetstestning Prototyping Prototyping består, enligt Floyd (1984), av följande fyra steg: val av funktionalitet, konstruktion, utvärdering och framtida användning. Val av funktion kan antingen göras vertikalt eller horisontalt där vertikalt innebär att endast vissa utvalda funktioner implementeras och horisontalt innebär att det mesta finns med men mer simulerat än implementerat i detalj. Vid konstruktion av prototyp ligger fokus på att den ska kunna utvärderas. Utvärdering görs sedan för att ta fram kritik som kan användas för framtida utveckling. Det finns olika ansatser till prototyping och även olika slags typer av prototyper. Olika ansatser och typer används för olika syften. Floyd (1984) beskriver tre olika ansatser till prototyping. Olika ansatser används för olika ändamål. De ansatser hon beskriver är Prototyping för utforskande (Prototyping for exploration), Prototyping för experimenterande (Prototyping for experimentation) och Prototyping för evolutionär utveckling (Prototyping for evolution). Prototyping för utforskande används för att ta fram krav och önskvärda delar som ska finnas med i systemet men även för att diskutera möjliga lösningar. Det är här viktigt att understryka att prototypen i sin helhet inte kommer att överföras till det slutgiltiga systemet men dock kommer de idéer som framkommit under utforskandet att föras vidare till systemet. Prototyping för experimenterande används för att undersöka hur lämpliga designförslag är innan de implementeras. Inom ramen för denna ansats beskriver Floyd (1984) Human Interface Simulation där delar av systemet består av mockups men det som användare presenteras för ser ut som ett verkligt system. Det behöver inte finnas några data som behandlas bakom gränssnittet men det ser ut som ett riktigt system för användare. 9

13 Prototyping för evolutionär utveckling används för att ta fram nya krav och kan ibland vara mer likt en version av den slutgiltiga produkten än en prototyp. Olika typer av prototyper Bäumer et al (1996) beskriver att det utöver de olika ansatserna till prototyping även finns olika typer av prototyper som kan byggas. De presenterar följande typer av prototyper: Presentation prototypes, Functional prototypes, Breadboards och Pilot systems. Presentation prototypes är prototyper där fokus ligger på användargränssnittet. De illustrerar hur ett program kan uppfylla krav och ses ofta som ett designförslag. Presentation prototypes är ofta resultatet av prototyping för utforskande (Bäumer et al, 1996). Functional prototypes är implementerade delar av både användargränssnitt och funktionalitet som sedan ska finnas med i programmet eller systemet. Sådana prototyper är ofta resultatet av prototyping för utforskande eller prototyping för experimenterande. Breadboards, enligt Bäumer et al (1996) är prototyper som används för att undersöka funktionalitet och risker med det framtida systemet. Dessa är inte menade att utvärderas av användare. Den sista typen av prototyper är Pilot systems, dessa är vad Bäumer et al (1996) kallar för mogna prototyper som kan direkt överföras till systemet. Pilot systems är ett viktigt steg i prototyping för evolutionär utveckling. I denna studie har prototyping för utforskande och prototyping för experimenterande använts. Den typ av prototyp som tagits fram har element från både presentation prototypes och functional prototypes Skissning Skissning används inom interaktionsdesign för att utforska eller kommunicera idéer. Skissning och olika skisstekniker är en viktig del i den kreativa designprocessen och genom att använda skissning i design-processen blir interaktionsdesigners bättre på visuellt tänkande och bättre på att kommunicera idéer (Baskinger, 2008). Baskinger (2008) skriver i artikeln Pencils before Pixels att handgenererade skisser används för att tänka genom abstrakta idéer och att detta kan bidra till en bättre grund för vidare utveckling eller förfining med digitala bilder eller ord. Genom att först börja med handgenererade skisser, med papper och penna, kan idéer uttryckas i Lo-Fi väldigt snabbt. Att skissa idéer i olika variationer, detaljnivåer och ifrån olika synsätt kan leda till att kommunikationen förbättras samt att det bidrar till ett mer kritiskt sätt se helheten av en idé. De mål som finns med skissning på papper är följande (Baskinger, 2008): 1. Att ge uttryck för och förmedla tankeprocessen - för att omvandla immateriella idéer till konkret information. 2. Att komma fram till idéer, inte resultat. 3. Att engagera i diskussion i ämnet eller problemet som en aktivitet. Baskinger (2008) menar att en ritad bild förklarar en idé fortare än vad ord gör men detta endast då skissen eller den ritade bilder är organiserad och kommunicerar väl. Fish och Scrivener (1990) skriver om skissning och människans visualiseringsförmågor. De menar att genom att använda ord, bilder eller modeller för att representera föremål, scener eller händelser ökar människans förmåga att visualisera oerhört mycket. Fish och Scrivener (1990) menar vidare att skisser har en viktig funktion - att hjälpa människan att översätta beskrivande information till 10

14 avbildning. Denna avbildning eller skiss kan sedan tas in och omvandlas till ny beskrivande information som i sin tur leder till nya skisser. Skissning har använts i denna studie för att ta fram och diskutera idéer Utvärdering Vid användbarhetstestning används ofta olika användbarhetsmått. Tullis och Albert (2008) beskriver sådana mått och har delat upp dem i kategorierna prestationsmått, svårighetsbaserade mått, självrapporterande mått och beteendemått. De mått som använts i denna studie är mått som mäter svårigheter, misstag, tillfredställelse samt förväntningar i förhållande till upplevelser. Svårigheter Svårigheter ligger under kategorin svårighetsbaserade mått. Tullis och Albert (2008) beskriver, inom ramen för användbarhetstestning, något som de kallar Problem discovery - hädanefter med benämningen Problem-identifiering i studien. Syftet med problem-identifiering är att upptäcka vilka större svårigheter (eng. usability issues) som användare upplever med ett system. Målet är att ta reda på vad som stör användare och denna typ av undersökning görs oftast på system som tidigare inte genomgått en användbarhetsundersökning. Något som skiljer detta från andra typer av användbarhetsundersökningar är att det inom problemidentifiering inte är nödvändigt att ge deltagare förbestämda uppgifter att utföra under ett test. Deltagare kan istället utföra valfria uppgifter, detta eftersom det är viktigt att sträva efter en så verklig situation som möjligt (Tullis och Albert, 2008) Sådana undersökningar görs ibland i användares naturliga kontext som till exempel i hemmet eller på en arbetsplats. Tullis och Albert (2008) menar vidare att det kan vara svårt att jämföra deltagare med varandra i en sådan undersökning och på grund av detta används ofta mått som undersöker svårigheter inom problemidentifiering. Mått som fokuserar på svårigheter används ofta inom en iterativ designprocess där en design utvärderas och förbättras. Trots att det ofta används inom användbarhetstestning så kan det vara svårt att veta vad som egentligen är en svårighet av allt som användare upplever. För att ge klarhet i detta ger Tullis och Albert (2008) följande exempel på vad som kan tyda på att något bör räknas som en svårighet: Saker som förhindrar någon att utföra en uppgift rätt Saker som leder någon på fel spår Saker som skapar förvirring Saker som skapar misstag Att inte se något som borde ha setts Att anta att något är rätt när det är fel Att anta att något är utfört korrekt när det inte är det Att utföra en felaktig handling Att missförstå någon del av innehållet Att inte förstå navigationen Ett vanligt sätt att analysera svårigheter är att räkna antal unika hittade svårigheter vid iterationer. Att se svårigheter minska mellan iterationer kan vara ett bra tecken 11

15 men detta innebär inte att de viktigaste och allvarligaste svårigheterna har åtgärdats. Eftersom svårigheter kan skilja sig från varandra i hur stora eller allvarliga de är finns det en mening med att dela upp dessa efter allvarlighet. Tullis och Albert (2008) beskriver vad de kallar Severity ratings där svårigheter, efter olika kriterier, delas upp. Genom att dela upp eller kategorisera svårigheter på detta sätt kan prioriteringar för åtgärder göras och det blir enklare att veta vad som bör fokuseras på. Misstag Misstag (eng. errors) ligger under kategorin prestationsmått och är något som ibland lätt kan blandas ihop med svårigheter då de ofta förekommer tillsammans. Misstag är enligt Tullis och Albert (2008) felaktiga handlingar som kan leda till ett misslyckande med att utföra en uppgift. En svårighet är ofta den bakomliggande orsaken till att ett misstag görs. Ett exempel på ett misstag kan vara att missa att utföra en nödvändig handling. För att kunna avgöra vad som är ett misstag i ett system krävs det att alla möjliga handlingar som kan göras i systemet först identifieras för att sedan sammanställa vilka möjliga misstag som är möjliga för en användare att göra. Misstag kan samlas in genom att observera eller genom att använda automatiserade verktyg för hemsidor (Tullis och Albert, 2008). Tillfredställelse Något som ofta används inom användbarhetstestning är mått av tillfredställelse eller nöjdhet. Detta mäts genom självrapporterande mått, det vill säga att användare själv uttalar sig om hur de upplevde de system som de testat (Tullis och Albert, 2008). Självrapporterande mått finns i olika former. Öppna frågor eller frågor med svar i skala är exempel på sådana som mäter tillfredställelse. Dessa mått är viktiga eftersom användares subjektiva upplevelser av ett system kan påverka om användaren väljer att använda systemet eller inte. Självrapporterande mått samlas bäst in direkt efter en uppgift eller direkt efter ett genomfört användbarhetstest (Tullis och Albert, 2008). Känslor är även något som kan vara viktigt att fråga efter. Pekrun et al (2002) har samlat följande känslor som ofta upplevs i akademiska situationer: glad, hoppfull, lättnad, tacksam, ledsen, arg, orolig, hopplöst, besviken, skuld, uttråkad, avundsjuk, överraskad. Förväntningsmått Förväntningsmått ligger under kategorin självrapporterande mått och kan användas för att jämföra förväntningar av något med upplevelser av något. Albert och Dixon (2003, citerad i Tullis & Albert 2008) introducerar förväntningsmått där förväntad enkelhet jämförs med upplevd enkelhet på följande sätt. Innan en uppgift utförs får deltagare uppskatta hur de tror något kommer att vara och efter en uppgift utförs får deltagare rapportera hur de faktiskt upplevde det. För detta används en sjugradig skala för båda bedömningar och jämförs sedan med varandra. Mått som använts i denna studie är svårighetsmått, misstag, tillfredställelse samt förväntningsmått. 4.4 Tillvägagångssätt För att få fram en slutgiltig design togs det först fram en hi-fiprototyp utifrån skisser. Dessa skisser baserades på tidigare utvärderingar av spelets koncept men 12

16 även från önskemål och kravspecifikation från beställarna bakom projektet hworld. Prototypen utvärderades sedan genom användbarhetstest. Först gjordes detta i en liten grupp i tre iterationer och sedan i en stor klass under en lektion. Under det första testet ändrades designen utifrån resultatet till nästa iteration eller test Skapande av design för prototyp Tidigare designprojekt inom hworld hade tagit fram koncept och viss design för spelet. Detta tidigare projekt gjorde en utvärdering av designen, vilket sammanställdes i detta projekt för att se vad som ansågs vara bra och dåliga idéer. Utifrån detta hittades de olika delarna i spelet vilka visades i en generell trädstruktur för att göra sammansättningen av delarna överblickbar, se Appendix A. Genom att ta hänsyn till den gamla utvärderingen och samtidigt fokusera på spelets olika delar, koncept och idéer togs olika skisser fram. Dessa skisser visades sedan för beställarna som fick säga vad de fann passande för spelet och vilka skisser som skulle fortsätta att användas. Utifrån dessa önskemål och begränsningar fortsatte skissandet som förut men med ett snävare förhållningssätt, där bland annat att det ska vara en tidsmaskin användaren åker med i spelet och att denna ska kunna ha ett armband där den kan anteckna och läsa mer fakta. Men även att det skulle vara fokus på hur användarna ska kunna utforska utan att bli styrda. När skisserna var klara implementerades dessa till en hi-fiprototyp i programmet Axure 6.5 Pro, vilket är ett HTML-baserat prototyping-program som använder sig av drag-and-drop-placering. Fokus med prototypen var att få ihop ett körbart spel med alla delar som återfanns i trädstrukturen. Till exempel kunde användaren välja två olika platser att åka till med tidsmaskinen för att få en förståelse över hur spelet fungerade, medan det kommer att vara många fler platser att åka till i den färdigimplementerade versionen. Prototypen var en förenklad version av den slutgiltiga produkten men som ändå skulle ge samma känsla. Designen gjordes sedan om i iterationer av användbarhetstest och design Insamling av data Den utvärderingsmetod som användes var användbarhetstestning av en hifiprototyp av spelet. Detta gjordes först i tre iterationer med en grupp på sex personer och sedan i ett större test med 28 personer. Första undersökning - Användbarhetstester i liten grupp Den första undersökningen var inriktat på hur deltagarna spelade spelet, och vilka problem och svårigheter som kunde finnas men även övriga iakttagelser Därför utfördes detta genom en observation av deltagarna medan de spelade. Detta ledde till att endast en deltagare kunde bli observerad per observatör, för att inte missa något som deltagaren gjorde i spelet. Observatörerna skrev upp det som deltagaren gjorde under tiden de spelade, under en 20 minuters-period. Det primära för observatören att anteckna var mönster i deltagarens spelande, problem som de verkade ha samt ljud och rörelser som de gjorde kopplade till en händelse. Om deltagaren ställde några frågor under testet så försökte observatören att svara på dessa utan att avslöja för mycket, och att få deltagaren att istället utforska mer för att själv lösa problemet. När spelperioden var slut och alla deltagare hade spelat spelet så gjordes en intervju med hela gruppen. Denna intervju gick till så att det 13

17 fanns en intervjuledare som ställde semi-strukturerade frågor om spelet som deltagarna fick svara på och en person som skrev ner det deltagarna svarade. Dessa frågor gav svar på hur deltagarna tyckte att det gick för dem att spela, vad de tyckte var roligt/tråkigt/svårt samt lade fokus på de olika delarna i spelet för att ge en förståelse om vad deltagarna ansåg om dessa. Intervjuerna spelades inte in. Andra undersökning - Sluttest med stor grupp Den sista undersökningen involverade 28 deltagare som fick spela spelet, varav tre av dessa spelade tillsammans på grund av brist på datorer. Testets fokus låg på att mäta användarnas tillfredsställelse av spelet men mätte även prestationer och svårigheter med det. Deltagare fick instruktioner om att de skulle spela spelet under en 20 minuters-period och att de skulle försöka göra allt som gick att göra i spelet. De fick även veta att de kunde fråga om hjälp under tiden. Innan de började spela så fick de svara på en enkät som handlade om förväntningar av hur roligt de trodde att spelet skulle vara samt hur bra de trodde att det skulle gå för dem, se Appendix C. Under tiden som de spelade gick försöksledare runt och hjälpte deltagare som ville ha hjälp och antecknade samtidigt vilka saker som deltagare hade svårt att förstå. Efter speltiden gått ut så fick deltagare svara på ytterligare en enkät som bestod av frågor om deras upplevelser med spelet. Denna enkät baserades på de svårigheter och problem som framkommit under den första undersökningen. Till sist gjordes två gruppintervjuer med två grupper om 6-7 personer där ena gruppen bestod av deltagare som, i den sista enkäten, fyllt i att de upplevde att det gick bra för dem att spela och andra gruppen bestod av deltagare som fyllt i att de upplevde att det gick dåligt för dem att spela. Intervjuledare antecknade svaren som gavs av deltagarna. Antal unika besökare per rum (antal deltagare som besökt ett visst rum i spelet) och antal klick på saker i spelet samlades in med hjälp av verktygen Google Analytics och CrazyEgg under tiden som deltagare spelade spelet Analysprocedur Första undersökning - Användbarhetstester i liten grupp Under den första utvärderingen som skedde i tre iterationer analyserades data som samlats in genom observation och semi-strukturerade intervjuer. Utifrån observationer togs svårigheter och problem med spelet fram. För att determinera vilken nivå en svårighet var på bedömdes först svårighetens påverkan på användarupplevelsen som antingen liten eller stor. Efter detta undersöktes hur många som upplevt svårigheten. Dessa svårigheter delades sedan upp utifrån bedömningar enligt Severity ratings, se kapitel Utvärdering. De tre olika nivåer som användes var låg, medium och hög. En svårighet som bedömts att ha stor påverkan på användarupplevelsen och upplevts av fyra deltagare eller fler fick bedömningen Hög. En svårighet som bedömts att ha liten påverkan på användarupplevelsen och upplevts av tre deltagare eller färre fick bedömningen Låg. Resterande fall bedömdes som Medium. Efter varje iteration sammanställdes även alla unika svårigheter som framkommit under varje iteration för att jämföra om designen blivit bättre. Omdesign vid kommande iteration baserades på de Severity ratings som hittats. Intervjusvar från deltagare sammanfattades och användes för att bekräfta och komplettera de observationer som gjorts och därmed skapa en bättre förståelse för deltagares användarupplevelser. Andra undersökning - Sluttest i stor grupp 14

18 Utifrån den andra utvärderingen med 28 deltagare analyserades enkätsvar, intervjuer samt deltagares navigation med hjälp av analysverktyg för hemsidor. Från de enkätsvar som samlades in valdes fyra enkäter bort då de saknade svar på vissa frågor och därmed var ofullständiga. Utifrån enkätsvaren beräknades hur stor andel av deltagare som hela tiden förstod vad de skulle göra, skulle använda spelet igen, trodde att deras vänner skulle använda spelet samt hur stor andel som förstod vad Tidsalvens (TAs) roll i spelet var. Förväntningar av underhållning och prestation mättes även genom att jämföra förväntningar på spelet innan och upplevelser av spelet efter. Utifrån detta mättes även hur stor andel av deltagare som hade uppskattat högre förväntad underhållning och prestation än vad de sedan upplevde. Deltagares navigation undersöktes genom att analysera data från verktygen Google Analytics och CrazyEgg. Google Analytics visade hur många av deltagarna som besökt en viss sida (i detta fall ett rum i spelet). Då deltagare fått i uppgift att försöka göra allt i spelet så räknades att inte besöka ett visst rum som ett misstag. Med hjälp av verktyget CrazyEgg kunde antal klick på saker beräknas, men inte unikt för varje deltagare. Då troféer i spelet endast kan klickas på en gång av samma spelare så beräknades det hur många som lyckats samlat trofeer. Intervjusvar sammanställdes och användes för att bekräfta och komplettera enkätsvar samt för att undersöka vad det kunde finnas för anledningar till att deltagare svarat att det upplevt att det gick bra eller dåligt Procedur för att säkerställa validitet För att säkerställa validiteten i projektet har olika procedurer tillämpats. Det gjordes två olika användbarhetstest, varav ett gjordes i tre iterationer. Utifrån det första gjordes omdesign på prototypen och utifrån det andra togs omdesignsförslag fram. Genom att göra utvärdering av design utifrån utvärderingsresultatet kan designen stärkas. Även forskningstriangulering användes. Med det menas att fler än en person har studerat ett problem (Patton, 2002). Två personer har jobbat med att ta fram designen till lärspelet och har på så sätt även kunnat diskutera och bolla idéer mellan varandra för att nå ett bra resultat. Genom att de två personer delaktiga i designprojektet hade olika frågeställningar vid framtagandet av designen och på så sätt utgick från olika teoretiska bakgrunder, tillämpades även teoritriangulering (Patton, 2002) 15

19 5. Resultat I följande kapitel presenteras resultat från de två undersökningar som gjorts. Den första undersökningen bestod av tre iterationer av användbarhetstest samt omdesign och den andra undersökningen bestod av ett användbarhetstest med en större grupp deltagare. 5.1 Utvärderingsresultat och omdesign Resultat för varje iteration från den första undersökningen presenteras Iteration 0 Nedan beskrivs den prototyp som implementerades utifrån skisser och resultat från utvärdering av konceptprototyp. Detta var den första prototyp-design som togs fram och omdesignades sedan iteration för iteration baserat på utvärderingsresultat. Beskrivning av prototyp Spelet består av 12 olika ställen, hädanefter kallade för rum. Slott-utomhus Hall Troferum Kontor Lärrum Tidsmaskinsrum I tidsmaskin Hos Galileo-utomhus Hos Galileo Hos Gutenberg-första-rum Hos Gutenberg-andra-rum Res-scen Spelet börjar med att spelaren befinner sig utanför ett slott där en ruta med korta instruktioner visas. Rutan kan stängas och spelaren kan klicka på dörren till slottet. Genom att klicka på dörren till slottet flyttar sig spelaren till rummet Hall. I detta rum kan spelaren se en Tidsväktare som presenterar sig själv och förklarar att han är ganska upptagen, se figur 1. Spelaren kan sedan klicka på tre olika dörrar vilka leder till rummen Troférum, Tidsmaskinsrum och Lärrum. Spelaren kan även klicka på en trappa som leder till rummet Kontor. Alla dessa rum har endast en dörr som leder tillbaka till Hall. I rummet Troférum kan spelaren se samlade troféer samt klicka på dessa för att läsa mer om dem. I rummet Tidsmaskinsrum kan spelaren, av en Tidsalv, få information om vad som ska göras genom en klickbar dialog och kan även klicka på en tidsmaskin för att gå in i den, se figur 2 och 3. Tidsavlen beskriver i denna dialog att hen vill lära sig historia genom att resa i tiden men är för åksjuk för att göra detta själv. Tidsalven föreslår att spelaren ska resa istället och sedan komma tillbaka och lära tidsalven saker. 16

20 Figur 1. Första möte i rummet Hall. Figur 2. Tidsalv förklarar att spelaren borde resa istället för tidsalven. Inuti Tidsmaskinen kan spelaren välja en tid och en plats att resa till genom att bläddra ner med pilar och sedan klicka på en knapp med RES. Efter att spelaren har klickat på RES visas en res-scen i några sekunder och därefter flyttas 17

21 spelaren till en vald tid och plats. De platser som kan väljas är Renässans 1467 (Gutenberg) och Renässans 1634 (Galileo). Figur 3. Innuti tidsmaskinen. I rummet Hos Galileo-utomhus kan spelaren klicka på en dörr till ett hus för att komma till Galileo där Galileo Galilei står. Spelaren kan klicka på Galileo för att få en uppgift att hitta hans kikare och även för att få information om honom. Om spelaren hittar och klickar på kikaren så försvinner den. Spelaren kan klicka på en tavla och ett torn utanför fönstret för att läsa mer om Galileo. Genom att klicka på en bild på tidsmaskinen kan spelaren återvända till Tidsmaskinsrummet. I rummet Hos Gutenberg-första-rum, som nås genom att använda tidsmaskinen, kan spelaren klicka på en pojke för att få upp en dialog där pojken berättar om Johann Gutenberg. Spelaren kan klicka på en dörr för att förflytta sig till Hos Gutenbergandra-rum. I detta rum kan spelaren klicka på en tryckmaskin, en tavla och lösa typer till maskinen för att läsa mer om Gutenberg och tiden. De lösa typerna försvinner då spelaren klickat på dem. Spelaren kan återvända det föregående rummet genom att klicka på en dörr eller till Tidsmaskinsrummet genom att klicka på en bild på tidsmaskinen. I rummet Lärrum kan spelaren utföra en läraktivitet för att lära Tidsalven saker. I läraktiviteten får spelaren först läsa instruktioner för att sedan utföra en aktivitet där rätt person ska paras ihop med rätt händelse på rätt tid. Spelaren får instruktioner om att inte alla personer och händelser behöver användas. I rummet Kontor kan spelaren se Tidsväktaren och klicka på en knapp på ett skrivbord Gör prov. När spelaren klickat på denna knapp kan spelaren välja ett prov och sedan se en animation där Tidsalven fyller i svar som baseras på vad spelaren har lärt Tidsalven i aktiviteten i Lärrum. 18

22 I alla rum, förutom Slott-utomhus, kan spelaren klicka på en ikon som liknar ett armband nere i hörnet för att få upp en större ruta där spelaren kan skriva anteckningar eller läsa mer om en historisk person. Läsa mer om en historisk person är bara tillgänglig när spelaren befinner sig i den tiden som den personen tillhör Iteration 1 Utvärderingsresultat Efter observation och intervju med deltagare identifierades följande unika svårigheter (varje svårighet listas endast en gång även om den upplevts av flera deltagare eller flera gånger av samma deltagare). Svårigheterna presenteras i tabell 1 med den bedömning av allvarlighet som de tilldelats, hög, medium eller låg, utifrån hur många som upplevt den samt hur stor eller liten påverkan den haft på användarupplevelsen. Hög (1) Försöker skriva i rutorna på provet, Säger Går inte att klicka Medium (9) Klickar på bläddra upp flera gånger i tidsmaskinen fast det inte går. Försöker resa utan att ha valt tid (klicka res) det går ju inte. Försöker skriva i textrutan och klickar på res (fick sedan hjälp). Får aldrig tidsmaskinen att fungera (ger upp fort) så kommer aldrig till någon tid. Läste inte instruktionerna. Drar ihop alla i läraktivitet (trots lästa instruktioner). Drar flera personer på samma händelse i läraktivitet. Försöker att ångra men det går inte. Parar ihop flera händelser till en person i läraktivitet men får bara en händelse när han klickar på tidslinjen. Låg (13) Suck vid visa resultat i provet. Klickar inte på troféer. Drar saker till ytorna i läraktiviteten men klickar på saken i mitten. Drar först ihop olika personer (avslutar, börjar om). Suck vid läraktivitet. Klickar även på sådant som ej är klickbart. Tar teleskop efter Galileo har bett en leta. Pratar med Galileo om att få teleskop. Åker sedan tillbaka utan att läsa/klicka mer. Klickar inte på att prata mer med Galileo första gången. Trycker på röd knapp på armbandet. Glömde trycka spara, anteckningarna försvann, men skrev om. Försöker dra hela anteckningen åt sidan. Försöker dra handen/armbandet till maskinen. Tabell 1. Lista med svårigheter Intervjuer 19

23 I intervjuer med deltagare sa deltagare att de inte förstod hur provet skulle göras och de hade svårt att förstå hur alven skulle lära sig saker. De ville även ha mer tips och hjälp i spelet samt fler belöningar. Omdesign Utifrån de identifierade svårigheterna från utvärderingen i denna iteration ändrades följande i prototypen. I rummet tidsmaskinen hade deltagare problem med att välja resmål då de försökte att bläddra upp med en pil det första de gjorde och detta var något som inte var implementerat. De försökte även att skriva in text via tangentbordet vid val av resmål. Utifrån detta ändrades prototypen till att alla pilar alltid gick att bläddra med samt att markör för text togs bort när musen hålls över den text som förklarar resmålet. I rummet kontoret hade deltagare svårt att förstå att de var Tidsalven som gjorde provet medan deras uppgift var att titta på. De försökte istället skriva in egna svar genom att använda tangentbordet. Utifrån detta ändrades prototypen till att Tidsalven ger mer information om vad som kommer att hända. En animerad hand som skrev svaren på provet lades även till för att visa att det var Tidsalven som svarar på provet. Det lades även till att Tidsalven startar provet direkt när användaren valt ett prov istället för att först gå genom en start-knapp. I rummet Lärrum hade deltagare svårt att förstå att det var Tidsalven som skulle läras. Många missade även att läsa de instruktioner som visades på skärmen och utförde inte aktiviteten på rätt sätt. I prototypen lades det till att Tidsalven ger mer information i form av dialog om vad som kommer att hända och vad som hänt efter att läraktiviteten är avslutad. I rummet Hall hade deltagare svårt att hitta till kontoret som kan nås genom att klicka på trappan. Utifrån ändrades prototypen till att Tidsväktaren, genom en animering, går upp för trappan den första gången som spelaren träffar på denne Iteration 2 Utvärderingsresultat Nedan i tabell 2 listas de svårigheter som identifierats. Hög (0) - Medium (11) Klickar nere på trappan, inget händer. Går till lärrum innan den har träffat alven. Försöker dra bort/tillbaka saker från tidslinjen. Läser inte instruktioner, klickar snabbt förbi. Förstod inte bilderna i läraktiviteten (för små). Frågade varför DaVinci var med, fick förklaring och kom då att tänka på instruktionerna. Verkar tycka det är jobbigt att man inte kan gå tillbaka. Mycket klickande. 20

24 Ctrl+c ctrl+v (men bara på ett svårt ord). Tror att anteckningar om Galileo är försvunna när han är hos Gutenberg. (Men läser sedan i slottet och förstår då funktionen). Glömmer klicka spara anteckning flera gånger. Kände sig misslyckad efter att bara ha hittat två (alla) troféer när det finns så många platser för dem. Låg (11) Gör provet innan han har lärt tidsalven något. Suckar, blir ju inget när vissa svar på testet är röda. Går tillbaka till tidsmaskinrummet för att läsa anteckningar. Läser i biblioteket -suck (åt lång text). Drar anteckning åt sidan. Förstår inte att man antecknar själv, då han bara klickar här när man är i slottet. Trycker först på dialogrutan och sedan på dialogvalet när det första inte fungerar. Läser inte Galileos dialog om historia. Drar ihop alla i läraktiviteten och trycker sedan på mitten (den gråa rutan), avslutar. Drar ihop alla i läraktiviteten. Klickar inte bort dialogrutan i läraktiviteten. Tabell 2. Lista med svårigheter. Intervjuer Deltagare beskrev att de glömde att spara anteckningar och att de inte visste hur armbandet fungerade. De upplevde att läraktiviteten var svårast och att de förstod bättre vad de skulle göra eftersom de spelat spelet tidigare. Omdesign Utifrån de identifierade svårigheterna från utvärderingen i denna iteration och tidigare iterationer ändrades följande i prototypen. Deltagare hade svårt att förstå hur de skulle använda armbandet som innehåller anteckna-funktion och tillåter spelaren att läsa mer om historiska personer och händelser. Utifrån detta ändrades prototypen till att armbandet inte dyker upp förrän Tidsalven genom en animation gett armbandet till spelaren tillsammans med en introduktion till dess funktion. Deltagare hade svårt att förstå att de skulle lära Tidsalven och gick till rummet Lärrum innan de träffat Tidsalven. Utifrån detta ändrades prototypen till att spelaren inte kan göra någon läraktivitet innan den träffat Tidsalven och fått en introduktion. I rummet Hall lades det även till att Tidsalven sticker ut sitt huvud ur Tidsmaskinsrummet och ropar in spelaren. I rummet Lärrum, om spelaren har träffat Tidsalven så befinner sig Tidsalven där och säger något om att få bli lärd. I rummet Kontor hade deltagare svårt att förstå att det var Tidsalven som skulle göra provet. Utifrån detta så lades det till att spelaren inte kan klicka på Gör prov innan den träffat Tidsalven. Det lades även till att Tidsväktaren som sitter på kontoret säger något om att Tidsalven ska testas när spelaren går in i rummet. 21

25 När deltagare i intervjuer refererade till valen i tidsmaskinen så kallade de epok för bland annat årstider. De ändringar som gjordes i prototypen utifrån detta var att spelaren väljer tid och plats istället för tid och epok. Detta var även något som önskades av beställare. Vid dialogrutor så klickade vissa deltagare på karaktärens dialogruta istället för på sin egen som är det rätta. på grund av detta så gjordes alla dialogrutor, som tillhör spelaren, likadana. I rummet Hall hade deltagare svårt att förstå att det gick att komma till rummet Kontor genom att klicka högst upp på trappan. Det lades utifrån detta till att spelaren kan klicka på hela trappan. Övriga saker som ändrades i prototypen var följande. Långa texter kortades ner då det fram kom att deltagare inte lästa hela texterna. Bakåtknappar lades till i armbandet på grund av mycket onödiga klickningar. Rubrik för anteckningar (baserad på vilken epok spelaren befinner sig på) lades till. Feedback från resultat på läraktivitet ändrades från att vara i form av antal rätt till en bild på ett ansikte med olika uttryck beroende på spelarens antal rätt. Ett nytt resmål lades till där de nya rummen kallades för Kirch och KirchKikare. Det första rummet innehåller kvinna som går att klicka på för att starta en dialog. Det går även att klicka på ett teleskop och förflytta vyn till KirchKikare där spelaren får se en komet i rymden. Spelaren kan klicka på kometen för att läsa om den. De två sista ändringarna som beskrivs baserades på krav från beställare Iteration 3 Utvärderingsresultat Nedan, i tabell 3, listas de svårigheter som identifierats. I figur 4 visas en jämförelse mellan de olika iterationerna och de svårigheter som hittats. Hög (0) - Medium (7) Copy-paste en hel text. Tycker att hon är klar trots hon ej har provat allt. Glömmer spara. Läser bara första rutan av instruktionerna. Försöker ångra/dra tillbaka från linjen. Sätter ut alla. Missar en sak karaktär säger på grund av att råka klicka två gånger på karaktärs dialogruta. Låg (11) Läser inte om kometen, klickar ej på den. Försöker dra i komet. Svårt att läsa typsnitt på titel (Galileo) är det här ett a?. Kommentar om ful bild i tidsmaskin. Klickar dörr två gånger (är segt). Har dialog i vägen för linjen. 22

26 Drar flera uppfinningar till en person. Klickar på ledsna gubben (feedback) för att göra igen (går inte). Fel i hall, tekniskt. Klickar på röda rutan (fel svar) väldigt många gånger och även på tangentbordet. Försöker fånga den animerade handen som skriver. Tabell 3. Lista med svårigheter. Figur 4. Stapeldiagram över svårigheter. Intervjuer Deltagare sa att det gick att kopiera text och sedan klistra in. Några hade svårt att förstå vad de skulle göra när Tidsalven gör provet. Deltagare sa att de ville träffa fler historiska personer. Omdesign Utifrån de identifierade svårigheterna från utvärderingen i denna iteration och tidigare iterationer ändrades följande i prototypen. Deltagare hade svårt att läsa vissa rubriker i armbandet och därför ändrades dessa i denna iteration. Deltagare kopierade in text i antecknings-funktionen istället för att läsa och anteckna själv. Utifrån detta lades det till att spelaren inte kan kopiera den text som finns. Deltagare missade att klicka på spara-knappen vid anteckna-funktionen vilket medförde att det som de skrivit försvann. Utifrån detta ändrades prototypen till att det som spelaren skriver i anteckningar sparas automatiskt. Senaste design Bilder från den senaste versionen av prototypen finns i Appendix E. 23

27 5.2 Resultat av sluttest (andra undersökning) Deltagare fick svara på enkät samt att några av dem även fick medverka på intervju. 24 av 28 enkäter användes, de enkäter som inte användes togs bort på grund av ofullständiga svar. Endast enkätsvar som svarat på alla frågor användes. Förväntningsmått För frågorna Hur roligt tror du att spelet kommer att vara? Och Hur roligt var det att spela spelet? Användes skalan 1-7 där 1 var mycket roligt och 7 var mycket tråkigt. 70,8% av deltagarna skattade lägre på den första frågan än den andra. Majoriteten av deltagare skattade att spelet skulle vara roligare än vad de sedan upplevde att det var. Medelvärde för uppskattad underhållning var 3,25 och för upplevd underhållning 4,5. För frågorna Hur bra tror du att det kommer gå för dig att spela? Och Hur bra tycker du att det gick för dig att spela? Användes skalan 1-7 där 1 var väldigt bra och 7 var väldigt dåligt. 41,7% av deltagarna skattade lägre på den första frågan än den andra. Majoriteten av deltagare skattade att de skulle göra ifrån sig sämre än vad de sedan upplevde att de presterade. Det totala medelvärdet för uppskattad prestation var dock 3,5 och för upplevd prestation 3,7. Tidsavlens roll Vid frågan om deltagare förstod vad tidsalven ville svarade 70,8% Ja. Vid fritextfråga om vad Tidsalven ville svarade 40 % av dessa med svar som stämde med Tidsalvens roll i spelet. Övriga upplevelser och åsikter Vid frågan Var det något som inte fungerade? Svarade 33,3% Ja. Vid fritextfråga om vad som inte fungerade svarade deltagare följande: Jag kunde inte gå in på prov eller lära sig saken och nån kille var vit i bakgrunden. Lärrummet funkade ej. Man kunde inte göra så mycket. Om man antecknade försvann när man gick tillbaka till tidsalven!!. Jag fattade inte vad man gjorde. När man kom tillbaka från resan så var det ingen instruktion för vad man skulle göra. Vissa grejjer. Han kom inte upp ibland och man kunde inte trycka på "gör test". Jag tyckte personerna kunde beskriva lite mer för jag fatta inte. Vid frågan Visste du hela tiden vad du skulle göra när du spelade? svarade 41,7% Ja. Vid frågan Vill du använda spelet igen? Svarade 37,5% Ja. Vid frågan Tror du att dina kompisar skulle vilja använda spelet? Svarade 29,2% Ja. Känslor 24

28 De känslor som upplevdes av flest deltagare var Glad (58,3 %), Hoppfull (33,3 %), Besviken (37, 5 %), Uttråkad (58,3 %) och Överraskad (66,6 %). Misstag Ett misstag kunde bland annat vara att inte besöka ett rum eller att inte samla en trofé. Nedan presenteras data från hur många av deltagarna som besökt vilka rum. Plats Unika besökande (av 24) Slott 29* Hall 24 Tidsmaskinsrum 24 Troférum 18 Lärrum 23 Läraktivitet 16 Kontor 12 Tidsmaskin 24 Galileo ute 23 Galileo inne 23 Gutenberg 1 24 Gutenberg 2 24 Kirch 23 KirchKikare 23 Resscen dit 24 Resscen hem 24 *Fel i data, troligen på grund av testning av spelet innan. Intervjuer Intervjuer med deltagare efter testet avslöjade att inte alla visste vad de skulle göra i spelet. Alla förstod inte alvens roll eller att det fanns trofeer och vissa trodde att det endast fanns en trofé. Flera tyckte att det var för lite speltid och några hann inte göra allting. Deltagare tyckte att det var svårt att hitta rätt men samtidigt att det fanns lite för lite ställen att utforska. Det fanns deltagare som inte hittade rummet Kontor och som inte förstod att det gick att klicka på trappan. Åsikter om att karaktärerna kunde ha varit mer verkliga och att ljud borde ha funnits framkom även. 5.3 Analys av resultat Följande kapitel består av analys av resultat från de två undersökningarna samt analys av barn som deltagare i användbarhetstest Första undersökning Identifierade svårigheter under iteration 1 var totalt 23 varav en var bedömd som hög, nio som medium och 13 som låg. I iteration 2 hade den totala mängden svårigheter minskat till 22 men de svårigheter bedömda som medium hade ökat från nio till elva. Inga svårigheter bedömda som hög fanns kvar och svårigheter bedömda låg hade minskat till elva. I den sista iterationen hade den totala mängden svårigheter minskats till 18 varav noll var bedömda som hög, sju som medium och elva som låg. Minskade antal svårigheter kan tyda på att de åtgärder och den 25

29 omdesign som gjorts har förbättrat designen. Att det efter iteration 2 och iteration 3 inte fanns några svårigheter bedömda som hög innebär att det inte fanns några svårigheter som både upplevdes av många och samtidigt hade stor påverkan på användarupplevelsen. Intervjusvar visade att deltagare förstod spelet bättre under andra iterationen eftersom de då hade spelat det tidigare och det inte hade förändrats mycket. Detta kan ha varit en anledning till att svårigheter minskats med iterationerna, att deltagare lärt sig att gå runt dem Andra undersökning 70,8 % av alla deltagare svarade att de förstod Tidsalven roll i spelet men endast 40 % av dessa beskrev rätt vid frågan om vad Tidsalvens roll var. Att deltagare inte förstod Tidsalvens roll kan ha att göra med att de fick för lite tid för att spela. Under de intervjuer som gjordes sa deltagare att de skulle ha behövt spela en längre speltid. Något annat som kan ha bidragit till att deltagare inte förstod rollen var att alla spelade samtidigt i samma rum och de kunde därför bli störda eller distraherade av varandra. Vid frågan Visste du hela tiden vad du skulle göra när du spelade? svarade endast 41,7% Ja. Vid frågan om det var något som inte fungerade svarade några deltagare att de inte förstod vad de skulle göra. Någon skrev att de ville ha mer instruktioner. Detta kan vara orsaken till att så många deltagare inte visste vad de skulle göra i spelet hela tiden. Vid frågan Vill du använda spelet igen? Svarade endast 37,5% Ja. Enligt de resultat från förväntningsmått trodde 70,8% av deltagarna att det skulle vara roligare än vad de sedan upplevde att det var. Att deltagare inte tyckte att spelet var lika roligt som de trodde att det skulle vara kan vara en förklaring till att så få ville använda spelet igen. Det kan även vara en förklaring till att endast 29,2% trodde att deras vänner skulle vilja använda spelet. Intervjudata visar även att deltagare tyckte att det borde ha funnits mer ställen att resa till och detta kan ha varit något som bidragit till att deltagare dels tyckte att det var tråkigare än vad de trodde att det skulle vara och dels att många inte skulle vilja spela spelet igen. Majoriteten av deltagare upplevde även känslan uttråkad under spelet och det kan vara en orsak till att de inte skulle vilja spela spelet igen. Verktyget Google Analytics visade att endast 12 av 24 datorer hade besökt rummet Kontor och endast 16 av 24 hade besökt rummet Lärrum. 18 av 24 hade besökt Troférum. Nästan alla hade besökt alla resmål och alla hade rest minst en gång. Rummen Hall, Tidsmaskinsrum och Tidsmaskin hade besökts av alla. Enligt intervjuer hade deltagare svårt att hitta rummet Kontor då de inte visste att det gick att klicka på trappan. Intervjuer visade även att vissa deltagare inte visste att det fanns troféer och detta kan vara anledningen till att de aldrig besökte Troférum. Deltagare upplevde även att det var för lite speltid och det kan ha medfört att deltagare inte hann besöka alla ställen. Tullis och Albert (2008) illustrerar hur antal unika hittade svårigheter per iteration kan visa om svårigheterna minskat mellan iterationer. Resultat av identifierade 26

30 svårigheter i denna studie visar att svårigheter har minskat efter varje iteration och detta kan tyda på att den nya designen har förbättrats. Trots detta svarade majoriteten av deltagare nej på frågan om de ville spela spelet igen. Resultat tyder på att prototypen behöver utvärderas och omdesignas ytterligare. 5.4 Analys av barn som deltagare i användbarhetstesten Båda de undersökningar som gjordes anpassades efter att barn blir trötta efter en timmes koncentrerande vid datorer (Hanna et al, 1997). Under de tillfällen med test och intervjuer som gjordes i första undersökningen tog testet ca 20 minuter och intervjuer ca 15 minuter. Under den andra undersökningen tog testet ca 40 minuter och intervjuer ca 15 minuter. Anledningen till att testet i den andra undersökningen tog längre tid var på grund av förberedelser med datorer. Under undersökningarna syntes inga tecken på att de deltagande barnen var trötta. Då det under den första underökningen endast deltog få barn var det viktigt att dessa inte blev trötta och okoncentrerade. Hanna et al (1997) menar att barn som ska användas i användbarhetstestning bör ha använt datorer förut. Detta var inget som kontrollerades i både delar av denna studie. I den första undersökningen berättade alla deltagare att de tidigare använt datorer och att de var vana vid datorer. I den andra undersökningen framkom inget om de deltagande barnens datorvana och detta kan ha påverkat testet. Det observerades dock att ingen av deltagarna i den andra undersökningen hade svårt för att använda datorer under testet. Trots detta kan det vara en viktig del i användbarhetstestning med barn att se till att alla vet hur en dator används. Om deltagare hade haft svårt för att använda datorer hade det uppkommit problem med testet. De resultat som samlats in hade inte längre varit lika generaliserbara men detta är något som förståss inte bara gäller för barn utan även appliceras på vuxna. Att barnen i undersökningarna hade datavana medförde att de slapp en genomgång av hur datorer fungerar. Att först lära barn hur datorer fungerar var inte något som det fanns tid till i studien. Något som inte anpassades den andra undersökningen var att understryka barnens roll i användbarhetstestet att deras åsikter är viktiga för utvecklandet av produkten. Detta är något som Hanna et al (1997) beskriver gör barn med samarbetsvilliga och som även gjordes under den första undersökningen. Anledningen till att detta inte gjordes i den andra undersökningen var att det fanns lite tid till att presentera projektet samt att alla deltagare satt tillsammans i samma rum och hade svårt att lyssna på den informationen som gavs. Det är svårt att jämföra deltagare mellan de båda undersökningarna eftersom deras interaktion undersöktes på olika sätt och på grund av detta så är det svårt att säga huruvida barn i den första undersökningen var mer samarbetsvilliga än barn i den andra undersökningen. Att barnens roll i användbarhetstestningen understryks för deltagarna kan även vara viktigt för de förväntningar som finns. I de resultat från andra undersökningen trodde barnen att spelet skulle vara roligare än vad de sedan rapporterade att det var. Detta kan vara en konsekvens av att deras roll som testare av en prototyp inte lyftes fram tillräckligt och att barn därför förväntade sig att endast spela ett spel. 27

31 Vid skapande av enkät till den andra undersökningen anpassades enkäten med åtanken att det var barn som skulle svara på dem. Borgers et al (2000) skriver att barn i åldern oftast kan svara på enkäter med samma språk som de enkäter som används för vuxna. Trots detta anpassades enkäten en aning efter åldersgruppen med hjälp av att ta inspiration från tidigare enkäter inom liknande projekt. De enkätsvar som samlades in tyder på att barn verkar ha förstått de frågor som ställdes och de flesta barn skrev relevanta svar på fritextfrågor. I just denna studie i den andra undersökningen skulle det dock inte ge lika förödande konsekvenser om barn inte förstod vissa frågor då enkätsvaren sågs genom innan de samlades in. Om enkätsvar såg tomma eller misstänka ut kunde deltagaren ombes att svara mer eller erbjudas hjälp med att svara på frågorna. I denna studie kan resultat ha påverkats av att deltagares roll i testningen inte lyftes fram tillräckligt. Detta kan vara en av de viktigaste anpassningarna som kan göras för barn som deltagare i användbarhetstestning. Att rollen som testperson innebär att åsikter är viktiga är något som inte är lika tydligt för barn som för vuxna och därför behöver barn, som precis som Hanna et al (1997) skriver, få förstå att deras åsikter är viktiga. Detta är något som kunde ha anpassats bättre i denna studie. Deltagare i andra undersökningen kunde ha fått en mer utförlig beskrivning av prototypens syfte och deras roll som testare av denna. 28

32 6. Diskussion I följande kapitel diskuteras bland annat metod, tillvägagångssätt och resultat. Deltagares förkunskaper I den första undersökningen som innehöll tre iterationer av test och omdesign så användes samma deltagare för alla iterationer. Då den testade prototypen inte skiljde sig väldigt mycket mellan iterationerna kan en viss inlärningsmöjlighet ha påverkat deras användning av prototypen. Under alla iterationer utom den första så var därför alla deltagare medvetna om vad de skulle göra och hur det skulle se ut, på ett ungefär, innan de medverkade på testet. Detta innebar att de, under de senare iterationerna, inte fick samma utförliga instruktioner som under första iterationen. Resultat kan även ha påverkats av detta, deltagare kan ha haft enklare för att använda spelet under den andra och tredje iterationen eftersom de använt spelet under första iterationen. Deltagares förkunskaper kring spelet kan ha medfört att många svårigheter inte identifierats då deltagare kan ha lärt sig att gå runt dessa. Det kan även ha identifierats fler svårigheter än om olika deltagare använts under alla iterationer då deltagare intervjuades tre gånger och därför kunde bidra med mer åsikter då de använt spelet flera gånger. Mått Tullis och Albert (2008) delar upp användbarhetsmått i kategorierna prestationsmått, självrapporterande mått, svårighetsbaserade mått samt beteendemått. I denna studie har mått tillhörande alla ovan beskrivna kategorier använts förutom mått tillhörande beteendemått. Att inte några beteendemått togs med berodde på att försökspersoner inte filmades och därför hade observerare endast tid att anteckna svårigheter som användare stötte på. Prestationsmått som misstag kunde samlas in med hjälp av hemside-verktyg och självrapporterande mått kunde användas efter deltagare spelat klart spelet. Om videoinspelning av deltagare hade använts så hade fler mått kunnat användas. Barns roll i designprocessen I kapitel 3.3 beskrivs barns olika roller i designprocessen. Några av dessa roller innebär att barnen deltar i designprocessen mer än som testdeltagare. Sådan deltagande design med barn användes inte i denna studie och detta beror mycket på att det inte fanns möjlighet att tillbringa den tid som skulle behövas med barnen. Det lärsystem som designades hade även många krav och begränsningar från beställare som behövde tas hänsyn till i ett tidigt stadium och därför valdes användbarhetstestning med barn som deltagare istället som metod. Valet av användbarhetstester medförde att vi fick både kvalitativ och kvantitativ data som kan säga något med hjälp av de teorier som finns kring de mått som används inom användbarhetstestning. Något annat som hindrade oss från att använda deltagande design med barn var att vid den andra undersökningen fanns endast ett tillfälle att träffa 28 barn under en timme. På grund av denna begränsning valdes onlineverktygen CrazyEgg och Google Analytics för att kunna samla in data från alla deltagare samtidigt. Utan dessa verktyg hade det varit omöjligt att ta fram data innehållandes vad deltagare gjorde i spelet. Enkäter passade även väldigt bra till detta upplägg eftersom det dels fanns många deltagare och dels att alla deltagare svarade på enkäten samtidigt. Att deltagare svarade på enkäten samtidigt medförde att vi kunde säkerställa att alla deltagare svarat på enkäten innan de samlades in. 29

33 Utlämnade svårigheter Under den första undersökningen där tre iterationer av test och omdesign användes så användes framtagna svårigheter från användbarhetstest som bas för den omdesign som gjordes. Trots detta användes inte alla funna svårigheter vid omdesign. Detta berodde på att vissa av dessa, som till exempel att deltagare försökte ångra sina handlingar i läraktiviteten, ej gick att implementera i det prototypprogram som användes under den tiden som fanns. Många av de svårigheter som klassats som låg lämnades även på grund av att de med högre bedömning prioriterades vid omdesign. Genom att försöka åtgärda alla svårigheter hade resultat från den andra undersökningen kunnat vara bättre. Tullis och Albert (2008) beskriver att genom att bedöma och dela upp svårigheter kan olika delar prioriteras och även detta är en anledning till att inte alla svårigheter kunde tas i åtanke vid omdesign. Implikationer av resultat Att majoriteten av deltagare inte skulle vilja spela spelet igen samt upplevde känslan uttråkad när de spelade tyder på att designen för prototypen måste fortsätta att utvecklas. Även om svårigheter har minskat med iterationer så finns det fortfarande svårigheter som behöver tas hänsyn till vid vidare omdesign. 30

34 7. Framtida omdesign Nedan beskrivs, baserat på resultat från studien, det viktigaste som bör tas hänsyn till vid framtida utveckling. Instruktioner Deltagare missade att läsa instruktioner på flera ställen och därför bör mängden, kvaliteten och möjligtvis pedagogiska aspekter av de instruktioner som finns i spelet ses över. Läraktiviteten Deltagare försökte ångra drag i läraktiviteten. I prototypen som utvecklades i följande studie var det inte möjligt att implementera detta men det är något som bör tas hänsyn till i vidare utveckling. Tidsalvens roll 70, 8 % av deltagare i den andra undersökningen svarade att de förstod Tidsalvens roll. Eftersom lärsystemet bygger på att Tidsalven är en Techable Agent så är det viktigt att alla förstår att agenten kan och ska läras. Tillfredställelse och storlek Deltagare upplevde inte att det var lika roligt som de hade förväntat sig men detta kan ha berott på att den introduktion de fick före test inte var tillräckligt utförlig. De upplevde även att de kände sig uttråkade. Resultat kan även bero på att de förväntade sig ett större spel än det som testades. Det är möjligt att ett större spel kommer att ge annorlunda reaktioner och åsikter. Intervjusvar visade att deltagare vill träffa fler historiska personer än de som fanns i spelet vid test. 31

35 8. Slutsatser och framtida arbete I denna fallstudie har en design för ett lärsystem, i form av ett spel, tagits fram. Resultat från utvärdering av designen visar att svårigheter som identifierats har minskat efter iterationer av test och omdesign. Resultat från den andra utvärderingen visade att användare ibland hade svårt att förstå vad de skulle göra i spelet och det var inte heller tydligt för alla vad Tidsalvens (TAns) roll i spelet var. Endast 37,5 % skulle vilja spela spelet igen och 29,2 % trodde att deras vänner skulle vilja spela spelet. Resultat visar att designen för prototypen har förbättrats efter iterationer av test och omdesign men det är tydligt att prototypen behöver fortsätta att utvärderas och utvecklas. Då resultat visade att deltagare förväntade sig att spelet skulle vara roligare än vad de sedan upplevde kan det vara viktigt att i framtida tester vara mer tydlig med att det endast är en prototyp samt att lyfta fram syftet med spelet att det ska kunna användas vid historieinlärning på skolor. Detta, samt att för barnen lyfta fram deras roll och hur viktiga deras åsikter är, är saker som enligt denna studie visade sig vara viktiga när det kommer till barn som deltagare i användbarhetstestning. Något som inte undersökts i följande studie är hur mycket användare faktiskt lärt sig. Då ett mål med projektet är att lärsystemet ska kunna användas i skolor för historieundervisning bör det undersökas hur mycket användare faktiskt lär sig med systemet. Detta var något som inte var möjligt i denna studie men som borde fokuseras på i framtiden. 32

36 Referenser Baskinger, M. (2008). Pencils before pixels: a primer in hand-generated sketching. Interactions, 15(2), Blair, K., Schwartz, D., Biswas, G., & Leelawong, K. (2006). Pedagogical agents for learning by teaching: Teachable agents. Educational Technology & Society, Special Issue on Pedagogical Agents. Borgers, N., De Leeuw, E., Hox, J. (2000) Children as respondents in survey research: cognitive development and response quality. Bäumer, D., Bischofberger, W. R., Lichter, H., & Züllighoven, H. (1996). User interface prototyping concepts, tools, and experience. In Proceedings of the 18th international conference on Software engineering (pp ). IEEE Computer Society. Chase, C. C., Chin, D. B., Oppezzo, M. A., & Schwartz, D. L. (2009). Teachable agents and the protégé effect: Increasing the effort towards learning. Journal of Science Education and Technology, 18(4), Fish, J., & Scrivener, S. (1990). Amplifying the mind's eye: sketching and visual cognition. Leonardo, Funk, J., Lilja, J., Lindblad, J., & Mattson, S. (2012). Developing an educational game In the subject of history and with a teachable agent. [Uppsats] Lund University, Department of Design sciences and Faculty of Engineering Floyd (1984) - A Systematic look at prototyping. In: Budde R, et. al. (eds.),approaches Springer-Verlag. Hanna, L., Risden, K., & Alexander, K. (1997). Guidelines for usability testing with children. interactions, 4(5), Hanna, L., Risden, K., Czerwinski, M., & Alexander, K. J. (1999). The role of usability research in designing children s computer products. The design of children s technology, Head, A. J. (1999). Web Redemption and the Promise of Usability. Online,23(6), Nesset, V., & Large, A. (2004). Children in the information technology design process: A review of theories and their applications. Library & Information Science Research, 26(2), Nielsen, J. (1995). Multimedia and Hypertext: The Internet and Beyond. AP Professional, Boston. Patton, M. Q (2002) Qualitive research & evaluation methods, California: Sage Publications Inc. Pekrun, R., Goetz, T., Titz, W., & Perry, R. P. (2002). Academic emotions in students' self-regulated learning and achievement: A program of qualitative and quantitative research. Educational psychologist, 37(2),

37 Runeson, P., & Höst, M. (2009). Guidelines for conducting and reporting case study research in software engineering. Empirical Software Engineering, 14(2), Scott, J. (1997). Children as respondents: Methods for improving data quality. Survey measurement and process quality, 3, Tullis, T., & Albert, W. (2010). Measuring the user experience: collecting, analyzing, and presenting usability metrics. Morgan Kaufmann. Datorprogram Axure (Version 6.5 Pro) (2013) [Datorprogram] San Diego, CA: Axure Software Solutions, Inc. Tillgänglig på Internet: 34

38 Appendix A Trädstruktur 35

39 Appendix B Material från första undersökning Observationsanteckningar och bedömning efter allvarlighet/severity Iteration 1 F = FEW, M = MANY, L = LARGE, S = SMALL Hall Issues Klickar på dörrar istället för på väktaren F S = Low Kontoret Issues Försöker skriva i provrutorna, Går inte att klicka M L = High Suck vid visa resultat i provet F S = Low Troférum Issues Klickar inte på troféer F S = Low Severity - High = 1 Severity - Medium= 9 Severity - Low = 13 Lärrum Issues Drar saker till ytorna men klickar på saken i mitten F S = Low Läste inte instruktionerna F L = Medium Drar först ihop olika personer (avslutar, börjar om) F S = Low Drar ihop två personer (trots läst instruktioner)men gör sedan rätt. Drar ihop alla (trots lästa instruktioner) M S = Medium Suck vid kör aktivitet F S = Low Drar flera personer på samma händelse F L = Medium Försöker att ångra men det går inte F L = Medium Parar ihop flera händelser till en person och men får bara en händelse när han klickar på tidslinjen. F L = Medium Tidsmaskinsrummet Issues Försöker dra handen/armbandet till maskinen FS = Low I tidsmakinen Issues 36

40 Klickar även på sådant som ej är klickbart FS = Low Klickar på bläddra upp flera gånger fast det inte går FL = Medium Försöker resa utan att ha valt tid (klicka res) det går ju inte FL = Medium Försöker skriva i textrutan och klickar på res (fick sedan hjälp) FL = Medium Får aldrig tidsmaskinen att fungera (ger upp fort) så kommer aldrig till någon tid.fl = Medium Galileo Issues Tar teleskop efter Galileo har bett en leta. Pratar med Galileo om att få teleskop. Åker sedan tillbaka utan att läsa/klicka mer. FS = Low Klickar inte på att prata mer med Galileo första gången FS = Low Armband Trycker på röd knapp på armbandet FS = Low Anteckning Issues Glömde trycka spara, anteckningarna försvann, men skrev om. FS = Low Försöker dra hela anteckningen åt sidan FS = Low Bibliotek Issues Använder bara biblioteket i slottet så han tror inte att det fungerar Övrigt Tråkigt om man bara klickar I provrummet kunde man inte skriva trots att det verkade som att man kunde det (trodde båda) Det var svåra ord i texterna (finnas en ordförklaring om man trycker på ordet) Faktan var otydlig. Visste inte när något gjordes utan bara vad som gjordes. Det gick inte att skriva provet Provet var svårt att hitta Förstod inte riktigt hur man skulle lära alven Gick inte att svara på frågorn på provet Förstod inte att man kunde avända biblioteket i andra tider Lite svårt att förstå i början Med provet på svårighetsgrad 1 kanske för avancerat Trodde att lärgrejjen var provet Visste inte att man kunde gå upp Såg handen men visste inte vad man skulle göra med den Trodde att man kunde skriva in vad som helst i tidsmaskinen Se en bild hur det såg ut när man landade och tittat ut. Hur människorna på den tiden levde. Det var svårt med tidslinjen. Svårt att veta vad som ska vara vad, inte svårt att göra. Vill kunna göra sin egen avatar 37

41 Vill kunna få tips i handen Borde finnas ett litet spel som har med saken att göra Fler belöningar Lite kort tid Alven kanske har (kan ha) skicklighet 1 och får mer skicklighet när han lär sig. (Galileo) han pratade om rymden och det var bra. Han sa inte massa annat och det var bra. Inte bara i tiden utan också böcker i ett bibliotek Vill ha Om du inte förstår så hjälper vi dig att hitta -tips. Om man klara ett prov så vinner man att man får åka till en ny epok Mer belöning Fått trofee om man klarar provet. Eller nått annat som är typiskt för den tiden Ska vara många uppdrag Minnesregler? Prata med honom och säga vad man tror är det rätta svaret Roligaste- att få veta mer, att kunna resa i tiden Utanför slottet - finnas närliggande kyrka (vad göra där?) snacka med prästen, kanske få reda på mer om jesus och sånt Tråkigaste att man inte kunde snacka med alven Vill kunna se karaktären man är Låsa upp minispel vore bra om man klarar nått. välja mellan att få en trofee, spel eller låsa upp ny epok Hjälpa mozart att skriva en låt eller hjälpa davinchi med målningar Iteration 2 F = FEW, M = MANY, L = LARGE, S = SMALL Severity - High = 0 Severity - Medium = 11 Severity - Low = 11 Hall Issues Klickar nere på trappan, inget händer FL = Med Kontoret Issues Gör provet innan han har lärt tidsalven något FS = Low Suckar, blir ju inget när vissa är röda FS = Low Lärrum Issues Går hit innan den har träffat alven FL = Med 38

42 Klickar inte bort dialogrutan i läraktiviteten FS = Low Klickar ej bort dialog, den skymmer tidslinjen medan aktiviteten görs Försöker dra bort/tillbaka saker från tidslinjen FL = Med Läser inte instruktioner, klickar snabbt förbi FL = Med Drar ihop och trycker sedan på mitten (den gråa rutan), avslutar FS = Low Drar ihop alla FS = Low Förstod inte bilderna i aktiviteten (för små) FL = Med Frågade varför DaVinci var med, fick förklaring och kom då att tänka på instruktionerna FL = Med Tidsmaskinsrummet Issues Trycker först på dialogrutan och sedan på dialogvalet när det första inte fungerar FS = Low Galileo Issues Läser inte Galileos dialog om historia FS = Low Anteckning Issues Verkar tycka det är jobbigt att man inte kan gå tillbaka. Mycket klickande FL = Medium Ctrl+c ctrl+v (men bara på ett svårt ord) FL = Medium Drar anteckning åt sidan FS = Low Tror att anteckningar om Galileo är försvunna när han är hos Gutenberg. (Men läser sedan i slottet och förstår då funktionen) FL = Medium Förstår inte att man antecknar själv, då han bara klickar här när man är i slottet FS = Low Glömmer klicka spara anteckning flera gånger FL = Medium Går tillbaka till tidsmaskinrummet för att läsa anteckningar FS = Low Bibliotek Issues Läser biblio -suck (åt lång text) FS = Low Övrigt Vissa val (kvinnor i historien) går ej att klicka Biblioteket fungerade inte i slottet. Många använde inte biblioteket. Glömde att spara anteckningarna flera gånger (borde vara autosave) Tyckte att det inte funkade med armbandet i slottet - ville anteckna Bilderna i läraktiviteten var otydliga Tyckte att provrummet borde vara närmare lärrumet Tror att man skulle få fler rätt om bilderna var tydligare Tyckte det var otydligt att det var alven som gjorde provet Svårt att veta vad man ska göra när två är på nästan samma tid 39

43 Kände sig misslyckad efter att bara ha hittat två (alla) trofer när det finns så många platser FL = Med Förstod mer att vad man skulle göra. Informerade bättre men även för att man gjort tidigare. Enklare med provet. Testade mer. Tror att det har lagts till mer information/text Tycker att man kan göra provet först så att man vet vad man ska anteckna Upplevde att personer sa mer än förra gången Läser bara det som verkar viktigt (personer och år) så man hoppar över vissa delar. Läste anteckningarna och använde dem Bra att man kunde kolla på anteckningar vid läraktiviteten, men att man inte kan visa dem för alven Förstod tidsmakinen nu men inte förra gången Bra idé att lära ut, blir lite svårare ( bara för att jag kommer ihåg så gör ju inte alven det ) Det svåraste var att lära alven, att placera saker rätt Roligaste? Resa i tiden Lära alven (två sa det) Tidsmaskinen Det märktes skillnad från förra gången eftersom spelet är så litet Tråkigaste? Troférummet, lite för tomt. Finns så många platser. Mer troféer x2, det blir ju så tomt! Minispel istället för bara hitta troféer. Frågor om personer. Får priset om man svarar rätt. Faktiskt Iteration 3 F = FEW, M = MANY, L = LARGE, S = SMALL Hall Issues Fel i hall, teknisk FS = Low Severity - High = 0 Severity - Medium = 7 Severity - Low = 11 Kontoret Issues Klickar på röda rutan (fel svar) väldigt många ggr och även på tangentbordet FS = Low Försöker fånga handen som skriver med musen FS = Low Lärrum Issues Läser bara första rutan av instruktionerna FL = Medium Har dialog ivägen för linjen FS = Low 40

44 Drar flera uppfinningar till en person FS = Low Klickar på ledsna gubben (feedback) för att göra igen (går inte) FS = Low Försöker ångra/dra tillbaka från linjen FL = Medium sätter ut alla x 2 MS = Medium I tidsmaskinen Issues eeeh åt ful bild i tidsmaskin FS = Low Gutenberg Issues Klickar dörr 2 ggr (segt) FS = Low Kirsch Issues Missar en sak hon säger för råkar klicka 2ggr på hennes ruta FL = Med Läser inte om kometen, klickar ej på den FS = Low Försöker dra i komet FS = Low Anteckning Issues Glömmer spara FL = Med Svårt att läsa typsnitt på titel (galileo) är dte här ett a? FS = Low copy-paste en hel text FL = Med Övrigt Tycker att hon är klar trots ej provat allt FL = Med Det fanns ingen trofé på det nya stället Gick fortfarande att copy-pasta Det laggade lite ibland Man borde kunna åka direkt till en ny tid istället för att behöva åka tillbaka till slottet Trodde det var en bugg då det inte var en bild i tidsmaskinen Förstod inte hur man gjorde provet där uppe. Förstod att han gjorde provet men förstod inte vad jag skulle göra. När man skulle lägga figurer till 1700-något, så kom det till ett annat ställe på tidslinjen Trodde att davinci var Kirschs man När man ser slottet, man tror att man kan gå in i dem (fönstrena?) också. Visste precis vad som skulle göras. Roligt med en ny person Det roliga ärinte att få saker utan att hitta fakta och lära sig Inget var svårt Roligare än att läsa böcker Borde finnas minispel som pris när man klarat något ex. trädgårdsmästaren frågar en relevant fråga och om man svarar rätt så får man köra ett minispel en gång. 41

45 Skulle vara roligt att använda samma typ av spel till annat ämne (är inte intresserad av historia) Vill träffa fler tidsresande. Visste sen förra gången att det man lärde honom kom till provet Kunde ej klicka kvinnors historia Tycker Nisse/alven borde skriva istället för som det är nu. (på provet?) Tyckte att personer förklarade mer den här gången hur man skulle göra, i början. Skrev ner årtalen inför läraktivitet Tyckte att väktaren var trevligare. Sa annorlunda saker, förut sa han att han inte hade tid nu sa han att han gärna skulle vilja prata Ingen bild i tidsmaskinen till kometsaken, men tryckte på den ändå. Roligare att kunna göra testet själv, och sen får alven rätta det. Ett test för dig och ett test för alven. Roligaste? Resa, Galileo, animeringen, Åka i tiden 42

46 Appendix C Enkät och intervjufrågor Intervjufrågor Förstod ni vad som skulle göras? Hittade ni till alla ställen/gjorde ni allt/har ni försökt att hitta allt? Hur många troféer hittade ni? Hur bra gick det? Vad var roligast? Vad var tråkigast? Vad var svårast? Vad kunde bli bättre? Enkät Enkät, före Hur roligt tror du att spelet kommer vara? Väldigt roligt Väldigt tråkigt Hur bra tror du att det kommer gå för dig att spela? Väldigt bra Väldigt dåligt Enkät, efter Jag är: Tjej Kille Hur roligt var det att spela spelet? Väldigt roligt Väldigt tråkigt Hur bra tycker du att det gick för dig att spela? Väldigt bra Väldigt dåligt Förstod du vad tidsalven ville? Ja Nej Om du svarat ja på den förra, vad ville tidsalven i spelet? Var det något som inte fungerade? Ja Nej Om du svarade ja på förra frågan, vad var det som inte fungerade? 43

47 Visste du hela tiden vad du skulle göra när du spelade? Ja Nej Vill du använda spelet igen? Ja Nej Tror du att dina vänner skulle vilja använda spelet? Ja Nej Hur kände du när du spelade? Ringa in de känslor du kände när du spelade. Du kan ringa in så många du vill. Glad Hoppfull Lättnad Tacksam Stolthet Beundran Ledsen Arg Orolig Hopplöst Besviken Skuld Uttråkad Avundsjuk Överraskad 44

48 Appendix D Sammanställning andra undersökning Enkät innan Deltagare Hur roligt tror du att spelet kommer att vara? Hur bra tror du att det kommer gå för dig att spela? Medelvärde 3,25 3,5 Enkät efter Hur roligt var det att spela spelet? Hur bra tycker du att det gick för dig att spela?

49 Medelvärde 4, , Frågor Ja = 1. Nej = 0. Förstod du vad tidsalven ville? Kommentar Att man skulle lära sig saker. Jag kunde inte gå in på prov eller 1 lära sig saker 1 Han ville lära sig saker 1 typ, det var lite svårt att förstå men det gick när man testa Han ville att jag skulle lära honom allt jag lärde mig när jag reste i 1 tidsmaskinen 1 Han kunde inte åka så han ville att jag skulle lära honom 1 Att vi skulle lära oss mer om kända personer 1 Ville lära sig 0 1 Alven ville veta mer om olika historiska saker Att man skulle åka på resor och lära sig saker så att man kan lära honom, för han vill ta över det där jobbet 1 1 Han ville att jag skulle hitta fakta och sedan berätta det för honom Han ville att jag skulle lära honom allt som jag fick lära mig i 1 spelet Att man skulle resa tillbaka i tiden, träffa historiska personer och 1 sen lära alven det man själv lärt sig. 1 Han ville att vi skulle lära honom om kända personer genom tiden Tidsalven ville att "jag" skulle åka tillbaka i tiden och leta fakta om 1 personer 1 Förstod typ. Kanske att vi skulle lära oss saker Den skullle bli tidsväktare och då var han tvungen att åka runt i världen och en annan tid. Att man skulle lära sig nya saker om personer. Och samla fast jag sammla två saker 0, ,708 46

50 Rad 22: Kriteriet är att den visste att alven ville lära sig och ta över jobbet, denna visste bara ta över jobbet 40% förstod vad alven ville utifrån kommentarer Var det något som inte fungerade? Kommentar jag kunde inte gå in på prov eller lära sig saken och nån kille var 1 vit i bakgrunden 1 lärrummet funkade ej 0 0 Tror inte det, det var mer jag som gjorde lite fel tror jag 0 1 Man kunde inte göra så mycket om man antecknade försvann när man gick tillbaka till tidsalven!! 0 var lite segt 1 Jag fattade inte vad man gjorde 0 0 När man kom tillbaka från resan så var det ingen instruktion för 1 vad man skulle göra Vissa grejjer. Han kom inte upp ibland och man kunde inte trycka 1 på "gör test". 1 Jag tyckte personerna kunde beskriva lite mer för jag fatta inte , ,333 Visste du hela tiden vad du skulle göra när du spelade? Vill du använda spelet igen? Tror du att dina vänner skulle vilja använda spelet?

51 , ,375 0, ,417 0,375 0,292 48

52 Appendix E Bilder från prototyp HALL TIDSMASKINSRUM 49

53 I TIDSMASKIN UTE GALILEO INNE GALILEO 50

54 LÄRRUM LÄRAKTIVITET 51

55 KONTOR KONTOR alvens prov 52