Utvärdering. Att göra spel bättre

Transkript

1 Utvärdering Att göra spel bättre

2 Om speltest och utvärdering av datorspel En kort övning/uppgift att lösa

3 Varför utvärdera?

4 Förstå en produkt Se vilka faktorer som gör att människor gillar/inte gillar den Mäta kvaliteten eller se varför alla gillar den Trots erfarenhet är man aldrig någon annan än sig själv; svårt att till fulla förstå en annan persons önskemål/behov, osv. Feedback på design Hur väl fungerar ens lösningar? Förstår målgruppen produkten/ens berättelse? Även som inspiration; hur uppfattas berättelsen? Går den att raffinera?

5 Beslutsstöd: vilka lösningar behålla och vad behövs designas om Testa vilken av ens alternativa lösningar som blir bäst Jämföra olika produkter Ju tidigare i processen man upptäcker problem, ju billigare är det att lösa dem Se hur väl ens eget alster står sig Generella lösningar och standards; definiera väl fungerande Stämma av produkt (spel) mot kvalitetskrav Öka sannolikheten för kommersiell succé

6 När ska man utvärdera? I designprocess, i forskningsprocess, i omvärldsbevakning, osv. Finns nästan inga begränsningar för när man inte ska utvärdera Formativ: Under pågående designprocess; iterativ Den feedback man får påverkar resultatet Summativ: Efter avslutad design Lära sig av tidigare exempel eller stämma av mot uppsatta mål Dock ej grund för direkt omdesign

7 Hur ska man utvärdera?utvärderingsmetodik Två huvudsakliga typer av speltest som görs: Expertutvärdering (heuristic evaluation, Desurvire) Expert sätter sig ner med spelet/prototypen inspekterar det Går igenom och kollar av mot lista med kriterier för vad som ska uppfyllas Man skapar sig en upplevelse av systemet genom att systematiskt gå igenom det och hela tiden stämma av mot checklistan/heuristiken

8 Alla saker man reagerar på analyserar man i förhållande till heuristiken Försöker förutse var man kan stöta på problem; utifrån sina egna preferenser, även grundat på erfarenhet förutse användargruppen/gruppers problem Problem för nybörjare, för experter osv. Skriver ner i loggform de problem man hittar Var i systemet Typ av problem Beskrivning av problemet och vilken del av heuristiken som inte uppfylls Eventuellt också hur allvarligt problemet är: kräver omdesign eller något att tänka på nästa gång

9 Exempel protokoll heuristisk utvärdering Plats: Meny items (ref; items_list_menue) Heuristik: Usability#3 Förklaring: Spelets meny för items skiljer sig layoutmässigt (färgschema och typsnitt) från övriga menyer man använder i gameplayläge; bör följa samma formspråk då intern standard gäller för övriga

10 Analys- Expertutvärdering Sammanställa de problem som experterna rapporterar Väga samman och gradera: vilka är kritiska och vilka kan man ha överseende med Resulterar ofta i en komplett lista samt några specifika rekommendationer på vad man ska åtgärda

11 Användarutvärdering Användartest/speltest/etc. (Federoff) Låter en grupp användare/spelare från den målgrupp man designar för sätta sig ner och spela spelet/delar av spelet Loggar deras upplevelser med videokamera eller bandspelare Antingen styrda uppgifter för att testa specifika aspekter av specifika element i designen, eller mer allmänt fritt spelande. Ofta tänka högt metodik; låter dem verbalt rapportera vad de tänker på Även enkätmodeller för undersökningarna; ett antal standardfrågor man använder som man anser spegla de viktigaste faktorerna

12 Exempel användartest

13 Kan då även jämföra mellan olika designer, eftersom samma frågor använts Kan ha på förhand definierade mål som ska uppfyllas: X antal användare ska kunna spela spelet med mindre än Y fel totalt i gruppen eller Medelvärdet för antal fel bör i en grupp med X användare understiga värdet Y eller Efter X antal minuter bör samtliga användare vara nere i en felfrekvens av noll fel Stämmer av om dessa mål uppfylls

14 Tekniker Ljudband, film, anteckningar osv. Även mer avancerade lösningar; labb och specialprogramvara Upptagning av faktiskt skeende viktigt Miljön även viktig; var och hur man genomför sitt speltest

15 Analys- Speltest Stega igenom och betrakta det som sker, koppla det som händer/sägs med interaktionen Kan utgå från olika modeller och frågeställningar, kolla efter olika saker (metoden teorineutral) Om antal fel: Räkna samman dem och analysera statistiskt Redovisar siffror Se om målvärdena uppfylldes

16 Om mer kvalitativ feedback önskas (designfeedback): Kolla hur problemen kan kopplas till designelement och på vilket sätt dessa inte uppfyller förväntningarna Se vad som hände när de gjorde fel eller var missnöjda med något, se vad orsakerna var Redovisar designfeedback Kan vara videoklipp som visar på problem Kan vara beskrivningar av problem och hur de uppkommer i interaktionen

17 Uppgift Läsa igenom de två artiklarna om speltestning (Federoff, Desurvire) I grupp diskutera vad som är styrkor och svagheter i användartestning och expertutvärdering Återsamling och snabb verbal avrapportering