Att utvärdera spel Dr. Gustav Taxén MDI-Gruppen, CSC / VIC-Sthlm gustavt@kth.se
Att utvärdera spel Buggar / logikfel: QA Upplevelsen: Playtesting Utvecklingsprocessen: Post Mortem
BUGGAR / LOGIKFEL
Unit testing En unit är den minsta testbara delen av en applikation Ofta en metod eller funktion När en unit skrivs gör man också ett tillhörande test som kontrollerar den När man gör ändringar i koden kör man testet för att se att allt fortfarande funkar
Unit testing frameworks Automatiserar unit testing Formaliserar testningen Kan köra alla test som del av kompileringsprocessen, t.ex. http://en.wikipedia.org/wiki/list_of_unit_t esting_frameworks
Test-driven development Skriv test PASS Kör testet FAIL Skriv koden FAIL Kör alla test PASS Snygga till koden
Versionshantering Sparar alla kodändringar i en databas Checkout / Submit / Merge Revision history / Rollback Branching / Integration
Versionshanteringssystem Subversion Mycket bättre och säkrare än CVS Cross-platform Gratis Command-line Finns många front-ends att välja på Integration mot t.ex. Eclipse och Visual Studio http://subversion.tigris.org/
Versionshanteringssytem http://www.perforce.com/
Versionshanteringssytem http://www.sourcegear.com/vault/
Versionshanteringssystem Finns många, många fler! Ta för vana att använda ett!
Quality Assurance (QA) Leta fel / stresstesta Kontrollera att fel är korrigerade Internt hos utvecklaren Externt hos förläggaren Görs kontinuerligt
Tracking QA rapporterar in i en issue/bug tracker Ibland skiljer man på issues och buggar Varje issue får unikt ID och en status: Unconfirmed Confirmed Assigned Fixed / Invalid / Won t fix / Duplicate Resolved Verified Closed
Issue/bug trackers http://www.seapine.com/ttpro.html
Issue/bug trackers http://www.bugzilla.org/
Issue tracking Finns många, många fler! http://en.wikipedia.org/wiki/comparison_o f_issue_tracking_systems En fördel är om issue/bug trackern kan kommunicera med versionshanteraren! Ofta använder man förläggarens system QA fortsätter efter release!
ATT UTVÄRDERA UPPLEVELSEN
Målet är r en rolig upplevelse Lita inte på ditt eget omdöme! Hantera speldesignen som en hypotes Utvärderingen testar hypotesen Analys ger förslag till ny design Iterera!
När? Starta så tidigt som möjligt Sedan kontinuerligt! Måste finnas något att testa Prototypen vara stabil Skiss vs. färdig produkt? Kan vara viktigt att grafik/ljud känns färdiga
Planera för f r utvärdering Sporadiska tester ger inte så mycket Tänk igenom Allt praktiskt Frågeställningar / hypoteser Datainsamling Analys Rapportering Budget / kostnader
Kvalitativa approacher Observation Tänka högt Intervjuer (Fokustester)
Observation Betrakta någon som spelar spelet Alt. spela in video av person + skärm HUR spelar man? Hur reagerar man? Försök efterlikna hemmasituaton Undvik labbmiljöer
Observation Fördelar: Får känsla för hur spelaren interagerar med spelet Man ser vad folk faktiskt gör Nackdelar: Utomstående i rummet påverkar Spelaren kan ha otur Beteenden kan vara svårtolkade
Tänka högth Be spelaren beskriva sitt agerande (under tiden) Stream of consciousness uppmuntra att de inte tänker innan de pratar
Tänka högth Fördelar: Kan ge insikt i känslor, motivation, tankar Ger info om sånt man inte kan se Nackdelar: Underligt sätt att spela påverkar
Intervjuer Strukturerade / semistrukturerade Används oftast för att bekräfta/avfärda Fånga in tilläggsinformation
Intervjuer Fördelar: Ger svar på specifika frågor Kan ge insikt i spelarens intentioner Nackdelar: Kan vara svårt att formulera frågor Inte säkert att spelaren vet varför han/hon agerar på ett särskilt sätt
(Fokustester) Metod ursprungligen från marketing Låt målgruppsrepresentanter spela spelet Förbered 5-6 frågor Ställ frågorna till grupp om 6-10 personer
(Fokustester) VARNING Folk vill gärna vara till lags De är inte hemma i sitt vardagsrum Grupptryck och andra faktorer påverkar Används alltmer sällan
Kvantitativa approacher Statistik Designexperiment Enkäter Fysiologiska mätningar
Statistik Logga vad som händer i spelet Analysera med statistiska verktyg och visualiseringar
Statistik http://store.steampowered.com/stats/
Statistik http://store.steampowered.com/stats/
Statistik http://store.steampowered.com/stats/
http://store.steampowered.com/stats/
Statistik Fördelar: Visa på globala trender Gör det möjligt att jämföra kvantitativt Visar förändringar över tid Nackdelar: Sammanhangen saknas Medelvärden döljer varians och outliers
Designexperiment Ställ upp mätbar hypotes Samla data (oftast via loggning) Använd statistik för att verifiera eller förkasta hypotesen
Designexperiment Fördelar: Undviker (delvis) tyckande Ger svar på specifika designfrågor Nackdelar: Tidskrävande Svårt att ställa upp hypotesen Kräver iteration
Enkäter Fördelar: Kan motivera en kvantitativ hypotes Ger insikt i vad spelarna föredrar och inte Ger möjlighet att jämföra över tid Nackdelar: Nyanser saknas Är sällan ensamt underlag för beslut
Fysiologiska mätningarm Mäter biologisk/fysisk respons på stimuli Mäter reaktioner hos spelaren Svåra eller omöjliga att fejka Kan ge insikt i känslotillstånd Positiv / negativ (valens) Arousal (magnitud)
Fysiologiska mätningarm Hjärtfrekvens (arousal) Skin conductance (arousal) EEG (arousal, engagement) EMG (valens) Ögontracking (attention) Videoinspelning av ansiktet (valens)
Fysiologiska mätningarm Fördelar: Kvantitativa indikatorer Kan jämföras, statistik Nackdelar: Inkräktande / obehagliga Påverkar hur man spelar Oklart hur siffrorna ska tolkas Dyr utrustning
Urval Målgruppsrepresentant? Personlig bakgrund? Kommunikationsförmåga? Casual hardcore? Hur många respondenter behövs? Schemaläggning? Rekryteringsbudget?
ATT UTVÄRDERA PROJEKTET
Post mortem Gå igenom utvecklingsprocessen Vad var bra? Vad kan bli bättre? Låt alla avdelningar bidra! Tech, content, produktion, ekonomi, marknadsföring, QA/playtesting, etc. Dra slutsatser inför nästa projekt Kommunicera utåt?