Föreläsning 5: Analys och tolkning från insamling till insikt Rogers et al. Kapitel 8
Översikt Kvalitativ och kvantitativ analys Enkel kvantitativ analys Enkel kvalitativ analys Presentera resultat: noggrann notation, berättelser, sammanfattningar Hjälpmedel som stöd för analys Teoretiska ramverk: grounded theory, distributed cognition, activity theory 2
Kvalitativt och kvantitativt Kvantitativa data uttryckta som siffror Kvalitativa data svårt att på ett klokt sätt mäta i form av sifferdata, t.ex. räkna antal ord för att mäta missnöje Kvantitativ analys numeriska metoder för att fastställa storlek, omfattning, mängd Kvalitativ analys redogörelser för vilken typ av innehåll man hittat; representeras som teman, mönster, berättelser Tänk på hur data och siffror presenteras! 3
Analysfasen Analys = noggrann undersökning; sönderdelning Omfattar sammanställning av data sammanfattning av data identifiera problem detta ligger till grund för orsaker till problem, tolkning förslag till åtgärder, omdesign 4
Källor Vilka data har samlats in? Info om testpersonerna Anteckningar Inspelningar Formulär Ifyllda enkäter Loggningar 5
Sammanställa data Vad gör man med det man samlat in? Enkäter sammanställs i databas eller dokument Eventuellt transkribera inspelade intervjuer eller tänka-högt-sessioner Välja ut bilder ur loggningar Videoinspelningar beskrivs så noggrant tiden tillåter 6
7
Sammanfatta data Hitta nyckelkommentarer Eventuella statistiska beräkningar Hur stämmer användbarhetskraven med iakttagelserna? Sticker något resultat ut? Teman problemtyper Varför fungerar inte papperskorgen? 8
Identifiera problem Om kraven uppfylls är man klar Problem kan vara Användaren gör fel Kunde inte genomföra uppgiften Osäker på hur man fortsätter Något tar för lång tid Användaren blir frustrerad Användaren behöver använda papper och penna Användaren osäker på om den lyckats???? 120417 Analys 9
Kvantitativa data Tre metoder att sammanfatta: Tabelluppställningar, diagram, visuella presentationer Beskrivande statistik Medel, median, typvärde Tolkande statistik, signifikans 10
55 5 Målnivå (4s) 1 2 3 Deltagare nr 11
Att beskriva tabellen 67 % av användarna klarade uppgiften i närheten av uppsatt mål Genomsnittstiden för uppgiften var drygt 20 sekunder Två erfarna användare klarade uppgiften nära uppsatt mål, medan en oerfaren behövde 55 sekunder, långt ifrån uppsatt mål 12
Hjälpmedel för dataanalys Kalkylblad (Excel t.ex.) relativt enkelt att använda, grafhantering Statistikprogram, t.ex. SPSS Hjälpmedel för kvalitativ dataanalys Kategorisering och temabaserad analys, t.ex. NVivo (tidigare N6) Kvantitativ analys av textbaserade data CAQDAS Networking Project, i University of Surrey (http://caqdas.soc.surrey.ac.uk/) 13
Kvalitativa data Ofta källan till insikter om varför det är problem, vad som orsakar problemen Citat: Jag tvekar eftersom jag inte ser hur jag ska gå vidare nu Observationer som tydliggör ett krångligt interaktionsförfarande Tänk på att ta hänsyn till skillnader mellan testanvändare och verkliga användare, testsammanhang och verkligt sammanhang ekologisk validitet 14
Att gruppera kommentarer Kronologisk ordning Problemets vikt Avser viss del av gränssnittet/interaktionen Tydliga respektive otydliga problem Lätta respektive svåra att åtgärda Uppgift Man kan använda sig av s.k. kodscheman Se upp med För vida kategorier, allt i en För smala kategorier, en för varje problem 15
Affinity diagram Släktskapsdiagram Att föra ihop iakttagelser/resultat till en helhet Ett sätt att organisera Kategorierna styrs av materialet För att generera idéer Arbetsgång skriv ner dem på lappar sortera i grupper skapa rubrikkort/lapp rita det slutgiltiga diagrammet 16
Affinity diagram Slumpordning Diagram Tema 1 Tema 1 Tema 3 17
Tolkningsfasen Handlar om att förstå varför något blir ett problem Kan röra sig om Olämplig konceptuell modell struktur Olämpliga val av termer Olämplig placering (jfr perception, föreläsning 6) Inkonsekvens Missade krav, osv. Om det är svårt att hitta tolkningar behöver man kanske utvärdera mer 18
Teoretiska ramverk Att basera dataanalys på teoretiska ramverk ger ytterligare insikter Påverkar hela designprocessen kring vilken typ av krav som fokuseras, datainsamlingsmetoder och analysfas Tre ramverk: Activity Theory (verksamhetsteori) Grounded Theory Distributed Cognition (Dcog) 19
Activity Theory Förklarar mänskligt beteende relaterat till de verktyg som behövs för att nå önskat resultat Ett ramverk som fokuserar analysen kring verksamhet/aktivitet; identifierar spänningar mellan olika element i systemet Består av i huvudsak två modeller: det som utgör en aktivitet vilken roll artefakter har i sammanhanget 20
Engeströms triangel Verktyg Subjekt Objekt Omvandlings- Resulprocess tat Regler Grupp Arbetsfördelning 21
Grounded Theory Syftar till att härleda teori från systematisk analys av data Baserad på kategoriseringsstrategi (benämnd kodning) Tre nivåer för kodning Öppen: identifiera kategorier Axiell: fyll ut och länka till underkategorier Selektiv: bilda teoretiska scheman Inom forskning uppmuntras till att dra nytta av den egna teoretiska bakgrunden i analysfasen 22
Distributed Cognition Fokus på hur kognition fördelas på individer och artefakter, och på interna och externa representationer. Människor, sammanhang och artefakter betraktas tillsammans som ett enda kognitivt system Används för att analysera samarbete Fokuserar specifikt på hur information sprids/överförs och förändras 23
Sammanfattningsvis Förbered i detalj Genomför pilottest Genomför utvärderingen Sammanställ data Sammanfatta materialet Tolka Dokumentera Lär mer om analysmetoder 24