Intro utvärdering

Transkript

1 Föreläsning 2: Introduktion till varför ska vi utvärdera? FSR: 1, 2, 5 Rogers et al. Kapitel 13 (e/3: 12-13) 2 Översikt Att kunna om Observation, kort repetition Iterativ Det som påverkar Tänkbara syften Resurser Aktiviteter Ansatser 3 Interaktionsdesign 1

2 Att kunna om Ange vilka faktorer som kan påverka val av användarkategori, samt antal personer man vill ta med i en Ha insikter om hur kvalitativa respektive kvantitativa resultat kan användas i designprocessen Känna till vad som menas med ekologisk validitet, och vad det får för konsekvenser för hur man utvärderar Känna till och ta hänsyn till etiska aspekter när man genomför ar Kunna koppla resultat av ar till tänkbara designförslag Känna till och ta hänsyn till övriga faktorer som kan påverka sstudier 4 Observation, repetition Förberedelser viktiga värva deltagare ordna det praktiska, plats, utrustning, boka tid förbered fokus, tillhörande uppgifter pilottest Bemötande värm upp med enkla frågor/enkel information motivera observationen betona att det är programvaran som testas etiska ställningstaganden objektivitet avrunda på ett trevligt sätt Ev. retrospektivt protokoll, dvs. förtydliganden efteråt 5 Bruce Tognazzini om Iterative design, with its repeating cycle of design and testing, is the only validated methodology in eistence that will consistently produce successful results. If you don t have user-testing as an integral part of your design process you are going to throw buckets of money down the drain. Se AskTog.com för aktuella diskussioner om design och. Interaktionsdesign 6 2

3 Utvärdering varför, vad, var och när Iterativ design och är en kontinuerlig process som undersöker: Varför: för att undersöka om användare kan använda produkten, och om de uppskattar den. Vad: konceptuell modell, tidiga prototyper för nytt system, mer kompletta prototyper senare i processen. Var: i faktiska/naturliga miljöer in the wild - och laboratorier. När: genom hela designprocessen; färdigställda produkter kan utvärderas för att samla in information om dem för olika syften. 7 Vad påverkar aktiviteten Syfte Teknik för att samla in data Användargrupp Andra inblandade Resurser Analysmetoder Tänk även på Tillförlitlighet (reliability) Validitet Ekologisk validitet Bias (otillbörlig påverkan) Räckvidd (scope) 8 Tänkbara syften Kontroll av användbarhetskrav/mål Jämföra två alternativa designförslag Ta fram resultat för marknadsföring Ta fram idéer till förbättrad design (kan räknas till kravinsamlingsfasen) Att få ett underlag för vidare Allmänt: Att få svar på specifika frågor 9 Interaktionsdesign 3

4 Resurser Ekonomiska Tidsbegränsningar Tillgänglig utrustning Användarnas tillgänglighet Tillgängliga utvärderare 10 Aktiviteter Formulera en sstrategi Ta fram en splan Genomför Analysera resultatet Tolka resultatet Uppfylls kraven? Start Användbarhetskrav 11 Strategi för Utvärderingsplan Krav kan inte uppfyllas, se över kraven, ta fram ny strategi. Utför ssession Analys: sammanställ sammanfatta identifiera problem Tolkning: orsak till problem rekommendationer dokumentera Ej uppfyllda Ändra design Interaktionsdesign Oklart om de uppfyllts Mer testning Rekommendationer har uppfyllts Klart! 12 4

5 Utvärderingsansatser Användbarhetstester Fältstudier Analytisk Kombinerade ansatser Opportunistic evaluations tidigt och informellt för att se om man är på rätt spår 13 Kännetecken för ansatserna Fältstudier Analytisk Användare utföra uppgift naturliga ej involverad Plats i labb naturlig var som helst När prototyp tidigt prototyp Data/ resultat Feedback/ återkoppling kvantitativa kvalitativa problem mätdata & fel beskrivningar problem Typ tillämpad naturlig epert 14 Utvärderingsmetoder och ansatser Metod Användbarhetstest Användbarhetstest Observera Fältstudier Analytisk Fråga användare Fråga eperter Testa Modellera 15 Interaktionsdesign 5

6 Planering i detalj Varför, vilka? Krav, omfattning Operationalisera, vad betyder bra / dåligt? Bedöm resurser, vilken version av systemet, tillgänglig tid, dataregistreringsval Pilot, värva deltagare, bestäm hjälpmedel och utrustning, kolla budget, tidsaspekter, epertresurser Vilket mål, anonymt, avbryta, ev. ersättning, medgivande att citera, erbjud rapporten till alla användare, undvik identifierande uppgifter Upprepning? Önskat resultat? Ekologisk validitet? Bias? Räckvidd? Iterera! När avbryta? Använd citat, bilder och beskrivningar av vad som händer Bias, generaliserbarhet 16 Huvudpoänger Utvärdering & design nära integrerade i användarcentrerad design. Vissa tekniker används även när man tar fram krav (observation, intervjuer & enkäter). Tre huvudansatser är: användbarhetstest, fältstudier, och analytisk. Huvudmetoderna är: observation, fråga användare, fråga eperter, användartester, inspektionsmetoder, och att modellera användarnas sätt att utföra uppgifter. Olika ansatser och metoder kombineras ofta i en studie. Triangulering innebär att man kombinerar tekniker för att kunna se olika perspektiv, eller analysera data med olika tekniker. En viktig färdighet att utveckla inför är att hantera olika begränsningar. 17 Utvärderingsbegrepp Analytisk Fältstudier (in the wild studies) Formativ Heuristisk Kontrollerade eperiment Inspektionsmetoder Interaktionsdesign Prediktiv Summativ Användarlaboratorier Användarstudier Användbarhetsstudier Epert Living labs (testplats.com) 18 6

7 Att diskutera Vad är syftet med i MDI? Vad kan påverka antal användare man tar med? Kvalitativ eller kvantitativ ansats vid formativ? Eempel där ekologisk validitet är viktig? Är de etiska råd som ges i boken tillräckliga? I vilka situationer skulle det kunna behövas en granskning? Är det okej att studera det som kan studeras i offentliga sammanhang utan samtycke? Hur göra då? Hur utvärderar man när produkten är hemlig? Vilka frågor kan man vilja besvara med? Vilka beslut behöver tas i era ar? 19 Interaktionsdesign 7