Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera?

Transkript

1 Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera? FSR: 1, 2, 5 Rogers et al. Kapitel 13 (e/3: 12-13)

2 Analys Utvärdering Implementation Prototyper Krav Design Intro utvärdering 2

3 Observation, repetition Förberedelser viktiga värva deltagare ordna det praktiska, plats, utrustning, boka tid förbered fokus, tillhörande uppgifter pilottest Bemötande värm upp med enkla frågor/enkel information motivera observationen betona att det är programvaran som testas etiska ställningstaganden objektivitet avrunda på ett trevligt sätt Ev. retrospektivt protokoll, dvs. förtydliganden efteråt Utvärdering, Inspektionsmetoder 3

4 Bruce Tognazzini om utvärdering Iterative design, with its repeating cycle of design and testing, is the only validated methodology in existence that will consistently produce successful results. If you don t have user-testing as an integral part of your design process you are going to throw buckets of money down the drain. Se AskTog.com för aktuella diskussioner om design och utvärdering Intro utvärdering 4

5 Utvärdering varför, vad, var och när Iterativ design och utvärdering är en kontinuerlig process som undersöker: Varför: för att undersöka om användare kan använda produkten, och om de uppskattar den. Vad: konceptuell modell, tidiga prototyper för nytt system, mer kompletta prototyper senare i processen. Var: i faktiska/naturliga miljöer in the wild - och laboratorier. När: genom hela designprocessen; färdigställda produkter kan utvärderas för att samla in information om dem för olika syften Intro utvärdering 5

6 Vad påverkar aktiviteten utvärdering Syfte Teknik för att samla in data Användargrupp Andra inblandade Resurser Analysmetoder Tänk även på Tillförlitlighet (reliability) Validitet Ekologisk validitet Bias (otillbörlig påverkan) Räckvidd (scope) Intro utvärdering 6

7 Tänkbara syften Kontroll av användbarhetskrav Jämföra två alternativa designförslag Ta fram resultat för marknadsföring Ta fram idéer till förbättrad design (kan räknas till kravinsamlingsfasen) Att få ett underlag för vidare utvärdering Allmänt: Att få svar på specifika frågor Intro utvärdering 7

8 Resurser Ekonomiska Tidsbegränsningar Tillgänglig utrustning Användarnas tillgänglighet Tillgängliga utvärderare Intro utvärdering 8

9 Aktiviteter Formulera en utvärderingsstrategi Ta fram en utvärderingsplan Genomför utvärdering Analysera resultatet Tolka resultatet Uppfylls kraven? Intro utvärdering 9

10 Start Användbarhetskrav Strategi för utvärdering Utvärderingsplan Krav kan inte uppfyllas, se över kraven, ta fram ny strategi. Utför utvärderingssession Analys: sammanställ sammanfatta identifiera problem Ej uppfyllda Ändra design Oklart om de uppfyllts Mer testning Tolkning: orsak till problem rekommendationer dokumentera Rekommendationer har uppfyllts Klart! Intro utvärdering 10

11 Utvärderingstermer Analytisk utvärdering Fältstudier (in the wild studies) Formativ utvärdering Heuristisk utvärdering Kontrollerade experiment Prediktiv utvärdering Summativ utvärdering Användarlaboratorier Användarstudier Användbarhetsstudier Användbarhetstester Användartester Expertutvärdering Living labs (testplats.com) Intro utvärdering 11

12 Utvärderingsansatser Användbarhetstester Fältstudier Analytisk utvärdering Kombinerade ansatser Opportunistic evaluations tidigt och informellt för att se om man är på rätt spår Intro utvärdering 12

13 Kännetecken för ansatserna Användbarhetstest Fältstudier Analytisk Användare utföra uppgift naturliga ej involverad Plats kontrollerade natural var som helst När prototyp tidigt prototyp Data kvantitativa kvalitativa problem Feedback/ återkoppling mätdata & fel beskrivningar problem Typ tillämpad naturlig expert Intro utvärdering 13

14 Utvärderingsmetoder och ansatser Metod Användbarhetstest Observera x x Fältstudier Analytisk Fråga användare Fråga experter Testa Modellera x x x x x x Intro utvärdering 14

15 Planering i detalj Varför, vilka? Krav, omfattning Operationalisera, vad betyder bra / dåligt? Bedöm resurser, vilken version av systemet, tillgänglig tid, dataregistreringsval Pilot, värva deltagare, bestäm hjälpmedel och utrustning, kolla budget, tidsaspekter, expertresurser Vilket mål, anonymt, avbryta, ev. ersättning, medgivande att citera, erbjud rapporten till alla användare, undvik identifierande uppgifter Upprepning? Önskat resultat? Ekologisk validitet? Bias? Räckvidd? Iterera! När avbryta? Använd citat, bilder och beskrivningar av vad som händer Bias, generaliserbarhet Intro utvärdering 15

16 Huvudpoänger Utvärdering & design nära integrerade i användarcentrerad design. Vissa tekniker används även när man tar fram krav (observation, intervjuer & enkäter). Tre huvudansatser är: användbarhetstest, fältstudier, och analytisk utvärdering. Huvudmetoderna är: observation, fråga användare, fråga experter, användartester, inspektionsmetoder, och att modellera användarnas sätt att utföra uppgifter. Olika ansatser och metoder kombineras ofta i en studie. Triangulering innebär att man kombinerar tekniker för att kunna se olika perspektiv, eller analysera data med olika tekniker. En viktig färdighet att utveckla inför utvärdering är att hantera olika begränsningar Intro utvärdering 16

17 Att diskutera Vad kan påverka antal användare man tar med? Kvalitativt eller kvantitativt vid formativ utvärdering? Exempel där ekologisk validitet är viktig? Är de etiska råd som ges i boken tillräckliga? I vilka situationer skulle det kunna behövas en granskning? Är det okej att studera det som kan studeras i offentliga sammanhang utan samtycke? Hur gör man då? Hur utvärderar man när produkten är hemlig? Vilka frågor kan man vilja besvara med utvärdering? Vilka beslut behöver tas i era utvärderingar? Intro utvärdering 17