Utvärderingsmetoder: Empiriska metoder IT-universitetet 2004-02-26
Problemet
Usability is...... the extent to which a product can be used with effectiveness, efficiency and satisfaction by specific users to achieve specific goals in a specific environment (ISO DIS 9241-11) effectiveness = ändamålsenlighet, dvs. i vilken utsträckning mål/uppgifter kan uppnås med noggrannhet och fullständighet... efficiency=effektivitet, dvs. den ansträngning som krävs för att uppnå ett mål, resursåtgång i förhållande till noggrannhet och fullständighet... satisfaction=tillfredsställelse som användarna upplever vid användning, hur acceptabel produkten är ur användarnas synvinkel, frånvaron av obehag...
Uppgift/m Miljö/Konte Använd Teknisk prod
Empiriska metoder Fokusintervjuer Intervjuer Enkäter Paper-and-pen utvärderingar Usability tester/användartester Fältutvärderingar
Användbarhetstest/ Usability test En utvärdering där ett urval användare genomför/löser ett antal uppgifter mha produkten.
Procedur Planera Välj deltagare Välj och utforma testmaterial Genomför testen Analysera data Slutsatser och rekommendatioenr
VARFÖR? Varför skall testen genomföras? Vilka frågor söker du svar på?
VAR? Var skall utvärderingen genomföras? I lab-miljö? (I den faktiska användningsmiljön?)
VAD? Vad skall testas - dvs. hur skall produkten / gränssnittet representeras? Mha skisser? 3-dimensionell pappersmodell? Mock-up? Prototyp? Wizard-of-Oz metodik
Produktrepresentationer - prototyper... något som representerar/gestaltar den icke färdiga produkten med avseende på någon eller några aspekter, t.ex. användargränssnittets utformning
Kategorisering av prototyper Different features Horizontal prototype Functionality Vertical prototype Källa: Nielsen
Olika prototyper Verbal beskrivning, scenario Pappersprototyper papper, OH-projektion, etc. Interaktiva prototyper, simulering mha HyperCard, SuperCard, PowerPoint, etc. Wizard -of-oz VR
3-dimensionella modeller i skala x:1 Mock-ups, skala 1:1 Funktionella prototyper skala 1:1
Ett scenario är... en beskrivning av en användare som använder vissa funktioner hos en produkt/gränssnitt för att nå ett visst mål under vissa förutsättningar och under en viss tidsrymd enl. Nielsen 1993
Du närmar dig bankomaten och stoppar in ditt bankomatkort. Det spelar ingen roll vilken sida du vänder upp. Maskinen läser ändå av kortet korrekt. Du blir ombedd att knappa in din 4-siffriga kod. Du använder knappsatsen som sitter till höger om skärmen. Du presenteras med 4 val: ta ut 100 kronor, ta ut något annat belopp, gör en insättning, eller andra transaktioner. Vid varje alternativ finns en knapp. Du väljer ett av alternativen... etc. Vilka frågor väcks?
Pappersskiss Skisser mha papper + penna Blädderblock Notisar (post-it) ev. kompletterad med beskrivningar över hur man tänker sig användningen, t.ex. storyboards
Pappersprototyper ofta i form av pappersutskrifter av gränssnittet eller delar av gränssnittet ofta ngn form av Wizard-of-Oz teknik, dold eller öppen har använts t.ex. för taligenkänning viktigt att the wizard inte förmår mer än det nya tekniska systemet -> kan ge felkällor
Verbala beskrivningar Någon beskriver användargränssnittet verbalt och ställer sedan frågor som t.ex. Vad skulle du säga om...? eller Vad tror du händer om...?
Interaktiva prototyper T.ex. PowerPoint S.k. händelseknappar Länka till rätt bild Fungerar enbart i Visa bildspel
345.789
Fel knapp!
Vill du verkligen lyssna till P1? Om ja, tryck >I
Valet av medierande objekt bestäms av syftet... identifiera problem, identifiera krav... attityder till olika lösningsprinciper... välja mellan olika lösningar... utvärdera begriplighet... kontrollera kravuppfyllelse... utvärdera nåbarhet... etc.
... av fokus... värdera typsnitt, begrepp... värdera # funktioner... värdera färgval... etc.
... deltagarna/försöks-personerna noviser/oerfarna produktanvändare behöver mer information/mer stöd jfr med experter/erfarna produktanvändare men...
... av produkten/produkttypen värdering av en helt ny produkt (en innovation) kan kräva en mer realistisk prototyp jfr. med en välkänd produkt men...
VEM? Vem skall delta i testen? Representativa användare? Teoretiskt/ subjektivt urval Kritiska användare? Hur många skall delta i testen? 12-20 normalt Vem skall vara försöksledare?
HUR? Procedur? introduktion, test, värdering, ev. mätning Beskriv syftet med utvärderingen. Ange t.ex. om testen spelas in på olika sätt. Informera om möjligheten att dra sig ur. etc. dokumentation (bandspelare? kamera?) hjälp? utbildning, träning? max-tid?
provokation? Så snabbt som möjligt...! tänka-högt? Att tänka högt kan påverka användarens beteende - både positive och negativt retrospektiv värdering, ad hoc procedur loggning?
Kriterier? Mått? Instrument? effektivitet? prestation? tillfredsställelse? begriplighet? objektiva mått: ex. effektivitet kan mätas i termer av tid eller fel subjektiva mått: ex. begriplighet, tillfredsställelse mm kan mätas mha subjektiv skattning (i enkät eller intervju) rekommendation: både objektiva och subjektiva bör användas för värdering: användbarhet =effektivitet och tillfredsställelse
Uppgifter? representativa uppgifter eller frågor alt. kritiska? Rekommendation: ordning: enkel -> ökande svårighetsgrad -> enkel Rekommendation: scenario-baserade jfr. Ställ in pizzaläget! vs. Du skall baka en pizza. Ställ in ugnen på lämpligt sätt. Rekommendation: uppgifter/frågor på papper minimera memorering av uppgifter -> tar arbetsminne i anspråk
Exempel Uppgift Ett öretag f som heter XX XXXX har utvecklat änst på Internet. Gå till www. xxxxxxx.com Om Du enbart betraktar startsidan, vilken är tjäns det retaget fö erbjuder tror Du?
Gå in och besvara 10 av de rsta fö frågorna å s noggrant Du kan. Svaren kommer att raderas å snart stesten är över. Vid något ämpligt l tillf älle, kontrollerar Du att svar registrerats.
Exempel Uppgift Du har fått reda på att det finns en hemsida där man kan få information om olika hjälpmedel. Hemsidan heter Trollreda hjälpmedel. Adressen dit är wwwhot.vgregion.se /trollreda Du vill gärna kolla vad som finns på hemsidan. Gå till Trollreda hjälpmedels hemsida.
Din kompis Leif har lätt att glömma bort saker. Speciellt lätt glömmer han att ta sin medicin. Du tänker ta reda på om det finns något som kan hjälpa Leif komma ihåg att ta sin medicin. Klicka på bilden som visar en person som tvättar sig. Kropp står det under bilden. Nu ser du en lista på litet olika hjälpmedel. Hittar Du något åt Leif?
På sidan finns ett antal bilder. Ett av bilderna ser ut som en mugg eller kaffekopp. Vad tror du händer om du klickar på just den bilden?
Within-subjects Samma person utvärderar de olika versionerna Jämförelser, preferenser möjliga (+) men leder till inlärning och ev. uttröttning (-) Between-subjects Olika personer utvärderar de olika versionerna Subjektiva jämförelser omöjliga(-) Lika testgrupper svårt att nå
Testordning - om within! Lösning A Lösning B Lösning C Fp 1 1 2 3 Fp 2 2 3 1 Fp 3 3 2 1 Fp 4 2 1 3 Fp 5 3 1 2 Fp 6 etc.
Objektiva mått Exempel på.... Total tid för att slutföra en viss uppgift Antal uppgifter / tidsenhet eller inom ramen för tiden x Antal interaktioner eller fel per uppgift Antal fel Total tid för att korrigera fel Antalet hjälptillfällen Antal kommandon/knapptryckningar/motsvarande per uppgift
Subjektiva mått Exempel på... Antalet personer som föredrar en viss lösning framför en annan (obs!ej möjlig i between-subject test). Antalet positiva resp. negativa omdömen under testen. Antalet tillfällen användaren uttrycker frustration. Skattning av tillfredsställelse, m.m.
Intervju-/enkätfrågor Fokus på genomförandet av uppgiften vs. gränssnittets utformning? Att leta reda på avgångstiden från Göteborg var... mkt enkelt, enkelt, svårt, mkt svårt vs. Gränssnittet var... mkt enkelt, enkelt, svårt, mkt svårt nnnn
Exempel på skattningsskalor X Inte alls Helt of fullt En 100 mm lång skala där testpersonen sätter ett kryss som markering på sin bedömning.man mäter sedan avståndet i mm från 0 läget till kryssets mitt. Avståndet i mm = skattning (t.ex. 33 mm = värde 33)
1 2 3 4 5 Välj inte en alltför lång skala om ett fåtal testpersoner. Jämn eller ojämn beror på frågeställningen.
Ange i vilken utsträckning Du håller med om följande påstående: Dessa symboler var enkla att förstå. Håller Håller inte med alls helt med
The product design evokes emotions ( Monö, 2000 )
Product Semantics The four semantic functions To describe purpose, way of functioning, use To express properties To exhort trigger a reaction To identify a product s origin, product family category (Monö, 2000)
Uniform Inspiring 5 4 Boring Design A Design B 3 Repulsive 2 1 0 Harmonious Unmodern Childish Youthful Cheeky Professional
Joy 5 Design A Design B Sadness Worry 4 3 2 1 0 Liking Confidence Irritation Surprise Expectation
Validitet? Speglar resultaten det vi vill värdera - mäter vi det vi vill mäta? Felkälla: fel testpersoner, ej representativa för målgruppen Felkälla: fel uppgifter Felkälla: fel mått Ekologisk validitet? dvs. de resultat vi får i lab-testet, gäller de också i verkligheten?
Reliabilitet? dvs, om studien upprepades, skulle den ge samma resultat eller är resultatet en tillfällighet? Det finns stora skillnader mellan olika användare/grupper användare Kontrollera det som kan kontrolleras Statistisk analys (mv, sd t.ex.) - frågan är vilken signifikansnivå man vill/behöver nå? Ju fler försökspersoner, desto bättre men...
Litteratur Nielsen J (1993); Usability Engineering, Academic Press, London. Jordan P.W., Thomas B., Weermeester B.A., McClelland I (1996): Usability evaluation in industry. Taylor & Francis Ltd, London. Jordan P.W. (1998): An introduction to usability. Taylor & Francis Ltd, London. Rubin J. (1994) Handbook of Usability testing. John Wiley & Sons, N.Y.