Användbarhetstestning. Användbarhetstestning. Användbarhetstestning. Användbarhetstestning. Användbarhetstestning vs heuris7sk utvärdering



Relevanta dokument
Användbarhetstestning

Användbarhetstestning. Användbarhetstestning. Användbarhetstestning vs heuristisk utvärdering. Varför testa?

Användbarhetstestning. Användbarhetstestning. Användbarhetstestning vs heuristisk utvärdering. Varför testa?

Fö: Användbarhetsutvärdering

Upplägg. Fö: Användbarhetsutvärdering. Heuristisk utvärdering HEURISTISK UTVÄRDERING. 10 heuristiker (Nielsen)

Utvärdering. Användbarhetstest: Vad ska ni göra? Användbarhetstestning kontra heuristisk utvärdering. Användbarhetstestning

Upplägg. Fö: Användbarhetsutvärdering. Heuristisk utvärdering. 10 heuristiker (Nielsen) Hur många utvärderare?

Användbarhetstestning. Samla in, analysera och presentera användbarhetsmått

Användbarhetstestning. Samla in, analysera och presentera användbarhetsmått

Användbarhetstestning. Johan Blomkvist

Utvärdering. Innehåll. Samla in, analysera och presentera användbarhetsmått. Heuristisk utvärdering Användbarhetstestning A/B-testning

Usability testing. Johan Åberg

Olika syften. TDDD60 användbarhetstest. När passar vilken typ? Med eller utan användare

Användbarhetsutvärdering. TDDD80 Mobila och sociala applikationer

TDDD80 Mobila och sociala applika1oner. Användbarhetsutvärdering

Fö 4: Utvärdering. Gästföreläsning. Muddy-cards resultat. Varför och vad? Varför? Vad? Mot vad? (Krav) Hur? IMPACT

Idag. Prototyper och användbarhetsutvärdering. Vad prototyper prototypar. Olika sorters prototyper. Del 2 Prototyper Utvärdering Analytisk Empirisk

TestForum Robert Magnusson, Nordic Medtest, Karlstad Lars Palm, Temagon AB / Future Position X, Gävle

Användbarhets- utvärdering. Mattias Arvola

Hur kvalitetssäkra komplexa IT-lösningar och vad är egentligen test?

Utvärdering. Användbarhet. + beställarperspektivet! Innehåll. Varför?

Metoder för datainsamling

Användbarhet och Webbutveckling för mobila enheter. Användbarhetstester

Datainsamling Hur gör man, och varför?

Nevenka Silfverhielm

Utvärdering. Övergripande (1) Med/utan användare. Övergripande (2) Fredag 1 oktober F1. Ann Lantz - Anna Swartling -

Sveriges innovationsmyndighet

Prototyping. Planera och genomföra webbproduktionsprojekt. Innehåll. Fördelarna med Pappersprototyper. Lofi-prototyp. Prototyping

Utvärdering av gränssnitt särskilt befintliga. Hur utvecklar man användbara system? Användbarhet handlar om kvalitet

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 7 i Rogers et al.: Interaction design

Utvärdering. Övergripande (1) Övergripande (2) Med/utan användare. Heuristisk utvärdering. Expertutvärdering. Måndagen den 29 september 8-10 F1

ANVÄNDARTESTNING VID LULEÅ UB Ola Andersson Luleå universitetsbibliotek

Principer för interaktionsdesign

Frågetekniker. Föreläsning 3, Utvärderingstekniker MDI, Lena Palmquist 1. Än en gång: JEdit (Py Kollberg) Loggning. Tolkande dataanalys

Inklusiv Design Design för Alla

Metod1. Intervjuer och observationer. Ex post facto, laboratorie -, fältexperiment samt fältstudier. forskningsetik

Prototyper och användartest

OBS! Vi har nya rutiner.

KVANTITATIV FORSKNING

Utvärdering. 6 november 2002 Kap 10-11, , 13.5

Datainsamling. Daniel Bosk. data.tex :33:45Z danbos

Fö 2: Designprocessen. Projektet. Design är... Forts. projektet

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 7 i Rogers et al.: Interaction design

3/30/12. Föreläsning 2: Datainsamling - Observation, enkät, intervju. Stjärnmodellen. Översikt. Analys. Prototyper Krav. Design

COACHING OCH KONSTRUKTIV FEEDBACK

PSYKOLOGISK UNDERSÖKNING H 70:

Feedbackrapport 729A45 Användbarhetstestning. Oscar Carlsson

Fälttest - Pilot. MariAnne Karlsson Chalmers tekniska högskola

Kvantitativa metoder och datainsamling

Idag. EDAA35, föreläsning 4. Analys. Kursmeddelanden. Vanliga steg i analysfasen av ett experiment. Exempel: exekveringstid

Berättelser Scenarios Presentationer Skisser Formella modeller Mjukvaruprototyper Kartong modeller etc.

AvI-index. Ett instrument för att mäta IT-systems användbarhet

Presentation Frågor om content marketing

Människa- datorinteraktion, MDI, vt 2012, Anvisningar för projekt- /grupparbete

Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera?

Människa- datorinteraktion, MDI, ht 2011, anvisningar för projekt- /grupparbete

1. Enkätsvar: Hur värdefullt fann du innehållet i kursen? 1=Värdelöst 2=Av litet värde 3=Värdefullt 4=Mycket värdefullt Besvarad av 11 personer

Teoretiska och empiriska ansatser

Användarcentrerad systemdesign

Idag. EDAA35, föreläsning 4. Analys. Exempel: exekveringstid. Vanliga steg i analysfasen av ett experiment

Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera?

Hypotesprövning. Andrew Hooker. Division of Pharmacokinetics and Drug Therapy Department of Pharmaceutical Biosciences Uppsala University

Sluta gissa börja testa workshop alla pratar ux, 28 nov 2013

Kvantitativ strategi viktiga begrepp 3. Wieland Wermke

Användarcentrerad design Prototyper & användartest

Metoder och användartester på Lantmäteriet

En workshop om workshops

UTVÄRDERING - VAD, HUR OCH VARFÖR? MALIN FORSSELL TOVE STENMAN

Kursen presenterar olika perspektiv inom beteendevetenskap med fokus på metod. Praktisk övning i datainsamlingstekniker ges.

GRÄNSSNITTSDESIGN. Ämnets syfte. Kurser i ämnet

Li#eratur och empiriska studier kap 12, Rienecker & Jørgensson kap 8-9, 11-12, Robson STEFAN HRASTINSKI STEFANHR@KTH.SE

Inspirationsfasen. Fortsättning på nästa sida. Hållbar utveckling B, vårterminen Cemus/CSD Uppsala, Uppsala universitet & SLU

Bedömning. Utvärdering 1. Utvärdering 2. Utvärdering 3. Bedömning under studierna

Instruktioner till Inlämningsuppgiften i Statistik Kursen Statistik och Metod Psykologprogrammet (T8), Karolinska Institutet

Giltig legitimation/pass är obligatoriskt att ha med sig. Tentamensvakt kontrollerar detta. Tentamensresultaten anslås med hjälp av kodnummer.

Redigeringsteknik och postproduktion

Interaktionsdesign som profession. Föreläsning Del 2

Resultatrapport. Exempel IOL TOOL. Framtagen till: Framtagen av: Sammanställd den 12 oktober, 2014

Testbara krav. SAST Syd Ställ gärna frågor under presentationen eller efteråt Åhörarkopior distribueras efteråt

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 2 och 3 i Stone et al.: User Interface design and evaluation

Saab EDS Järfälla 31 januar 2014 COACHING OCH KONSTRUKTIV FEEDBACK

Innehåll. Användarstudier. Användarstudier enligt Microsoft. Varför? Aktivt lyssnande. Intervjuteknik. Intervju Observation Personor Scenarier Krav

Interaktionsdesign och användbarhet Personas. Paper prototyping. » Metod för representation av användaren. » Metod för konceptutveckling

Användbarhet. Datorbaserade verktyg används till att. Aspekter på användbarhet. uppfylla behov eller lösa problem! Användbarhet.

Norrlandicus Care Lab The Novel Test Method for Aging Society Innovations. Isabella Scandurra Madeleine Blusi Rolf Dalin

Föreläsning 10: Introduktion till utvärdering. Rogers et al. Kapitel 12

Människa-datorinteraktion 1MD016, hösten 2011 Användarcentrerad systemdesign september 2011

Examinationsuppgift 2014

Intro utvärdering

Beteendevetenskaplig metod. Metodansats. För och nackdelar med de olika metoderna. Fyra huvudkrav på forskningen Forskningsetiska principer

Evaluation Summary - CT3380 Grundläggande webbdesign HT05 Dan Levin

Föreläsning 11, Planera utvärdering. Att planera utvärdering. Vetenskapliga experiment. Kapitel i kursboken

1. (3p) Inom MDI-området framhåller man att människor lär sig via metaforer. Hur menar man att detta går till?

Människa- datorinteraktion, MDI, ht 2012, Anvisningar för projekt- /grupparbete

Allvarlighetsgrad Sannolikhet Summa. kvinna man kvinna man kvinna man

Agenda. Inledning, teoretiska metoder Hierarkisk uppgiftsanalys, HTA Cognitive walkthrough CW Heuristisk evaluering

Tentamen på. Statistik och kvantitativa undersökningar STA101, 15 hp. Torsdagen den 23 e mars Ten 1, 9 hp

Några exempel. Principer för design. Vilka problem medför den här designen? Vilken av följande placeringar av piltangenterna är bäst?

Kritisk granskning av forskning

Gymnasiearbetets titel (huvudrubrik)

Transkript:

Användbarhetstestning Användbarhetstestning Samla in, analysera och presentera användbarhetsmått Uppgiften: Del 2: Användbarhetstestning Ni ska användbarhetstesta prototypen med minst en användare per gruppmedlem (användarna ska inte läsa denna kurs) i enlighet med kapitel 5 i Lewis och Rieman (1994). Val av användbarhetsmått (sätt att bedöma och mäta användbarheten) ska ske med omsorg. Omsätt till sist er test i förslag på lämpliga designförändringar (med enkla skisser). Användbarhetstestning Användbarhetstestning Kriterier Har gruppen tagit fram en prototyp som täcker in de tre viktigaste användningsuppgifterna? Användningsuppgifterna ska inte vara triviala (dvs. åtminstone sträcka sig över tre steg). Visar postern designlösningen, designmål, tillvägagångssätt, testresultat, slutsatser och lämpliga designförändringar baserat på resultat? Har gruppen gjort en väl genomförd användbarhetstestning i enlighet med Lewis och Rieman (1994)? Användare utför realistiska uppgifter i prototypen/systemet Observationer, tänka högt kompletteras med intervjuer Foto från test med pappersprototyp Varför testa? Användbarhetstestning vs heuris7sk utvärdering Heuris7c evalua7on Usability tes7ng Heuris7c evalua7on Usability tes7ng Heuris7c evalua7on Usability tes7ng Heuris7c evalua7on Sketches Paper prototypes HiFi prototypes Working system 1

Användbarhetstestning vs heuris7sk utvärdering Tillfredsställelse Effek7vitet 100 90 80 70 60 50 40 30 20 10 0 Användbarhetstestning Heuris7sk utvärdering Ändamålsenlighet Formativ studie Frågeställningar Vilka är de viktigaste användbarhetsproblemen? Vilka aspekter av produkten funkar bra för användarna? Är det något som frustrerar dem? Vilka är de vanligaste felen som användare gör? Blir produkten bättre för varje iteration? Summativ studie Har användbarhetsmålen uppnåtts? Nya produkten effektivare än nuvarande? Jämförelse med konkurrerande produkter? Användare försöker lösa en given uppgift genom att interagera med prototypen Dator känner till programlogiken och styr gränssnittet. Simulerar datorns respons utan kommentarer Roller vid testning Testledare styr testsessionen, ger instruktioner till användaren och efterfrågar åsikter och tankar. Observatör antecknar under tystnad Formulering av uppgifter En lagom mängd uppgifter formuleras Ska representera det som användaren förväntas använda systemet till Hela testet bör inte ta mer än max en timme, inklusive enkäter, intervjuer etc Ges till användaren en i taget på separata papper Måste ligga på rätt detaljnivå Får inte ge för mycket ledtrådar Ska beskriva vad användaren ska göra, inte hur Etiska frågor Praktiska förberedelser Att tänka på Icebreaking Träning om det behövs Försvara aldrig designen inför användaren Gör alltid en pilotstudie med 2-3 personer 2

Kriterier för att välja deltagare Självrapporterad expertis Tex nybörjare, medel, expert, Användningsfrekvens Antal besök per månad Mängd erfarenhet Dagar, månader, år Aktiviteter Använt speciell funktion Antal användare Målsättningen med testet Tolerans av felmarginal Antal lyckade Antal fp Nedre 95% konfidensinterval l 4 5 36% 98% 8 10 48% 95% 16 20 58% 95% 24 30 62% 91% 40 50 67% 89% 80 100 71% 86% Övre 95% konfidensinterval l Within-subjects Between-subject Terminologi 1 Balansera för ev inlärning mellan uppg Fp Uppg 1 Uppg 2 Uppg 3 Uppg 4 Fp1 U1 U2 U3 U4 Fp2 U3 U1 U4 U2 Fp3 U2 U4 U1 U3 Fp4 U4 U3 U2 U1 Terminologi 2 Oberoende variabel det man manipulerar eller kontrollerar, t ex Karaktäristik hos fp (ålder, kön, relevant erfarenhet) Olika lösningar eller prototyper som testas Uppgifter Beroende variabel det man mäter, t ex Task success Tid SUS score Datatyper Nominal (kategorisk) T ex Man, kvinna; Design A, Design B Ordinal T ex Rangordning av 4 designer, från Mest vacker till Minst vacker Intervall Tex 7-punksskala av instämmande: Denna design är vacker. Instämmer helt Instämmer inte alls Ratio T ex Tid, Task success % Är dessa skalor Lika? Datatyper Den övre är ordinal. Beräkna bara svarsfrekvens. Den undre kan betraktas som intervall. Du kan beräkna medelvärde. 3

Konfidensintervall Konfidensintervall Antag att detta är din tidsdata för en studie med 5 användare Vad betyder det? Visa felstaplar Hur visa felstaplar? Användbarhetsmått Prestandamått Uppgiftsframgång, tid, fel Problembaserade mått Antal problem, typ av problem Beteende- och psykologiska mått Verbalt beteende, ansiktsuttryck Självrapporterade mått Förväntningsmått, SUS Hur/när ska måtten användas? Beror främst på användbarhetsmålen Men, ofta gäller: I en tidig fas är uppgiftsframgång viktigast Uppgiftsframgång kräver att allvarliga problem är undanröjda (problembaserade mått) Upplevelsen viktig vill användaren använda systemet? Fångas in via beteendemått och självrapporterade mått (korrelation dem emellan?) Tid har ofta ett tröskelvärde (men vilket?) Blir därmed binärt (under eller över tröskelvärdet?) 4

Prestandamått Uppgiftsframgång - binärt Uppgiftsframgång Binärt eller nivåindelat Tid Hur lång tid tar det för en uppgift Fel Vilka eller hur många fel görs per uppgift Effektivitet Tex antal knapptryckningar Lärbarhet Hur ändras prestanda över tid Kräver väldefinierade uppgifter med tydliga slutvillkor Hitta priset för soffan Älmhult i standardutförande. OK? Undersök olika sätt att pensionspara. OK? Uppgiftsframgång - konfidensintervall Uppgiftsframgång - exempel Uppgiftsframgång - exempel Problembaserade mått vad är ett problem? Allt som förhindrar måluppfyllelse Allt som för någon på fel spår Allt som skapar förvirring Allt som skapar ett fel Att inte se något som skulle uppmärksammats Att anta att något är rätt när det inte är det Att anta att en uppgift är klar när den inte är det Att utföra fel funktion Att missförstå något innehåll Att inte förstå navigeringen 5

Problembaserade mått - detaljer Allvarlighetsgrad När börjar och slutar ett problem? Granularitet? Flera observatörer? Liten påverkan på användarupplevelse n Stor påverkan på användarupplevelse n Få fp upplever ett problem Låg allvarlighetsgrad Medel allvarlighetsgrad Många fp upplever ett problem Medel allvarlighetsgrad Hög allvarlighetsgrad Resultat - exempel Resultat exempel Resultat - exempel Resultat - exempel 6

Resultat - exempel Konsekvens i problemidentifiering Bruskällor Antal deltagare Deltagare Uppgifter Metod Artefakt Omgivning Moderatorer 7

Beteende och psykologiska mått Eye-tracking Verbalt beteende Ansiktsuttryck Eye-tracking Pupillrespons Hjärtfrekvens Eye-tracking video Eye-tracking-analys 1 8

Eye-tracking-analys 2 Självrapporterade mått Top banner Get it Done Online Main Body Tools News/ Features Förväntningsmått SUS-skalan CSUQ-skalan QUIS-skalan Förväntningsmått Fråga fp om förväntad svårighetsgrad, innan de utför uppgiften Fråga efteråt hur lätt/svårt det verkligen var, omedelbart efter varje uppgift Använd 7-punkts skala i båda fallen Väldigt lätt till Väldigt svårt För varje uppgift, beräkna två medelvärden Medel för förväntningsvärdet Medel för upplevelsevärdet Visualisera datat som en scatterplot med två axlar Förväntningsvärde Upplevelsevärde De fyra kvadranterna är intressanta 9

SUS system usability scale Utvecklat vid DEC Består av 10 frågor Kan byta ut website mot system mot produkt SUS - sammanräkning Beräkningsexempel SUS resulterar i ett helhetsvärde. Värden för individuella frågor säger inget. Beräkning: Varje frågas värde varierar mellan 0 och 4 Fråga 1, 3, 5, 7, och 9 bidrar med positionen minus 1 Fråga 2, 4, 6, 8 och 10 bidrar med 5 minus positionen Multiplicera summan för alla 10 frågor med 2.5 för helhetsvärdet. SUS värden varierar mellan 0 och 100 10

Varför just SUS? Forts. Upplägg 123 användare testade 2 system (alla testade båda) 5 olika enkäter Varje användare fyllde i samma enkät för båda systemen Ca 25 användare per enkät Resultat Alla 5 enkäter visade att ett av systemen var signifikant bättre än det andra En mängd samples slumpades ut från enkätsvaren (6-14 personer per enkät) Hur många % av respektive enkäts sample visade att rätt system var bättre än det andra? Varför just SUS? Frequency Distribution of SUS Scores for 129 Conditions from 50 Studies Förberedelser inför utvärdering av prototyp 50 45 40 35 Frequency 30 25 20 15 10 5 0 <=40 41-50 51-60 61-70 71-80 81-90 91-100 Average SUS Scores Förberedelser inför utvärdering av prototyp Färdig prototyp, buggfri? Rollfördelning Vem i teamet ansvarar för vad? Rekrytering av fp från rätt målgrupp Kriterier för rekrytering? Definiera uppgifter Funkar fullt ut i prototypen, utan buggar? Etiska frågor? OK att spela in? Hantering av data m.a.p. sekretess? Inlärningsperiod? Behövs någon träning för användaren? Definiera testmetod Val av mått, analysmetod, presentationsmetod Pilotstudie (ca 2 pers) Är uppgifterna lätta att förstå? Funkar upplägget? Funkar mätningen? Funkar organisationen i teamet? Sökta signifikansnivåer Vilken felmarginal kan ni tolerera? 11