Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera?

Relevanta dokument
Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera?

Intro utvärdering

Föreläsning 10: Introduktion till utvärdering. Rogers et al. Kapitel 12

Föreläsning 12 Inspektionsmetoder. Rogers et al. Kapitel 15

Föreläsning 4: Designprocessen

Datainsamling Hur gör man, och varför?

Föreläsning 5: Analys och tolkning från insamling till insikt. Rogers et al. Kapitel 8

Utvärdering. Att göra spel bättre

Föreläsning 6: Analys och tolkning från insamling till insikt

Föreläsning 3: Mer om utvärdering, Inspektionsmetoder kan man utvärdera utan användare?

Att intervjua och observera

Frågetekniker. Föreläsning 3, Utvärderingstekniker MDI, Lena Palmquist 1. Än en gång: JEdit (Py Kollberg) Loggning. Tolkande dataanalys

Föreläsning 11, Planera utvärdering. Att planera utvärdering. Vetenskapliga experiment. Kapitel i kursboken

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 7 i Rogers et al.: Interaction design

Interaktionsdesign som profession. Föreläsning Del 2

3/30/12. Föreläsning 2: Datainsamling - Observation, enkät, intervju. Stjärnmodellen. Översikt. Analys. Prototyper Krav. Design

Metoder för datainsamling

Utvärdering. 6 november 2002 Kap 10-11, , 13.5

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 2 och 3 i Stone et al.: User Interface design and evaluation

Utvärdering. Användbarhet. + beställarperspektivet! Innehåll. Varför?

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 7 i Rogers et al.: Interaction design

Föreläsning 4 Identifiera krav och behov. Att läsa: Kapitel 10 i Rogers et al.: Interaction design

Granskning av gränssnitt. Mattias Arvola

Olika syften. TDDD60 användbarhetstest. När passar vilken typ? Med eller utan användare

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 2 och 3 i Stone et al.: User Interface design and evaluation

Prototyper och användartest

Fö 2: Designprocessen. Projektet. Design är... Forts. projektet

Föreläsning 2: Datainsamling - Observation, enkät, intervju. Att läsa: Kapitel 2 och 3 i Stone et al.: User Interface design and evaluation

Hur, när och till vad använder personer sin smarta telefon eller surfplatta? Personers medievanor på mobila enheter.

Test och utvärdering - introduktion. Systemering med användarfokus Malin Pongolini

Li#eratur och empiriska studier kap 12, Rienecker & Jørgensson kap 8-9, 11-12, Robson STEFAN HRASTINSKI STEFANHR@KTH.SE

Bruksanvisning och formalia för proben

Fö 8. Sammanfattande föreläsning MAMN25

Användarcentrerad design Prototyper & användartest

Hemtentamen. Människa-datorinteraktion fortsättningskurs, 2D1622. Paulina Modlitba Media

Föreläsning 11, Mer utvärdering

Medieanalys 3. Hur, när och till vad använder personer sin smarta telefon eller surfplatta? Personers medievanor på mobila enheter.

Användbarhet. Datorbaserade verktyg används till att. Aspekter på användbarhet. uppfylla behov eller lösa problem! Användbarhet.

Utvärdering. Användbarhetstest: Vad ska ni göra? Användbarhetstestning kontra heuristisk utvärdering. Användbarhetstestning

Titel på examensarbetet. Dittnamn Efternamn. Examensarbete 2013 Programmet

Ex post facto forskning Systematisk, empirisk undersökning. om rökning så cancer?

Grupparbete ACSD Projektplanering för ett Patientjournalsystem

Föreläsning 3 Användare, uppgift och omgivning. Kapitel 3-4 i Stone et al.

Föreläsning 5: Fastställa krav varför, vad och hur

Redigeringsteknik och postproduktion

Stöd för att skapa intuitiva användargränssnitt

Fö 4: Utvärdering. Gästföreläsning. Muddy-cards resultat. Varför och vad? Varför? Vad? Mot vad? (Krav) Hur? IMPACT

Reflektioner kring designprocessen av Intellitic

Utvärdering. Övergripande (1) Med/utan användare. Övergripande (2) Fredag 1 oktober F1. Ann Lantz - Anna Swartling -

Utvärdering av gränssnitt särskilt befintliga. Hur utvecklar man användbara system? Användbarhet handlar om kvalitet

Kritisk granskning av forskning

Beteendevetenskaplig metod. Metodansats. För och nackdelar med de olika metoderna. Fyra huvudkrav på forskningen Forskningsetiska principer

Användbarhetstestning

Design: Två betydelser

Idag. EDAA35: Utvärdering av programvarusystem. Mål. Innehåll. Kursmoment. Lärare

Datainsamling. Daniel Bosk. data.tex :33:45Z danbos

Vetenskapsmetodik. Föreläsning inom kandidatarbetet Per Svensson persve at chalmers.se

LOGISTIKSYSTEM FÖR SNABBA HJULET AB UTVECKLINGSPROCESS BASERAD PÅ DR. DEBORAH J. MAYHEW S THE USABILITY ENGINEERING LIFECYCLE

Chaos om datorprojekt..

Användbarhet och Webbutveckling för mobila enheter. Användbarhetstester

Användbarhetstestning. Användbarhetstestning. Användbarhetstestning vs heuristisk utvärdering. Varför testa?

Fö: Användbarhetsutvärdering

Föreläsning 4, Användbarhet, prototyper

Datavetenskap. Beteendevetenskap MDI. Design

Mönster. Ulf Cederling Växjö University Slide 1

Idag. Prototyper och användbarhetsutvärdering. Vad prototyper prototypar. Olika sorters prototyper. Del 2 Prototyper Utvärdering Analytisk Empirisk

Användarcentrerad systemdesign

Sluta gissa börja testa workshop alla pratar ux, 28 nov 2013

Användarcentrerad Systemutveckling

Här ges en överblick över de delar som ingår i projektarbetet och beskriver kraven och bedömningskriterierna.

Kursplanen är fastställd av Programnämnden för masterutbildningar att gälla från och med , vårterminen 2017.

Designprocessen. Kapitel 7 & Kapitel 9

Fältstudier och analys

Människa-datorinteraktion och användarcentrerad design

Nätkurs Design & konstruktion av användargränssnitt 1MD113 Sid 1 (5) Lektion 11 Användare, uppgifter och krav del

Upplägg. Fö: Användbarhetsutvärdering. Heuristisk utvärdering. 10 heuristiker (Nielsen) Hur många utvärderare?

Föreläsning 8, Design

Föreläsning 1: Interaktionsteknik, Introduktion. Att läsa: Kapitel 1-2 i Rogers et al.: Interaction design

BUSR31 är en kurs i företagsekonomi som ges på avancerad nivå. A1N, Avancerad nivå, har endast kurs/er på grundnivå som förkunskapskrav

Chaos om IT-projekt..

Utvärdering. Övergripande (1) Övergripande (2) Med/utan användare. Heuristisk utvärdering. Expertutvärdering. Måndagen den 29 september 8-10 F1

Experimentell design. Kvasiexperimentell design. Sambandsstudier

Kemi 2. Planering VT2016

KURSRAPPORT. Bakgrundsinformation (Fylls i av studieadministratör): Kursens LADOKkod:

för att komma fram till resultat och slutsatser

Designprocessen. Kapitel 7 & Kapitel 9

1. (3p) Inom MDI-området framhåller man att människor lär sig via metaforer. Hur menar man att detta går till?

Termin Innehåll Lärandemål Aktivitet Examination

Agenda. Inledning, teoretiska metoder Hierarkisk uppgiftsanalys, HTA Cognitive walkthrough CW Heuristisk evaluering

NATURVETENSKAPLIG SPETS INOM FÖRSÖKSVERKSAMHET MED RIKSREKRYTERANDE GYMNASIAL SPETSUTBILDNING

E-handel köksportalen Projektuppgift i kursen Användarcentrerad systemdesign, hösten 2003 The Usability Engineering Lifecycle av Deborah J.

Bild 1: Översikt över faserna i projektarbetet

UPPSALA UNIVERSITET Projektuppgift Institutionen för informationsteknologi Ht 2004 Användarcentrerad systemdesign.

Föreläsning 13: Användbarhet och komplexa system

Vetenskapsmetod och teori. Kursintroduktion

BETYG GYMNASIESKOLAN

KONSTFACK Institutionen för design, inredningsarkitektur och visuell kommunikation KURSPLAN

Upplägg. Fö: Användbarhetsutvärdering. Heuristisk utvärdering HEURISTISK UTVÄRDERING. 10 heuristiker (Nielsen)

Kvalitativa metoder I

ANVÄNDARUPPLEVELSEN HOS DE YNGSTA

Transkript:

Föreläsning 2: Introduktion till utvärdering varför ska vi utvärdera? FSR: 1, 2, 5 Rogers et al. Kapitel 13 (e/3: 12-13)

Analys Utvärdering Implementation Prototyper Krav Design 150327 Intro utvärdering 2

Observation, repetition Förberedelser viktiga värva deltagare 140909 ordna det praktiska, plats, utrustning, boka tid förbered fokus, tillhörande uppgifter pilottest Bemötande värm upp med enkla frågor/enkel information motivera observationen betona att det är programvaran som testas etiska ställningstaganden objektivitet avrunda på ett trevligt sätt Ev. retrospektivt protokoll, dvs. förtydliganden efteråt Utvärdering, Inspektionsmetoder 3

Bruce Tognazzini om utvärdering Iterative design, with its repeating cycle of design and testing, is the only validated methodology in existence that will consistently produce successful results. If you don t have user-testing as an integral part of your design process you are going to throw buckets of money down the drain. Se AskTog.com för aktuella diskussioner om design och utvärdering. 150327 Intro utvärdering 4

Utvärdering varför, vad, var och när Iterativ design och utvärdering är en kontinuerlig process som undersöker: Varför: för att undersöka om användare kan använda produkten, och om de uppskattar den. Vad: konceptuell modell, tidiga prototyper för nytt system, mer kompletta prototyper senare i processen. Var: i faktiska/naturliga miljöer in the wild - och laboratorier. När: genom hela designprocessen; färdigställda produkter kan utvärderas för att samla in information om dem för olika syften. 150327 Intro utvärdering 5

Vad påverkar aktiviteten utvärdering Syfte Teknik för att samla in data Användargrupp Andra inblandade Resurser Analysmetoder Tänk även på Tillförlitlighet (reliability) Validitet Ekologisk validitet Bias (otillbörlig påverkan) Räckvidd (scope) 150327 Intro utvärdering 6

Tänkbara syften Kontroll av användbarhetskrav Jämföra två alternativa designförslag Ta fram resultat för marknadsföring Ta fram idéer till förbättrad design (kan räknas till kravinsamlingsfasen) Att få ett underlag för vidare utvärdering Allmänt: Att få svar på specifika frågor 150327 Intro utvärdering 7

Resurser Ekonomiska Tidsbegränsningar Tillgänglig utrustning Användarnas tillgänglighet Tillgängliga utvärderare 150327 Intro utvärdering 8

Aktiviteter Formulera en utvärderingsstrategi Ta fram en utvärderingsplan Genomför utvärdering Analysera resultatet Tolka resultatet Uppfylls kraven? 150327 Intro utvärdering 9

Start Användbarhetskrav Strategi för utvärdering Utvärderingsplan Krav kan inte uppfyllas, se över kraven, ta fram ny strategi. Utför utvärderingssession Analys: sammanställ sammanfatta identifiera problem Ej uppfyllda Ändra design Oklart om de uppfyllts Mer testning Tolkning: orsak till problem rekommendationer dokumentera Rekommendationer har uppfyllts Klart! 150327 Intro utvärdering 10

Utvärderingstermer Analytisk utvärdering Fältstudier (in the wild studies) Formativ utvärdering Heuristisk utvärdering Kontrollerade experiment Prediktiv utvärdering Summativ utvärdering Användarlaboratorier Användarstudier Användbarhetsstudier Användbarhetstester Användartester Expertutvärdering Living labs (testplats.com) 150327 Intro utvärdering 11

Utvärderingsansatser Användbarhetstester Fältstudier Analytisk utvärdering Kombinerade ansatser Opportunistic evaluations tidigt och informellt för att se om man är på rätt spår 150327 Intro utvärdering 12

Kännetecken för ansatserna Användbarhetstest Fältstudier Analytisk Användare utföra uppgift naturliga ej involverad Plats kontrollerade natural var som helst När prototyp tidigt prototyp Data kvantitativa kvalitativa problem Feedback/ återkoppling mätdata & fel beskrivningar problem Typ tillämpad naturlig expert 150327 Intro utvärdering 13

Utvärderingsmetoder och ansatser Metod Användbarhetstest Observera x x Fältstudier Analytisk Fråga användare Fråga experter Testa Modellera x x x x x x 150327 Intro utvärdering 14

Planering i detalj Varför, vilka? Krav, omfattning Operationalisera, vad betyder bra / dåligt? Bedöm resurser, vilken version av systemet, tillgänglig tid, dataregistreringsval Pilot, värva deltagare, bestäm hjälpmedel och utrustning, kolla budget, tidsaspekter, expertresurser Vilket mål, anonymt, avbryta, ev. ersättning, medgivande att citera, erbjud rapporten till alla användare, undvik identifierande uppgifter Upprepning? Önskat resultat? Ekologisk validitet? Bias? Räckvidd? Iterera! När avbryta? Använd citat, bilder och beskrivningar av vad som händer Bias, generaliserbarhet 150327 Intro utvärdering 15

Huvudpoänger Utvärdering & design nära integrerade i användarcentrerad design. Vissa tekniker används även när man tar fram krav (observation, intervjuer & enkäter). Tre huvudansatser är: användbarhetstest, fältstudier, och analytisk utvärdering. Huvudmetoderna är: observation, fråga användare, fråga experter, användartester, inspektionsmetoder, och att modellera användarnas sätt att utföra uppgifter. Olika ansatser och metoder kombineras ofta i en studie. Triangulering innebär att man kombinerar tekniker för att kunna se olika perspektiv, eller analysera data med olika tekniker. En viktig färdighet att utveckla inför utvärdering är att hantera olika begränsningar. 150327 Intro utvärdering 16

Att diskutera Vad kan påverka antal användare man tar med? Kvalitativt eller kvantitativt vid formativ utvärdering? Exempel där ekologisk validitet är viktig? Är de etiska råd som ges i boken tillräckliga? I vilka situationer skulle det kunna behövas en granskning? Är det okej att studera det som kan studeras i offentliga sammanhang utan samtycke? Hur gör man då? Hur utvärderar man när produkten är hemlig? Vilka frågor kan man vilja besvara med utvärdering? Vilka beslut behöver tas i era utvärderingar? 150327 Intro utvärdering 17