Utvärderingsmetoder inom MDI DH2408 Kvantitativ metod Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se
Undersökningstyper Kvantitativa undersökningar karakteriseras av att man undersöker den numeriska relationen mellan två eller flera mätbara egenskaper Hur många finns det av något specifikt som först har klassificerats. De egenskaper man undersöker är eller har gjorts mätbara. Kvalitativa undersökningar karakteriseras av att man försöker nå förståelse för livsvärlden hos en individ eller en grupp individer Ett syfte är att beskriva och klassificera företeelser. Materialet man analyserar är ofta rikt och samlas in genom intervjuer eller observation.
Multimodalt grupparbetsstöd för synskadade elever Fältstudie av befintligt grupparbete gav designfokus. Ett gemensamt grupparbetsgränssnitt utv. med haptisk & visuell återkoppling. Utvärdering i fält visade på fördelar med nya arbetssättet men också ett problem. Kvalitativ videoanalys visade hur problemet yttrade sig och gav rekommendationer för hur vidare design. Interaktionsljud inkluderades i version 2 som utvärderades med ett jämförande experiment (mellangruppsdesign) som visade en sign. skillnad i tid (effektivitet).
Utvärderingsmetoder Att välja i snårskogen av metoder är inte enkelt? Gör en sökning för att hitta bra exempel på hur andra testat just den aspekt/system ni vill testa. Tid och resurser är också viktiga - det är alltid bättre att utvärdera än att låta bli
Experiment Mycket väldefinierad uppgift, hypotes finns God kontroll av störande variabler. Alltid ha en sättning att jämföra mot Mellan-gruppsdesign vs. inomgruppsdesign Nackdelen är att man ofta bara besvarar en kvantitativ fråga åt gången En kvalitativ analys av videodata kan dock ge rik information.
Jämförande utvärdering i kontext Syfte: Stödja tolkning av information i ex. röntgen och ultraljudsbilder för beslutsfattande i medicinska team. Urval: studenter Uppgift: identifiera kärlstrukturen Design: mellangrupps Kvalitativ frågeställning: Vilken effekt har haptisk återkoppling på dialogen? Kvantitativ frågeställning: Gör haptisk återkoppling att uppgifterna löses med bättre kvalitet?
Tänka-högt metodik Vad är syftet med tänka-högt? Medvetet metodval krävs. Man vill veta vad personen tänker vid en speciell handling vid en speciell tidpunkt. Om du låter två deltagare tänka högt tillsammans får man en mer naturlig dialog? Nackdelen är att tänka högt kan vara kognitivt belastande varmed problemlösningen kan påverkas, alt. att personen blir tyst när det blir svårt.
Cooperative evaluation Bra metod för utvärdering av prototyper p.g.a. man kan ha en interaktion mellan designteamet och användaren. 5 användare räcker enligt Monk för mättnad Fördelen är att användaren kan ges stöd att klara alla uppgifter och man får deras synpunkter på vad som var svårigheterna i olika lägen. Nackdelen är att alla kvantitativa mått blir i princip oanvändbara då man hjälpt och påverkat användaren.
Wizard of Oz Utvärdering av delvis färdig prototyp Någon i testteamet tar datorns roll ofta någon funktion som man är osäker på hur den skall designas eller för att skapa ett intelligent system. Mycket användbart för ex. test av talstyrda system Full kontroll över vad användaren gör och vilka promtar som ges från systemet Etikfråga: skall man avslöja att det sitter en människa bakom ratten?
Typex. Användbarhets utvärdering 1. Urvalsenkät - Delas ut vid rekrytering eller innan test - Efter test analyseras resultatet i relation till bakgrundsvariablerna - Extremvärden kan ibland förklaras av ex. olika ålder eller vana vid att använda det testade systemet Är en intressant användbarhetsaspekt i sig
Typex. Användbarhets utvärdering 2. Information & samtycke - Försöksledaren ger information om testet, syfte, tid & delmoment - Information om etiska Principer som följs vid testet - Ev. krävs samtyckesformulär
Typex. användbarhetsutvärdering 3. Ev. utförs ett test på försöksdeltagarens förmåga i något avseende innan utvärderingen. Ex. spatial el. verbal förmåga, djupseende 4. Ev. tränar först försöksdeltagaren på att använda någon del i systemet innan testuppgiften delas ut. 5. Individer el. små grupper utför ett antal uppgifter som täcker ett antal funktioner. Varje uppgift ges till deltagarna en och en på var sitt papper och läses även upp.
Utformning av testmaterial Uppgift inte samma sak som aktivitet! Materialet måste testas. Test på er själva, sen kompisar, sen gör ni piloter. Tänk på språket: Ställer du en eller flera frågor med samma mening? Flertydighet? Artefakten testas inte deltagaren. Meddela det samt fundera över hur detta påverkar utformningen av testmaterialet.
Typex. användbarhetsutvärdering 6. Allt som sker dokumenteras med videokameror el. loggas för senare analys. 7. Försöksdeltagaren fyller i ett formulär som mäter t.ex. tillfredsställelse. Detta formulär kan fyllas i flera ggr beroende på design. 8. Försöksdeltagaren intervjuas efter utvärderingen om tid finns el. som alternativ till formulär. 9. Försöksledaren tackar för deltagandet, ger avslutande information till försöksdeltagaren och svarar på frågor om utvärderingen.
Problemspecificering Tumregler: 1. Formulera problemet som en fråga. 2. Uttryck problemet som en relation mellan två eller flera begrepp (variabler). 3. Gör begreppen klara och entydiga (väldefinierade). 4. Formulera problemet så att de går att undersöka eller t.o.m mäta (operationalisering).
Uppfyller frågeställningen följande krav? Är målgruppen specificerad? Är kontexten d.v.s. situationen specificerad? Är frågeställningen av en rimlig omfattning? Är frågeställningen för allmänt hållen, är den tillräckligt specifik? Är det en känslig frågeställning? Är det realistiskt att undersöka detta, få tag på deltagare, resursåtgång?
Frågeställning Utvärdering i fält: Hur påverkar haptisk återkoppling grupparbete i skolan mellan synskadade och seende barn då de ska lösa uppgifter i ämnet geometri? Experiment i labb: Gör ljudåterkoppling att människor som inte ser kan samarbeta snabbare än utan ett sådant med människor som ser i ett haptiskt och visuellt gränssnitt? H1: Ljudåterkoppling gör att uppgifter löses snabbare av seende och icke seende människor i ett haptiskt och visuellt gränssnitt.
Urval Populationen! Urval! De man studerar är oftast ett mer eller mindre representativt urval ur en population (alla i en grupp, ex. hela landets befolkning).
Sannolikhetsurval Vid experiment är slumpmässigt urval ett krav. Slumpmässigt urval Man har en förteckning på alla människor som ingår i populationen + förteckningar med slumpmässiga siffror, man väljer sedan de personer som motsvarar siffran. Man kan också dra ihopvikta lappar med namn ur en hatt Slumpmässigt stratifierat urval Först delar man upp populationen i strata (ålders/inkomts/yrkesgrupper), sedan gör man ett slumpmässigt urval ur varje strata Klusterurval Först delar man upp populationen i kluster (städer, skolor, sjukhus) och sedan tar man ett kluster som man tror är representativt för hela populationen. Systematiskt urval Man väljer ett urvalsintervall tex var tionde person. Sedan väljer man var tionde person från listan av alla människor som ingår i populationen
Icke sannolikhetsurval Om man inte har resurser eller praktiska möjligheter att göra ett urval ur hela populationen. Vid kvasi-experiment eller test. Bekvämlighets-/ tillfällighetsurval Man väljer första bästa. Snöbollsurval Man får en kontakt som ger nya kontakter. Kvoturval/proportionellt stratifierat Man delar först upp populationen i strata, sedan gör man ett bekvämlighetsurval inom varje strata. Subjektivt / ändamålsenligt Man överger kravet på representativitet och väljer en speciell strategi tex så många olika människor som möjligt eller en känd grupp användare.
Urvalsstorlek! Större urval ger större precision, minst 5 personer i varje cell. Absoluta storleken på urvalet är avgörande, inte andelen av populationen. Många klassificeringar/variabler kräver större antal. Uppskatta bortfallet. Uppskatta hur mycket resurser projektet har. Bra princip: enkelhet
Rekrytera deltagare! Utforma ett frågeformulär för att få rätt urval av deltagare. Utgå ifrån målgruppens profil när frågorna formuleras. Börja rekrytera deltagare tidigt. Formulera ett informationsblad som ni kan ge till deltagare när ni frågar dem om de vill medverka. Kortfattat syfte, tidsåtgång, plats, etiska hänssynstaganden.
Experiment innebär att - man formulerar hypoteser om orsakssamband. - man aktivt påverkar/manipulerar den oberoende variabeln. - man har en kontrollgrupp som jämförs med en experimentgrupp. - fördelningen mellan experimentgrupp och kontrollgrupp är slumpmässigt gjord från urvalet så att grupperna blir likvärdiga. - man har operationaliserat en el. flera beroende variabler. - noggrann mätning görs av beroende variabler. - man kontrollerar störande variabler.
andra typer av undersökningar är Kvasiexperiment - Inte slumpmässig fördelning från urvalet vilket ger icke likvärdiga grupper, bekvämlighetsurval. Ex. Jämförande användbarhetsutvärdering Icke experimentella studier - Ingen manipulering av oberoende variabeln sker. - Individer iakttas endast Ex. Utvärdering av endast en version av ett gränssnitt Korrelationsundersökning Etnografisk studie Intervjustudie
Design av experiment/kvasiexperiment Vi kan välja mellan två upplägg för att beskriva den experimentella/kvasiexperimentella designen : Mellangruppsdesign Inomgruppsdesign
Design av experiment/kvasiexperiment Mellangrupp: Vi använder en ny grupp försökspersoner för varje värde på den oberoende variabeln (= behandling). Grupp Version 1 Version 2 A x B x Inomgrupp: Vi använder samma försökspersoner för varje värde på den oberoende variabeln. Grupp Version 1 Version 2 A x x
Design av experiment/kvasiexperiment Ett mellangruppsexperiment kräver dels fler deltagare än ett inomgruppsexperiment. Man kan gärna matchar grupperna mot varandra så att deltagarna har så lika egenskaper som möjligt. Annars får man lita på representativiteten. Fördelen är att vi kan eliminera inlärningseffekter, där erfarenheten från en behandling påverkar resultaten av en annan behandling. Ex. med ikoner: Efter att ha sett ikonerna upprepade gånger känner fp igen formerna och identifierar ikonerna utan hänsyn till färgegenskaperna.
Design av experiment/kvasiexperiment I ett inomgruppsexperiment försöker vi minimera inlärningseffekter genom att låta olika personer utsättas för behandlingarna i olika ordning. Uppgifterna kan inte vara sådana att deltagarna tycker att de redan utfört dem en gång. Lämpligast med väldigt enkla, eller väldigt likvärdiga uppgifter. Klurigt! Vi väljer slumpmässigt vilka av försökspersonerna som ska få genomgå experimentet i vilken ordning. Varför slumpar vi?
Design av experiment/kvasiexperiment Inlärningseffekter är tydliga också inom en behandling även vid mellangruppsdesign. försökspersonerna lär sig under experimentets gång. Olika inlärningstakt ger olika effekt. Man bör försöka minimera detta genom att t ex ha en övningssession först där försökspersonerna får träna upp sig till en förbestämd skicklighetsnivå.
Samarbete i haptiska gränssnitt Mellangruppsdesign Inomgruppsdesign Think aloud 2 deltagare Sallnäs, Rassmus-Gröhn, & Sjöström Moen, Sallnäs, Zhai Flyg, Eklundh, Bjerstedt-Blom, Sallnäs Grundläggande studier om haptikens effekter på samarbete. Haptisk återkoppling gör att seende människor utför uppgifter med högre precision och i vissa fall snabbare. De upplever att de presterar bättre, att deras närvaro i den medierade miljön ökar samt i vissa fall att den sociala närvarokänslan ökar.
mellangruppsdesign Medicinska tillämpningar Det går inte att visa bilden. Det finns inte tillräckligt med ledigt minne för att kunna öppna bilden eller så är bilden skadad. Starta om datorn och öppna sedan filen igen. Om det röda X:et fortfarande visas måste du kanske ta bort bilden och sedan infoga den igen. inomgruppsdesign Att undersöka haptikens möjligheter i professionella kontexter. Experiment på Karolinska institutet visar att haptisk återkoppling gör att radiologer kan rita in cancertumörer som ska strålbehandlas sign. snabbare. Mycket viktigt att utföra en behovsanalys & iterativa användbarhetsutvärderingar när en medicinsk simulator utvecklas. Experiment utförs nu på Karolinska institutet för att undersöka effekten av simulatorträning på förmågan att operera på patient
Öka kvasi-experimentets känslighet Vi vill att vårt experiment ska vara så känsligt som möjligt; - detta gör vi genom att mäta under förhållanden som kan antas maximera utslaget i den beroende variabeln/måttet - minimera oönskade variationer mellan försökspersonerna - och använda så många försökspersoner som möjligt.
Design av experiment/kvasiexperiment När vi genomför experimentet kontrollerar vi alla variabler vi kan, vi minimerar utomstående störningar, vi ser till att alla har likvärdig belysning, sitter bekvämt etc. Vi förklarar uppgifterna från ett förberett manus så att vi vet att alla försökspersoner har fått samma instruktioner.
Design av experiment/kvasiexperiment Vi kan mycket väl introducera egna störningar, om detta är en av våra oberoende variabler. Men de ska då naturligtvis vara lika för varje försöksperson. Om störningar förekommer i miljön ska dessa också förekomma vid samtliga tillfällen.
Utanförliggande variabler confounding variables Det kan vara så att det föreligger en systematisk skillnad som vi inte har mätt mellan grupperna och att det är denna skillnad istället för vår oberoende variabel som orsakar utslaget i beroende variabel.
Confounding variables Yttre Inre Skillnader i testmiljön påverkar Testadministratör Testlokalen Olika årstid vid test Deltagare i studien försvinner, byter jobb osv Händelser i samhället, flygolyckor osv Ålder, kön, utbildning
Kontrollera inre confounding variables Homogen fördelning variabeln hålls konstant ex. alla samma ålder Blockning utanförliggande variabeln som oberoende variabel ex. tar med ålder som variabel i analysen Matchning man ser till att fp liknar varandra parvis i grupperna ex. ålder kön kognitiv förmåga Upprepad mätning undersöka samma individ flera gånger, inomgruppsdesign
Giltighet Att mätverktyget som används verkligen ger data/är ett mått på den egenskap vi vill mäta ex. intelligens, tillfredsställelse, precision, närvarokänsla Validitet i hur hög grad ett mått ger data som överensstämmer med den gemensamt accepterade innebörden av begreppet. 1. Face validity den bedömning som experter gör om ett test verkar mäta ett begrepp eller en variabel. 2. Criterion-related validity baseras på om ett externt kriterium som studieresultat samvarierar med resultatet på högskoleprovet
Giltighet Att mätverktyget som används verkligen ger data/är ett mått på den egenskap vi vill mäta 3. Content validity I hur hög grad ett mått täcker hela fenomenet. 4. Construct validity Om alla variabler i ett konstrukt/frågeformulär mäter samma variabel.
Pålitlighet Att man får samma resultat varje gång mätverktyget används. Reliabilitet slumpmässiga fel (osäkerhet i metodiken) ger dålig precision. Ex. automatisk loggning Interbedömarreliabilitet samstämmighet i flera personer bedömningar. God reliabilitet men dålig validitet ger felaktiga slutsatser vilket är farligare än god validitet men dålig reliabilitet
Datainsamling Förenklat kan vi säga att de kvantitativa data vi samlar in är antingen prestationsdata som tid och precision eller attityddata för att mäta dimensionen tillfredsställelse (se sid 105 i J.R. för exempel). Beroende på resurstillgång kan prestationsdata samlas in samtidigt som utvärderingen pågår eller genom att analysera videoinspelat material efteråt. Program kan användas som loggar prestationsdata automatiskt och en sammanställning kan fås direkt efter testet. Deltagarna kan själva generera attityddata under testet om ett webbfrågeformulär integrerats i testversionen.
Exempel: färglagda ikoner Ofta mäter vi andra variabler än de vi egentligen är ute efter, eftersom de inte är lätta att mäta. Hur lättlärt är gränssnittet? blir Hur snabbt kan man lära sig utföra uppgiften x?
Typer av kvantitativa data Skaltyper Nominalskala: Ordinalskala: Intervallskala: antal i olika kategorier, ex man el. kvinna. + kategorierna rangordnade, ex, barn, ungdom, äldre, 5 gradig Likertskala, betyg. + avståndet mellan kategorierna är känt, ex. 20 C, 100 C Kvotskala: + nollpunkt, ex 20 år 10 år = 2 Diskreta data: ex. antal barn, måste vara hela barn Kontinuerliga data: ex. längd; forskaren konstruerar kategorier. Exaktheten i vad som mäter 1 mm kan finslipas i all oändlighet
Att utforma frågeformulär Långa formulär avskräcker - Ställ bara nödvändiga frågor Snygg layout, luftigt Gärna enkelsidigt Testa formuleringarnas begriplighet Tydlig och tillräcklig plats för svaren Instruktioner om hur formuläret ska besvaras
Olika typer av frågor FASTA Förutbestämda svarskategorier Enkelt att svara men få nyanser, frustrerande för deltagaren Enhetlig form, lätt att analysera Ger kvantitativa data Man kan skapa ett frågebatteri som mäter en sak. ÖPPNA Respondenter formulerar själv ett rikt svar Mer ansträngande för deltagaren att besvara Mer tidsödande kodning & analys Ger kvalitativ data. som kan kvantifieras genom kategorisering
Att formulera frågorna Klara och korta frågor Förklara vid behov: Nu kommer frågor om Ej tvetydiga formuleringar som kan missförstås Ge tillräckligt många svarsalternativ, inte jämnt antal svarsalternativ Frågor lämpade för målgruppen Ämnet ska vara relevant för målgruppen Ej frågor som avslöjar intervjuarens värderingar. Ej ledande frågor -Tänk på att frågor påverkar varandra, ordningen spelar roll
Att formulera frågor Aldrig två frågor i en fråga Ex. vad tycker du om tentor och hemtentor? Ej hypotetiska frågor Ex. vad skulle du göra om du vann en miljon? Inte överlappande frågor Undvik frågor som lätt besvaras med ja eller nej Ex. tycker du om glass? Undvik allt fikonspråk Ex. tycker du att interaktionen med datorn var intuitiv? Lagom många frågor för tillgänglig tid samt anpassat till intervjuform Inte känsliga frågor utan välgrundad anledning Inte frågor som inte handlar om uppgett frågeområde
Ett antal beslut måste fattas gällande Designen av studien Den totala tiden bör ej överskrida en timme, vad ska man prioritera? Jämförande utvärdering el. ej? Icke jämförande är ofta mer kvalitativ el. så får man ha kriterier att jämföra mot. Ex. naiva användare ska klara 75% av uppgifterna vid första försöket och experter ska klara 95%. Om jämförande, passar inomgrupps el. eller mellangruppsdesign. Antal fp. Kommer uppgifterna att ha en kognitiv komponent, inlärningseffekt, uttråkningseffekt? Slumpad ordning av uppgifter. Inledande träning. Vad är analysenheten för de olika måtten, individer eller par som samarbetar (n)?
Ett antal beslut måste fattas gällande Operationaliseringen av användbarhetskriterierna Tiden det tar att utföra varje uppgift. Ska man ha maxtid el ej? Hur många uppgifter man klarar på en viss tid, ex. repetetiva uppg. När börjar man då mäta tiden? Antal klarade uppgifter. Ska man ha maxtid el ej? Bestäm vad klarad uppgift innebär. Felfrekvens. Antal fel vid utförande av uppgift. Vad är ej klarad uppgift? Optimal väg. Vad är det optimala utförandet? Bestäm detta i förväg. Kan kvalitet i utförandet av tex ett grupparbete kvantifieras? Ex. lärmiljöer.
Ett antal beslut måste fattas gällande Apparaturen och dokumentationen Är alla delar av systemet utvecklat el. måste någon del simuleras och i så fall hur? Woz, pappersmodell. Vad ska spelas in på video för att ni ska kunna göra er analys? Flera vyer, synkning av dessa vyer. Skärmdump kan göras under hela testet med exempelvis Snapz X Pro. Manual finns på kurshemsidan under länken Föreläsningar> Demonstration av användbarhetslabb och projektworkshop Bör ni logga något av användarens beteende i systemet för automatiserad analys? Ni måste ev. utveckla loggningssystemet själva. Om ni har par som samarbetar på distans hur ska ni dokumentera det? Synkad dialog är viktigt. Det är viktigt att kunna urskilja vem som gör säger vad. el.
Ofta mix av kvalitativa/kvantitativa data Kvalitativa data - Tal från tala högt metod - Dialog från cooperative evaluation - Intervju - Beteende vid användande av gränssnitt - Svar på öppna frågor i formulär - Resultat från utförda uppgifter (lärmiljöer) Kvantitativa data - Tid - Felfrekvens - Avvikelse från optimal väg - Svar på strukturerade frågor i formulär - Loggat beteende - Kvantifierade kvalitativa data
Nästa deadline Bestäm vilka användbarhetskriterier som är intressanta i ert fall. Vad motsvarar de för mätbara variabler? Bestäm er för en utvärderingsmetod att använda. Läs in er på hur den fungerar, utgå från kurslitteraturen och komplettera med material från biblioteket, minst en relevant vetenskaplig artikel eller en annan bok. Beskriv följande, 1 A4: - artefakt/system ni valt - er utvärderingsmetod - de mått på användbarhet ni ska använda - vilka som ingår i gruppen Skicka till Elina Eriksson (elina@kth.se) senast 4 nov. för att få detta godkänt samt för att få återkoppling.
Utvärderingsmetoder inom MDI DH2408 Kvantitativ metod Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se