Utvärderingsmetoder inom MDI

Utvärderingsmetoder inom MDI Kvantitativ metod och analys Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Undersökningstyper Kvantitativa undersökningar karakteriseras av att man undersöker den numeriska relationen mellan två eller flera mätbara egenskaper Hur många finns det av något specifikt som först har klassificerats. De egenskaper man undersöker är eller har gjorts mätbara. Kvalitativa undersökningar karakteriseras av att man försöker nå förståelse för livsvärlden hos en individ eller en grupp individer Ett syfte är att beskriva och klassificera företeelser. Materialet man analyserar är ofta rikt och samlas in genom intervjuer eller observation. 1

Multimodalt grupparbetsstöd för synskadade elever Fältstudie av befintligt grupparbete gav designfokus. Ett gemensamt grupparbetsgränssnitt utv. med haptisk & visuell återkoppling. Utvärdering i fält visade på fördelar med nya arbetssättet men också ett problem. Kvalitativ videoanalys visade hur problemet yttrade sig och gav rekommendationer för hur vidare design. Interaktionsljud inkluderades i version 2 som utvärderades med ett jämförande experiment (mellangruppsdesign) som visade en sign. skillnad i tid (effektivitet). Problemspecificering Tumregler: 1. Formulera problemet som en fråga. 2. Uttryck problemet som en relation mellan två eller flera begrepp (variabler). 3. Gör begreppen klara och entydiga (väldefinierade). 4. Formulera problemet så att de går att undersöka eller t.o.m mäta (operationalisering). 2

Uppfyller frågeställningen följande krav? Är målgruppen specificerad? Är kontexten d.v.s. situationen specificerad? Är frågeställningen av en rimlig omfattning? Är frågeställningen för allmänt hållen, är den tillräckligt specifik? Är det en känslig frågeställning? Är det realistiskt att undersöka detta, få tag på deltagare, resursåtgång? Frågeställning Utvärdering i fält: Ger haptisk återkoppling mer inkluderande grupparbete i skolan mellan synskadade och seende barn när de ska lösa uppgifter i ämnet geometri? Experiment i labb: Gör ljudåterkoppling att människor som inte ser kan samarbeta snabbare i ett haptiskt och visuellt gränssnitt än utan ett sådant med seende människor? H1: Ljudåterkoppling gör att uppgifter löses snabbare av seende och icke seende människor som samarbetar i ett haptiskt och visuellt gränssnitt. 3

Testmaterial Frågeformulär för urval av deltagare Information till testdeltagare Samtyckesformulär Frågeformulär för att få bakgrundsinformation om deltagare Procedur, beskrivning av alla steg i testet i ordningsföljd Datainsamlingsguider, loggningsverktyg Lista på allt material som behövs under testet inkl. dokumentation Ev. formulerade träningsuppgifter Formulerade testuppgifter Frågeformulär efter testet för att undersöka tillfredsställelsedimensionen Intervjuguide inför intervju efter testet, Dessa ska bifogas planen för er utvärdering Urval Populationen Urval De man studerar är oftast ett mer eller mindre representativt urval ur en population (alla i en grupp, ex. hela landets befolkning). 4

Sannolikhetsurval Vid experiment är slumpmässigt urval ett krav. Slumpmässigt urval Man har en förteckning på alla människor som ingår i populationen + förteckningar med slumpmässiga siffror, man väljer sedan de personer som motsvarar siffran. Man kan också dra ihopvikta lappar med namn ur en hatt (om populationen är liten). Slumpmässigt stratifierat urval Först delar man upp populationen i strata (ålders/inkomts/yrkesgrupper), sedan gör man ett slumpmässigt urval ur varje strata. Klusterurval Först delar man upp populationen i kluster (städer, skolor, sjukhus) och sedan tar man ett kluster som man tror är representativt för hela populationen och gör ett slumpmässigt urval. Systematiskt urval Man väljer ett urvalsintervall tex var tionde person. Sedan väljer man var tionde person från listan av alla människor som ingår i populationen. Icke sannolikhetsurval Om man inte har resurser eller praktiska möjligheter att göra ett urval ur hela populationen. Vid kvasi-experiment eller test. Bekvämlighets-/ tillfällighetsurval Man väljer första bästa. Snöbollsurval Man får en kontakt som ger nya kontakter. Kvoturval/proportionellt stratifierat Man delar först upp populationen i strata, sedan gör man ett bekvämlighetsurval inom varje strata. Subjektivt / ändamålsenligt Man överger kravet på representativitet och väljer en speciell strategi tex så många olika människor som möjligt eller en känd grupp användare. 5

Urvalsstorlek Större urval ger större precision, minst 5 personer i varje cell. Absoluta storleken på urvalet är avgörande, inte andelen av populationen. Många klassificeringar/variabler kräver större antal. Uppskatta bortfallet. Uppskatta hur mycket resurser projektet har. Bra princip: enkelhet Rekrytera deltagare Utforma ett frågeformulär för att få rätt urval av deltagare. Utgå ifrån målgruppens profil när frågorna formuleras. Börja rekrytera deltagare tidigt. Formulera ett informationsblad som ni kan ge till deltagare när ni frågar dem om de vill medverka. Kortfattat syfte, tidsåtgång, plats, etiska hänssynstaganden. 6

Experiment innebär att - man formulerar hypoteser om orsakssamband. - man aktivt påverkar/manipulerar den oberoende variabeln. - man har en kontrollgrupp som jämförs med en experimentgrupp. -fördelningen mellan experimentgrupp och kontrollgrupp är slumpmässigt gjord från urvalet så att grupperna blir likvärdiga. -man har operationaliserat en el. flera beroende variabler. -noggrann mätning görs av beroende variabler. -man kontrollerar störande variabler. andra typer av undersökningar är Kvasiexperiment - Inte slumpmässig fördelning från urvalet vilket ger icke likvärdiga grupper, bekvämlighetsurval. Ex. Jämförande användbarhetsutvärdering Icke experimentella studier - Ingen manipulering av oberoende variabeln sker. Ex. - Individer iakttas endast ex. korrelationsundersökning. Utvärdering av endast en version av ett gränssnitt Korrelationsundersökning Etnografisk studie Intervjustudie 7

Design av experiment/kvasiexperiment Vi kan välja mellan två vanliga upplägg för att beskriva den experimentella/kvasiexperimentella designen : Mellangruppsdesign Inomgruppsdesign Design av experiment/kvasiexperiment Mellangrupp: Vi använder en ny grupp försökspersoner för varje värde på den oberoende variabeln (= behandling). Grupp A B Behandling 1 Inomgrupp: Vi använder samma försökspersoner för varje värde på den oberoende variabeln. x Behandling 2 x Grupp A Behandling 1 x Behandling 2 x 8

Design av experiment/kvasiexperiment Ett mellangruppsexperiment kräver dels fler försöksdeltagare än ett inomgrupps-experiment. Det kan vara bra att matcha grupperna mot varandra så att deltagarna har så lika egenskaper som möjligt (ålder, utbildning ). Fördelen är att vi kan eliminera inlärningseffekter, där erfarenheten från en behandling påverkar resultaten av en annan behandling. Ex. med ikoner: Efter att ha sett ikonerna upprepade gånger känner försöksdeltagarna igen formerna och identifierar ikonerna utan hänsyn till färgegenskaperna. Design av experiment/kvasiexperiment I ett inomgruppsexperiment försöker vi minimera inlärningseffekter genom att låta olika personer utsättas för behandlingarna i olika ordning. Vi väljer slumpmässigt vilka av försökspersonerna som ska få genomgå experimentet i vilken ordning. Varför slumpar vi? 9

Design av experiment/kvasiexperiment Inlärningseffekter är viktiga också inom en behandling försökspersonerna lär sig under experimentets gång. Olika inlärningstakt ger olika effekt. Man bör försöka minimera detta genom att t ex ha en övningssession först där försökspersonerna får träna upp sig till en förbestämd skicklighetsnivå. Ha alltid en övningsession innan varje behandling. Samarbete i haptiska gränssnitt Sallnäs, Rassmus-Gröhn, & Sjöström Moen, Sallnäs, Zhai Flyg, Eklundh, Bjerstedt-Blom, Sallnäs Grundläggande studier om haptikens effekter på samarbete. Haptisk återkoppling gör att seende människor utför uppgifter med högre precision och i vissa fall snabbare. De upplever att de presterar bättre, att deras närvaro i den medierade miljön ökar samt i vissa fall att den sociala närvarokänslan ökar. 10

Medicinska tillämpningar Anderlind, Sallnäs, Jää-Aro, Noz, Lind Johansson, Sallnäs, Noz, Lind, Elgh Forsslund, Sallnäs, Lundin, SenseGraphics, KS Att undersöka haptikens möjligheter i professionella kontexter. Experiment visar att haptisk återkoppling gör inritning av cancertumörer som ska strålbehandlas effektivare om den grafiska bilden är optimerad. Men om MRI-bild används som ej optimerats så är vanlig datormus mer effektivt än haptiskt pekdon. Mycket viktigt att utföra en behovsanalys när en simulator utvecklas som ska användas för att träna medicinska procedurer som ex. visdomstandskirurgi. Öka kvasi-experimentets känslighet Vi vill att vårt experiment ska vara så känsligt som möjligt; - detta gör vi genom att mäta under förhållanden som kan antas maximera utslaget i den beroende variabeln - minimera oönskade variationer mellan försökspersonerna, mellan hur experimentet leds vid olika tillfällen och hur miljön är (buller osv ) - och använda så många försökspersoner som möjligt för att få en normalfördelning d.v.s. att ev. skillnader jämnar ut sig. 11

Design av experiment/kvasiexperiment När vi genomför experimentet kontrollerar vi alla variabler vi kan, vi minimerar utomstående störningar, vi ser till att alla har likvärdig belysning, sitter bekvämt etc. Vi förklarar uppgifterna från ett förberett manus så att vi vet att alla försökspersoner har fått samma instruktioner. Design av experiment/kvasiexperiment Vi kan mycket väl introducera egna störningar, om detta är en av våra oberoende variabler. Men de ska då naturligtvis vara så lika som möjligt för varje försöksperson. Om störningar förekommer i miljön ska dessa också förekomma vid samtliga tillfällen. 12

Utanförliggande variabler confounding variables Det kan vara så att det föreligger en systematisk skillnad som vi inte har mätt mellan grupperna och att det är denna skillnad istället för vår oberoende variabel som orsakar utslaget i beroende variabel. Confounding variables Yttre Inre Skillnader i testmiljön påverkar Testadministratör Testlokalen Olika årstid vid test Deltagare i studien försvinner, byter jobb osv Händelser i samhället, flygolyckor osv Ålder, kön, utbildning 13

Kontrollera inre confounding variables Homogen fördelning variabeln hålls konstant ex. alla samma ålder Blockning utanförliggande variabeln som oberoende variabel ex. tar med ålder som variabel i analysen Matchning man ser till att fp liknar varandra parvis i grupperna ex. ålder kön kognitiv förmåga Upprepad mätning undersöka samma individ flera gånger, inomgruppsdesign Datainsamling Förenklat kan vi säga att de kvantitativa data vi samlar in är antingen prestationsdata som tid och precision eller attityddata för att mäta dimensionen tillfredsställelse (se sid 105 i J.R. för exempel) i enlighet med ISO 9241. Beroende på resurstillgång kan prestationsdata samlas in samtidigt som utvärderingen pågår eller genom att analysera videoinspelat material efteråt. Program kan användas som loggar prestationsdata automatiskt och en sammanställning kan fås direkt efter testet. Deltagarna kan själva generera attityddata under testet om ett webbfrågeformulär integrerats i testversionen. 14

Exempel: färglagda ikoner Ofta mäter vi andra variabler än de vi egentligen är ute efter, eftersom de inte är lätta att mäta. Hur lättlärt är gränssnittet? blir Hur snabbt kan man lära sig utföra uppgiften x om man gör den flera gånger? Ex. Efter hur många träningstillfällen uppnår en tandläkarstudent samma prestation i en simulator som en oralkirurg? mått: mängd bortborrade pixlar, tid, antal felaktigt bortborrade pixlar Typer av kvantitativa data Skaltyper Nominalskala: Ordinalskala: Intervallskala: antal i olika kategorier, ex man el. kvinna. + kategorierna rangordnade, ex, barn, ungdom, äldre, 5 gradig Likertskala, betyg. + avståndet mellan kategorierna är känt, ex. 20 C, 100 C eller Borgs RPE-skala för upplevd ansträngning. Kvotskala: + nollpunkt, ex 20 år 10 år = 2 Diskreta data: ex. antal barn, måste vara hela barn Kontinuerliga data: ex. längd; forskaren konstruerar kategorier 15

Att utforma frågeformulär Långa formulär avskräcker - Ställ bara nödvändiga frågor Snygg layout, luftigt Gärna enkelsidigt VIKTIGT! Testa formuleringarnas begriplighet innan Tydlig och tillräcklig plats för svaren Instruktioner om hur formuläret ska besvaras Olika typer av frågor FASTA Förutbestämda svarskategorier Enkelt att svara men få nyanser, frustrerande för deltagaren Enhetlig form, lätt att analysera Ger kvantitativa data ÖPPNA Respondenter formulerar själv ett rikt svar Mer ansträngande för deltagaren att besvara Mer tidsödande kodning & analys Ger kvalitativ data. som kan kvantifieras genom kategorisering 16

Att formulera frågor Aldrig två frågor i en fråga Ex. vad tycker du om tentor och hemtentor? Ej hypotetiska frågor Ex. vad skulle du göra om du vann en miljon? - frågor om framtidens tekniska lösningar är nästan hypotetiska. Inte överlappande frågor Undvik frågor som lätt besvaras med ja eller nej Ex. tycker du om glass? Undvik allt fikonspråk Ex. tycker du att interaktionen med datorn var intuitiv? Lagom många frågor för tillgänglig tid samt anpassat till intervjuform Inte känsliga frågor utan välgrundad anledning Inte frågor som inte handlar om uppgett frågeområde Att formulera frågor Klara och korta frågor Förklara vid behov: Nu kommer frågor om Ej tvetydiga formuleringar som kan missförstås Ge tillräckligt många svarsalternativ, inte jämnt antal svarsalternativ Frågor lämpade för målgruppen Ämnet ska vara relevant för målgruppen Ej frågor som avslöjar intervjuarens värderingar. Ej ledande frågor -Tänk på att frågor påverkar varandra, ordningen spelar roll 17

Kvantitativ analys Vi utsätter vårt material för statistisk analys med avsikten att identifiera icke-slumpmässiga variationer mellan olika grupper som utsatts för olika behandling. Det finns naturliga skillnader inom en grupp, men frågan är om skillnaden mellan grupperna är större än dessa (slumpen) pga behandlingen? Sammanställa data (se kap. 10 + sid. 105 i J.R. ) Data från frågeformulär - Beräkna medelvärden av alla deltagares svar. - Alla svar på alla frågor som mäter samma dimension kan summeras för varje deltagare varefter medelvärdet beräknas. Prestationsdata -Beräkna tiden det tagit att göra varje uppgift, delmoment i uppgifterna eller summera tiden alla uppgifter tagit att utföra för varje deltagare. Beräkna sedan medelvärden. - Räkna klarade uppgifter inom maxtid, klarade delmoment utan problem eller avvikelser från optimal väg för varje uppgift. Beräkna % för presentation men medelvärden krävs för statistisk analys. 18

Giltighet/validitet Att operationen som används verkligen är ett mått på den egenskap vi vill mäta. Validitet i hur hög grad ett mått ger data som överensstämmer med den gemensamt accepterade innebörden av begreppet. Är människor som har högt IQ intelligentare? Hur mäter man hur kreativ någon är? Giltighet 1. Face validity den bedömning som experter gör om ett test verkar mäta ett begrepp eller en variabel. 2. Criterion-related validity baseras på om ett externt kriterium som studieresultat samvarierar med resultatet på högskoleprovet 3. Content validity I hur hög grad ett mått täcker hela fenomenet. 4. Construct validity Om alla variabler i ett konstrukt mäter samma variabel. 19

Pålitlighet Att man får samma resultat varje gång operationaliseringen används. Samma höga exakthet i mätningen varje gång. Reliabilitet slumpmässiga fel (osäkerhet i metodiken) ger dålig precision. - Ex. okalibrerade mätinstrument, dåligt definierade bedömningskriterier eller dålig kvalitet på videoinspelning. Interbedömarreliabilitet samstämmighet i flera personer bedömningar. God reliabilitet men dålig validitet ger felaktiga slutsatser vilket är farligare än god validitet men dålig reliabilitet Beskrivande statistik Var ligger mittpunkten? Medelvärde För värden på intervall och kvotskalenivå Påverkas av extremvärden Medelvärdet = 1 + 4 + 7 + 11 + 12 + 17 + 17 + 47 8 Medelvärdet = 14.5 20

Beskrivande statistik Median För värden på ordinal, intervall och kvotskalenivå Extremvärden påverkar ej Ej vidare beräkningar möjliga 1 4 7 11 12 17 17 47 Medianen = 11.5 Beskrivande statistik Hur stor är spridningen? Standardavvikelsen Spridning i relation till medelvärdet På intervall- och kvotskalenivå Det vanligaste måttet på spridningen (variationen, variabiliteten) i ett statistiskt material eller i en fördelning. I standardavvikelsen används alla värden inte bara det högsta och det lägsta för att beräkna värdenas generella avvikelse från medelvärdet Grundformeln för standardavvikelsen för ett statistiskt material finns i boken (Kan göras i Microsoft Excel) 21

Hypotesprövning Att vi har ett resultat med signifikansnivån p, betyder att sannolikheten är högst p att vårt resultat är inkorrekt d.v.s. beror på slump. Forskningshypotesen: att det finns ett samband Nollhypotesen: att det inte finns ett samband H1 H0 Sannolikheten för att ett uppfattat samband är en ren tillfällighet = signifikansnivå = p Om p < 0,05 = sambandet statistiskt signifikant Test av signifikans Gör en bortfallsanalys och planera åtgärder Kontrollera om data är normalfördelade Enklast är att göra en frekvenstabell Kontrollera för extremvärden 22

Test av signifikans T-test Kräver intervall eller kvotskalenivå. Hypotestestar om det finns skillnad mellan två grupper. Fungerar för små urval. Måste inte vara lika många i varje cell. Data bör vara normalfördelad. Mann-Withneys U-test Kan användas för data på ordinalskalenivå. ANOVA (analysis of variance) parametriskt test En envägs variansanalys för oberoende mätningar d.v.s. mellangruppsdesign kallas i SPSS one-way ANOVA. Envägs variansanalys innebär att man mäter effekter av olika nivåer av en viss variabel (oberoende variabeln) på en annan variabel (beroende variabeln). Hypotesprövar om grupper skiljer sig åt gällande en variabel. Data på minst intervallskalenivå krävs. Exempel på sådan data från utvärderingar är tid, felfrekvens vid utförandet av en uppgift eller antal klarade uppgifter. 23

ANOVA (analysis of variance) parametriskt test En envägs variansanalys för beroende mätningar d.v.s. inomgruppsdesign kallas i SPSS Repeated measures. Generellt sett är ett test för beroende mätningar mer känsligt då man slipper individuella skillnader. Även här hypotesprövas om grupper skiljer sig åt gällande en variabel och minst intervallskalenivå krävs. Exempel på lämplig data från utvärderingar är även här tid, felfrekvens vid utförandet av en uppgift eller antal klarade uppgifter. Icke-parametriskt test Icke-parametriska test ställer inga krav på normalfördelning. Vissa kan hantera t.o.m. nominalskalor. För en del behöver inte grupperna vara lika stora. Priset vi får betala är en lägre signifikansnivå i våra resultat. 24

Icke-parametriskt test Ex. Chi-två-test (χ2-test) [tji] t Hypotesprövar om det finns Fett samband mellan två variabler? x Ex. Mer gymnastik ger bättre betyg. t t F F t F Korrelation En korrelation mellan två variabler innebär att de samvarierar. Korrelationen kan vara positiv eller negativ. En korrelation mellan den oberoende och den beroende variabeln indikerar inte nödvändigtvis ett orsakssamband. 25

Presentation av data Att skapa begriplighet i ett stort material Överskådlighet, viktigt med enkelhet Ger en visuell effekt Info i tabell eller diagram - figurtext under figur - tabelltext ovanför tabellen - information om de enheter som visas - uppge källan om figuren el. tabellen är gjord av någon annan Utvärderingsmetoder inom MDI Kvantitativ metod och analys Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se 26