Beteendevetenskaplig metod Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Experiment - hypoteser om orsakssamband - beroende variabler och oberoende variabel - manipulera oberoende variabeln - kontroll av störande variabler - kontrollgrupp och experimentgrupp - slumpmässig fördelning - operationalisering - noggrann mätning 1
Kvasiexperiment - Inte slumpmässig fördelning från urvalet vilket ger icke ekvivalenta grupper, bekvämlighetsurval - Kontrollgrupp saknas, man har istället jämförelsegrupp Icke experimentella studier - Ingen manipulering av oberoende variabeln sker, - Individer iakttas endast ex. korrelationsundersökning Experiment Post-testmodell Kontrollgrupp Stimuli - Nivån på beroende variabeln mäts efter manipuleringen - Skillnaden mellan grupperna är oberoende variabelns effekt - Risk att individuella skillnader påverkar utfallet trots slumpmässigt urval - detta åtgärdas delvis genom större urval 2
Haptikexperiment Forskningsfråga Hur påverkas samarbetet mellan två människor i en 3D/VR-miljö av att man kan använda känselsinnet vid interaktionen i miljön jämfört med om man endast har ett visuellt gränssnitt gällande effektivitet, precision och upplevd prestation, social närvarokänsla och virtuell närvarokänsla? Hypoteser H1 Haptisk kraftåterkoppling gör att samarbetet går snabbare. H2 Haptisk kraftåterkoppling förbättrar precisionen i samarbetet. H3 Haptisk kraftåterkoppling ökar den upplevda prestationsförmågan. H4 Haptisk kraftåterkoppling ökar den upplevda virtuella närvarokänslan. H5 Haptisk kraftåterkoppling ökar den upplevda sociala närvarokänslan. 3
Designen av de båda studierna Studie 1. Post-test Mellangruppsdesign 28 försökspersoner Beroende variabeln: Haptisk vs. ickehaptisk samarbetsmiljö Studie 2. Post-test Inomgruppsdesign 22 försökspersoner Beroende variabeln: Haptisk vs. ickehaptisk samarbetsmiljö Beroende variabler Effektivitet - Hur snabbt uppgifter utförs. - Med vilken precision man manipulerar objekt tillsammans. Upplevd effektivitet: hur väl personerna upplever att de utför olika moment i miljön samt hur lätt de lär sig hur miljön fungerar. Mäts genom enkät. Social närvarokänsla: känsla av att vara tillsammans med en annan person i en gemensam miljö, möjlighet att visa & förstå känslor/intentioner. Mättes med enkät. Virtuell närvarokänsla : i hur hög grad man upplevde att man var i den medierade miljön, hur god kontroll man upplevde att man hade i interaktionen & hur realistisk miljön upplevdes. Mättes med enkät 4
Haptiska samarbetsmiljön i studie 1. Två personer lyfter en kub tillsammans genom att trycka på var sin sida på kuben. Haptiska samarbetsmiljön i studie 2. 1. 2. 3. 4. En kub överräcks av en person till en annan. 5
Experiment Pre-test, post-testmodell Kontrollgrupp Stimuli - Värdet på beroende variabeln mäts både före och efter manipuleringen - Gör det möjligt att se skillnaden mellan experiment och kontrollgrupp innan manipuleringen ex. kondition - Risk att personerna påverkas av pre-testet Experiment Fyrgruppsundersökning: både post-test och pre-test, post-test görs Kontrollgrupp Kontrollgrupp Stimuli Stimuli - Den ena av både kontroll och experimentgrupperna testas före manipuleringen - Detta ger svar på hur mycket den första mätningen påverkade grupperna - De två kontrollgrupperna jämförs, skillnaden tas med i den statistiska analysen 6
Experiment Faktorundersökning Kontrollgrupp (O) Stimuli A (O) Stimuli B (O) Stimuli AB (O) - Två eller flera oberoende variabler: experimentgrupp 1 får manipulering A experimentgrupp 2 får manipulering B experimentgrupp 3 får manipulering A+B - Dessa jämförs med varandra och med en kontrollgrupp - Denna design kan visa gemensamma effekten samt de enskilda effekterna Kvasiexperiment med icke ekvivalenta grupper - Generellt svagare design - Svårt att fördela personer slumpmässigt till olika grupper vid fältexperiment - Fördelningen är inte slumpmässig från urvalet mellan experimentgrupp och kontrollgrupp - Kontrollgruppen kallas därför jämförelsegrupp - Risk för stora skillnader i grupperna vilket påverkar resultatet på ett störande sätt 7
Kvasiexperiment med icke ekvivalenta grupper Post-test E: Stimuli K: - Helt opålitligt resultat p.g.a. att skillnaden i gruppens sammansättning påverkar okontrollerat - Görs då manipuleringen redan skett så att pre-test inte kan göras - Svårt göra slumpmässig fördelning när man studerar tex olika företag i fält - Designen kan stärkas genom att jämföra värdet hos kontrollgruppen med redan känt genomsnittligt värde på populationen Kvasiexperiment med icke ekvivalenta grupper Pre-test, post-test E: Stimuli K: - Ger något starkare design - Kan mäta vilken skillnad som fanns mellan experimentgruppen och jämförelsegruppen innan manipuleringen - Resultatet fortfarande svårt att generalisera - Risk för olika mognadsprocess i grupperna 8
Kvasiexperiment med icke ekvivalenta grupper Tidsserieexperiment - Ger starkare design då skillnader i mognad kontrolleras - Två eller flera mätningar i båda grupperna innan manipulering och en eller flera mätningar efteråt - Manipulering kan ske fler än en gång varpå effekten mäts igen - Jämförelse och experimentgruppen kan också byta plats - Manipuleringen kan ges och tas bort flera gånger - Dock tidsödande, kostsamt och praktiskt svårt Utanförliggande variabler Yttre Inre Skillnader i testmiljön påverkar Testadministratör Testlokalen Årstid Händelser i samhället Ålder, kön, utbildning 9
Att kontrollera inre utanförliggande variabler Homogen fördelning variabeln hålls konstant ex. alla samma ålder Blockning utanförliggande variabeln som oberoende variabel ex. tar med ålder som variabel i analysen Matchning man ser till att fp liknar varandra parvis i grupperna ex. ålder kön kognitiv förmåga Upprepad mätning undersöka samma individ flera gånger Kvasiexperiment utan kontroll- eller jämförelsegrupp - Då det inte är möjligt att ha en kontroll/jämförelsegrupp - Tidsserieexperiment kan göras men utan jämförelsegrupp - Testa flera gånger före och efter förändringen - Passa på att testa innan om man vet att förändring ska ske i en organisation t.ex. 10
Icke experimentella undersökningar Korrelationsundersökning Den oberoende variabeln manipuleras ej Korrelationshypotes testas Viktigt med teori Beskrivande undersökning Ingen hypotes testas Explorativ ansats Datainsamlingstekniker Intervju Enkäter Fysiologiska mätningar EDA, puls, hormonutsöndring er logga beteende mäta hur lång tid mäta hur många gånger under viss tid mäta precision minneskapacitet ögonrörelser 11
Experimentella studier Fördelar Upprepbarhet p.g.a. hög kontroll Hög precision i mätningar Kausala samband kan undersökas Bekvämt Nackdelar Artificiell miljö påverkar generaliserbarhet Svårt att uppnå representativitet Etiska dilemman För att uppnå hög kontroll krävs mycket planering 12