Experiment och fältexperiment



Relevanta dokument
Beteendevetenskaplig metod

Beteendevetenskaplig metod. Vetenskapliga grundbegrepp. Vetenskaplighet. Saklighet. Objektivitet. Balans

Utvärderingsmetoder inom MDI

Utvärderingsmetoder inom MDI DH2408. Undersökningstyper. Undersökningstyper. Kvantitativ metod

Utvärderingsmetoder inom MDI DH2408

STOCKHOLMS UNIVERSITET VT 2009 Statistiska institutionen Jörgen Säve-Söderbergh

Kunskap = sann, berättigad tro (Platon) Om en person P s har en bit kunskap K så måste alltså: Lite kunskaps- och vetenskapsteori

EXAMINATION KVANTITATIV METOD vt-11 (110204)

Kursens upplägg. Roller. Läs studiehandledningen!! Examinatorn - extern granskare (se särskilt dokument)

Statistikens grunder. Mattias Nilsson Benfatto, Ph.D

KVANTITATIV FORSKNING

Provmoment: Tentamen 2 Ladokkod: 61ST01 Tentamen ges för: SSK06 VHB. TentamensKod: Tentamensdatum: Tid:

Beteendevetenskaplig metod. Metodansats. För och nackdelar med de olika metoderna. Fyra huvudkrav på forskningen Forskningsetiska principer

Kritisk granskning av forskning

Statistik 1 för biologer, logopeder och psykologer

Föreläsning G60 Statistiska metoder

Innehåll. Frekvenstabell. II. Beskrivande statistik, sid 53 i E

Översikt. Experimentell metodik. Mer exakt. Människan är en svart låda. Exempel. Vill visa orsakssamband. Sidan 1

Att välja statistisk metod

Analytisk statistik. Tony Pansell, optiker Universitetslektor

Två innebörder av begreppet statistik. Grundläggande tankegångar i statistik. Vad är ett stickprov? Stickprov och urval

Statistik. Det finns tre sorters lögner: lögn, förbannad lögn och statistik

34% 34% 13.5% 68% 13.5% 2.35% 95% 2.35% 0.15% 99.7% 0.15% -3 SD -2 SD -1 SD M +1 SD +2 SD +3 SD

Provmoment: Tentamen 3 Ladokkod: 61ST01 Tentamen ges för: SSK06 VHB. TentamensKod: Tentamensdatum: Tid:

Metodikuppgifter (C), Svarsblankett C

Tentamen består av 12 frågor, totalt 40 poäng. Det krävs minst 24 poäng för att få godkänt och minst 32 poäng för att få väl godkänt.

I. Grundläggande begrepp II. Deskriptiv statistik III. Statistisk inferens Parametriska Icke-parametriska

Kvantitativa metoder en introduktion. Mikael Nygård, Åbo Akademi, vt 2018

Metod1. Intervjuer och observationer. Ex post facto, laboratorie -, fältexperiment samt fältstudier. forskningsetik

Kvantitativ forskning C2. Viktiga begrepp och univariat analys

EXAMINATION KVANTITATIV METOD vt-11 (110319)

Deskriptiv statistik. Andrew Hooker. Division of Pharmacokinetics and Drug Therapy Department of Pharmaceutical Biosciences Uppsala University

KVANTITATIV FORSKNING

Typvärde. Mest frekventa värdet Används framförallt vid nominalskala Ex: typvärdet. Kemi 250. Ekon 570. Psyk 120. Mate 195.

Anvisningar till rapporter i psykologi på B-nivå

Bild 1. Bild 2 Sammanfattning Statistik I. Bild 3 Hypotesprövning. Medicinsk statistik II

Giltig legitimation/pass är obligatoriskt att ha med sig. Tentamensvakt kontrollerar detta. Tentamensresultaten anslås med hjälp av kodnummer.

Tentamen på. Statistik och kvantitativa undersökningar STA101, 15 hp. Torsdagen den 23 e mars Ten 1, 9 hp

Statistiska analyser C2 Bivariat analys. Wieland Wermke

Hypotesprövning. Andrew Hooker. Division of Pharmacokinetics and Drug Therapy Department of Pharmaceutical Biosciences Uppsala University

Föreläsning G70 Statistik A

Agenda. Statistik Termin 11, Läkarprogrammet, VT14. Forskningsprocessen. Agenda (forts.) Data - skalnivåer. Den heliga treenigheten

Statistik 1 för biologer, logopeder och psykologer

Giltig legitimation/pass är obligatoriskt att ha med sig. Tentamensvakt kontrollerar detta. Tentamensresultaten anslås med hjälp av kodnummer.

Föreläsning 1: Introduktion. Vad är statistik?

Analytisk statistik. 1. Estimering. Statistisk interferens. Statistisk interferens

Föreläsning 1. NDAB02 Statistik; teori och tillämpning i biologi

Allmänna anvisningar: - Nästkommande tentamenstillfälle: Tidigast två veckor efter det att resultatet från denna tenta blivit inregistrerat.

Vilket av följande alternativ är INTE ett sätt att kontrollera för möjliga ovidkommande gruppsskillnader i mellanpersonsdesign?

Vetenskaplig metod och statistik

Analytisk statistik. Mattias Nilsson Benfatto, PhD.

Hur skriver man statistikavsnittet i en ansökan?

Idag. EDAA35, föreläsning 4. Analys. Exempel: exekveringstid. Vanliga steg i analysfasen av ett experiment

Metodologier Forskningsdesign

Kvantitativ strategi viktiga begrepp II. Wieland Wermke

Lycka till! Nämnden för omvårdnadsutbildningar Sjuksköterskeprogrammet 180hp. SJSD10, Sjuksköterskans profession och vetenskap I, 15 hp, Delkurs II

Psykologi som vetenskap

Repetitionsföreläsning

Kvantitativ strategi viktiga begrepp 3. Wieland Wermke

Innehåll. Steg 4 Statistisk analys. Skillnader mellan grupper. Skillnader inom samma grupp över tid. Samband mellan variabler

OBS! Vi har nya rutiner.

Tentamen vetenskaplig teori och metod, Namn/Kod Vetenskaplig teori och metod Provmoment: Tentamen 1

STOCKHOLMS UNIVERSITET HT 2008 Statistiska institutionen Johan Andersson

Idag. EDAA35, föreläsning 4. Analys. Kursmeddelanden. Vanliga steg i analysfasen av ett experiment. Exempel: exekveringstid

Hypotestestning och repetition

732G01/732G40 Grundläggande statistik (7.5hp)

Institutionen för beteendevetenskap Tel: / Omtentamen i kvantitativ metod Psykologi 2 HPSB10

STOCKHOLMS UNIVERSITET HT 2007 Statistiska institutionen Johan Andersson

OBS! Vi har nya rutiner.

för att komma fram till resultat och slutsatser

Tentamen i Statistik, STA A10 och STA A13 (9 poäng) Måndag 14 maj 2007, Kl

Beskrivande statistik Kapitel 19. (totalt 12 sidor)

1. a) F4 (känsla av meningslöshet) F5 (okontrollerade känlsoyttringar)

Vetenskaplig teori och metod Provmoment: Tentamen 1 Ladokkod:

36 poäng. Lägsta poäng för Godkänd 70 % av totalpoängen vilket motsvarar 25 poäng. Varje fråga är värd 2 poäng inga halva poäng delas ut.

STATISTISK POWER OCH STICKPROVSDIMENSIONERING

Tentamen på. Statistik och kvantitativa undersökningar STA100, 15 HP. Ten1 9 HP. 19 e augusti 2015

Examinationsuppgift 2014

Vad är kännetecknande för en kvalitativ respektive kvantitativ forskningsansats? Para ihop rätt siffra med rätt ansats (17p)

Lösningsförslag till tentamen på. Statistik och kvantitativa undersökningar STA100, 15 hp. Fredagen den 13 e mars 2015

Skrivning i Sociologisk analys, Sociologi I, 7,5hp

EXAMINATION KVANTITATIV METOD

Experimentell design. Kvasiexperimentell design. Sambandsstudier

Tentamen på. Statistik och kvantitativa undersökningar STA101, 15 hp. Tisdagen den 10 e januari Ten 1, 9 hp

Tentamen på. Statistik och kvantitativa undersökningar STA101, 15 hp. Torsdagen den 22 mars TEN1, 9 hp

VANLIGA TERMER OCH BEGREPP INOM MEDICINSK VETENSKAP OCH STATISTIK

Försök att skriva svaren inom det utrymme på sidan som finns. Skriv tydligt! Svara sammanhängande och med enkla, tydliga meningar.

Introduktion. Konfidensintervall. Parade observationer Sammanfattning Minitab. Oberoende stickprov. Konfidensintervall. Minitab

OBS! Vi har nya rutiner.

Tentamen består av 12 frågor, totalt 40 poäng. Det krävs minst 24 poäng för att få godkänt och minst 32 poäng för att få väl godkänt.

2 Dataanalys och beskrivande statistik

Agenda. Statistik Termin 10, Läkarprogrammet, VT15. Agenda (forts.) Forskningsprocessen. Data - skalnivåer. Den heliga treenigheten

SOPA62 - Kunskapsproduktion i socialt arbete

STOCKHOLMS UNIVERSITET HT 2008 Statistiska institutionen Johan Andersson

Tentamen i statistik (delkurs C) på kursen MAR103: Marina Undersökningar - redskap och metoder.

Statistikens grunder HT, dagtid Statistiska institutionen

import totalt, mkr index 85,23 100,00 107,36 103,76

Inferensstatistik. Hypostesprövning - Signifikanstest

Vetenskaplig metod och statistik

Statistik Termin 10, Läkarprogrammet, HT16

Transkript:

Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism Utgår från en teori för att formulera en hypotes. Hypotesprövande: testa om en utsaga om en relation mellan två el. flera fenomen stämmer med observationer. Kunskap ackumuleras genom att många studier görs i vilka olika hypoteser testas som ringar in ett problemområde samt genom replikation. Nackdelar Resultaten förklarar ett väldigt smalt problemområde. Svårigheter med att definiera och operationalisera variabler. Fördelar Generell kunskap genom att testa en fokuserad fråga (stort urval personer). Testa kausala samband i kontrollerade experiment. 1

Vad är en teori? En samling satser som beskriver vad som finns i världen samt vilka samband som råder mellan olika företeelser. Existenssatser är påståenden om vad som finns eller vad som har inträffat i världen. Relationssatser uttalar sig om relationer mellan händelser och föremål. Korrelationssatser är relationssatser som säger att det råder en samtidighet mellan två eller flera slags företeelser. Orsakssatser är relationssatser som säger att det finns ett orsaksamband mellan en händelse och en annan. Kräver att ett experiment gjorts. Vad har man en teori till? Problemspecificering Tumregler: 1. Formulera problemet som en fråga. 2. Uttryck problemet som en relation mellan två eller flera begrepp (variabler). 3. Gör begreppen klara och entydiga (väldefinierade). 4. Formulera problemet så att det går att testa empiriskt d.v.s. att de går att undersöka eller t.o.m mäta (operationalisering). 2

Uppfyller frågeställningen följande krav? Är målgruppen specificerad? Är kontexten d.v.s. situationen specificerad? Är frågeställningen av en rimlig omfattning? Är frågeställningen för allmänt hållen, är den tillräckligt specifik? Är det en känslig frågeställning? Är det realistiskt att undersöka detta, få tag på deltagare, resursåtgång? Frågeställlning Hur påverkas samarbetet i en 3D/VR- miljö av att kommunikationen sker antingen via videokonferens, telefon eller text-chat när det gäller effektivitet samt upplevd social närvaro. Vad fattas i denna frågeställning? Hur kan den bli tydligare? 3

Experiment innebär att - man formulerar hypoteser om orsakssamband. - man aktivt påverkar/manipulerar den oberoende variabeln. - man har en kontrollgrupp som jämförs med en experimentgrupp. -fördelningen mellan experimentgrupp och kontrollgrupp är slumpmässigt gjord från urvalet så att grupperna blir likvärdiga. -man har operationaliserat en el. flera beroende variabler. -noggrann mätning görs av beroende variabler. -man kontrollerar störande variabler. Definition av variabler En variabel är en egenskap som antar olika värden. Definitioner får inte vara för vida eller snäva. Variabler måste definieras så att de är entydiga. Definitioner ska vara så väl specificerade att anomalier undviks. Undvik cirkulära resonemang. 4

Definition av variabler 1. Realdefinition: ange de egenskaper den naturliga företeelsen har. 2. Nominaldefinition: namnge eller beskriv med ord specifika observationer eller händelser. - Definiera i termer av de egenskaper som företeelsen ska ha. - Definiera i termer av en företeelses funktion - Uppräknande definition 3. Lexikal, stipulati eller explikativ definition 4. Operationell definition Begrepp i teori Nominaldefinition Operationell definition Mättillfället Babbie, E. (1992). The practice of social research. Hypoteser Ett påstående om relationen mellan två el. flera begrepp som är empiriskt prövbar. En hypotes kan vara en intuitiv känsla att ett samband föreligger, men rättfärdigandet av en hypotes måste göras så att kraven på vetenskaplighet uppfylls. En hypotes liknar en teori men täcker bara en företeelse eller ett samband. Begrepp (variabler) måste vara väldefinierade. - oberoende variabeln påverkar beroende variabler - beroende variabler är effekter av den/de oberoende variablerna 5

Hypotesers innehåll Hypotesen ska vara en lösning på problemet. Man ska kunna genomföra en studie som antingen verifierar eller falsifierar hypotesen. Praktiska skäl får inte göra det omöjligt att testa hypotesen. Att testa hypotesen får inte riskera att skada någon fysiskt eller psykiskt. Att hypotesen är väl grundad i tidigare forskningsresultat eller teori. Hypotesprövning Att vi har ett resultat med signifikansnivån p, betyder att sannolikheten är högst p att vårt resultat är inkorrekt (beror på slump). Ofta väljer man nivån p = 0.05. Sannolikheten för att ett uppfattat samband är en ren tillfällighet = signifikansnivå = p 0-hypotes = inget samband finns Om p < 0,05 = sambandet statistiskt signifikant Verificationsprincipen, en sats är vetenskaplig om det i princip är möjligt att verifiera den genom observation. Falsifierbarhet, det ska i princip vara möjligt att genom observation visa att en sats är falsk. 6

Ignaz Semmelweis arbetade 1844-48 som förlossningsläkare i Wien. Han märkte att dödligheten i barnsängsfeber var större på hans avdelning än på sjukhusets andra avdelning och han ville ta reda på orsaken till detta. Han satte upp åtta hypoteser som han prövade en efter en: 1. Luften är sämre på min avdelning 2. Min sjukavdelning är överbelagd 3. Sämre diet på min avdelning gör kvinnorna svagare 4. Kvinnorna får sämre vård på min avdelning 5. Kvinnorna undersöks hårdhäntare hos mig 6. Kvinnorna blir skrämda av prästen som kommer för att ge döende kvinnor sista smörjelsen 7. Felaktiga födelseställningar 8. Överförande av likstoff från döda människor Han började sedan försöka falsifiera (visa att hypoteserna var fel) så många av hypoteserna som möjligt. Hypotes 1-5 var lätta att falsifiera eftersom förhållandena var lika på avdelningarna. Prästen som kom till de döende kvinnorna var tvungen att passera igenom alla sjukrummen på Semmelweis avdelning så att alla kvinnorna såg honom och blev påminda om att de också kunde dö medan han kunde gå direkt in till de döende kvinnorna på den andra avdelningen. Semmelweis lät då prästen gå genom en bakdörr på hans avdelning så att kvinnorna ej såg honom, men dödligheten sjönk ej. Kvinnorna födde i olika ställningar på de olika avdelningarna och Semmelweis gjorde experimentet att låta kvinnorna på sin avdelning föda i samma positioner som på den andra avdelningen men inte heller detta påverkade dödstalen. När en av Semmelweis kollegor dog i symptom som liknade barnsängsfeber efter att ha skurit sig under en obduktion kom Semmelweis på hypotesen med likstoff. På hans avdelning fanns ett antal medicinstudenter som deltog i obduktioner varje morgon innan de undersökte kvinnorna. Den andra avdelningen hade inga läkarkandidater. Semmelweis lät studenterna tvätta händerna med klorvatten efter obduktionen och dödligheten sjönk drastiskt! Jenny Comstedt Feltyper Fel av typ I: Vi finner stöd för H 1, trots att H 0 gäller. Fel av typ II: Vi utesluter H 1, trots att den gäller. 7

Hypotesers form Enkla hypoteser och komplexa hypoteser Forskningshypoteser: att det finns ett samband Nollhypoteser: att det inte finns ett samband H1 H0 Orsakshypoteser säger att den oberoende variabeln påverkar den beroende. En orsakshypotes påstår mer än en korrelationshypotes som inte utesluter att det finns en annan variabel som orsakar en/flera variabler. Korrelationshypoteser säger endast att två eller flera variabler samvarierar. När den ena variabel är närvarande är den andra också det. Korrelation En korrelation mellan två variabler innebär att de samvarierar. Korrelationen kan vara positiv eller negativ. En korrelation mellan den oberoende och den beroende variabeln indikerar inte nödvändigtvis ett orsakssamband. 8

Kvasiexperiment - Inte slumpmässig fördelning från urvalet vilket ger icke ekvivalenta grupper, bekvämlighetsurval - Kontrollgrupp saknas, man har istället jämförelsegrupp Icke experimentella studier - Ingen manipulering av oberoende variabeln sker, - Individer iakttas endast ex. korrelationsundersökning Multimodalt grupparbetsstöd för synskadade elever Fältstudie av befintligt grupparbete gav designfokus. Ett gemensamt grupparbetsgränssnitt utv. med haptisk & visuell återkoppling. Utvärdering i fält visade på fördelar med nya arbetssättet men också ett problem. Kvalitativ videoanalys visade hur problemet yttrade sig och gav rekommendationer för hur vidare design. Interaktionsljud inkluderades i version 2 som utvärderades med ett jämförande experiment (mellangruppsdesign) som visade en sign. skillnad i tid (effektivitet). 9

Experiment Post-testmodell Experimentgrupp Kontrollgrupp Stimuli Observation Observation - Nivån på beroende variabeln mäts efter manipuleringen - Skillnaden mellan grupperna är oberoende variabelns effekt - Risk att individuella skillnader påverkar utfallet trots slumpmässigt urval - detta åtgärdas delvis genom större urval Haptikexperiment Forskningsfråga Hur påverkas samarbetet mellan två människor i en 3D/VR-miljö av att man kan använda känselsinnet vid interaktionen i miljön jämfört med om man endast har ett visuellt gränssnitt gällande effektivitet, precision och upplevd prestation, social närvarokänsla och virtuell närvarokänsla? 10

Hypoteser H1 Haptisk kraftåterkoppling gör att samarbetet går snabbare. H2 Haptisk kraftåterkoppling förbättrar precisionen i samarbetet. H3 Haptisk kraftåterkoppling ökar den upplevda prestationsförmågan. H4 Haptisk kraftåterkoppling ökar den upplevda virtuella närvarokänslan. H5 Haptisk kraftåterkoppling ökar den upplevda sociala närvarokänslan. Designen av de båda studierna Studie 1. Post-test Mellangruppsdesign 28 försökspersoner Beroende variabeln: Haptisk vs. ickehaptisk samarbetsmiljö Studie 2. Post-test Inomgruppsdesign 22 försökspersoner Beroende variabeln: Haptisk vs. ickehaptisk samarbetsmiljö 11

Beroende variabler Effektivitet - Hur snabbt uppgifter utförs. - Med vilken precision man manipulerar objekt tillsammans. Upplevd effektivitet: hur väl personerna upplever att de utför olika moment i miljön samt hur lätt de lär sig hur miljön fungerar. Mäts genom enkät. Social närvarokänsla: känsla av att vara tillsammans med en annan person i en gemensam miljö, möjlighet att visa & förstå känslor/intentioner. Mättes med enkät. Virtuell närvarokänsla : i hur hög grad man upplevde att man var i den medierade miljön, hur god kontroll man upplevde att man hade i interaktionen & hur realistisk miljön upplevdes. Mättes med enkät Haptiska samarbetsmiljön i studie 1. Två personer lyfter en kub tillsammans genom att trycka på var sin sida på kuben. 12

Haptiska samarbetsmiljön i studie 2. 1. 2. 3. 4. En kub överräcks av en person till en annan. Experiment Pre-test, post-testmodell Experimentgrupp Kontrollgrupp Observation Stimuli Observation Observation Observation - Värdet på beroende variabeln mäts både före och efter manipuleringen - Gör det möjligt att se skillnaden mellan experiment och kontrollgrupp innan manipuleringen ex. kondition - Risk att personerna påverkas av pre-testet 13

Experiment Fyrgruppsundersökning: både post-test och pre-test, post-test görs Experimentgrupp Kontrollgrupp Experimentgrupp Kontrollgrupp Observation Stimuli Observation Observation Observation Stimuli Observation Observation - Den ena av både kontroll och experimentgrupperna testas före manipuleringen - Detta ger svar på hur mycket den första mätningen påverkade grupperna - De två kontrollgrupperna jämförs, skillnaden tas med i den statistiska analysen Experiment Faktorundersökning Experimentgrupp Experimentgrupp Experimentgrupp Kontrollgrupp (O) Stimuli A (O) Stimuli B (O) Stimuli AB (O) Observation Observation Observation Observation - Två eller flera oberoende variabler: experimentgrupp 1 får manipulering A experimentgrupp 2 får manipulering B experimentgrupp 3 får manipulering A+B - Dessa jämförs med varandra och med en kontrollgrupp - Denna design kan visa gemensamma effekten samt de enskilda effekterna 14

Kvasiexperiment med icke ekvivalenta grupper - Generellt svagare design - Svårt att fördela personer slumpmässigt till olika grupper vid fältexperiment - Fördelningen är inte slumpmässig från urvalet mellan experimentgrupp och kontrollgrupp - Kontrollgruppen kallas därför jämförelsegrupp - Risk för stora skillnader i grupperna vilket påverkar resultatet på ett störande sätt Kvasiexperiment med icke ekvivalenta grupper Post-test E: Stimuli Observation K: Observation - Helt opålitligt resultat p.g.a. att skillnaden i gruppens sammansättning påverkar okontrollerat - Görs då manipuleringen redan skett så att pre-test inte kan göras - Svårt göra slumpmässig fördelning när man studerar tex olika företag i fält - Designen kan stärkas genom att jämföra värdet hos kontrollgruppen med redan känt genomsnittligt värde på populationen 15

Kvasiexperiment med icke ekvivalenta grupper Pre-test, post-test E: Observation Stimuli Observation K: Observation Observation - Ger något starkare design - Kan mäta vilken skillnad som fanns mellan experimentgruppen och jämförelsegruppen innan manipuleringen - Resultatet fortfarande svårt att generalisera - Risk för olika mognadsprocess i grupperna Kvasiexperiment med icke ekvivalenta grupper Tidsserieexperiment - Ger starkare design då skillnader i mognad kontrolleras - Två eller flera mätningar i båda grupperna innan manipulering och en eller flera mätningar efteråt - Manipulering kan ske fler än en gång varpå effekten mäts igen - Jämförelse och experimentgruppen kan också byta plats - Manipuleringen kan ges och tas bort flera gånger - Dock tidsödande, kostsamt och praktiskt svårt 16

Design av experiment/kvasiexperiment Vi kan välja mellan två upplägg för att beskriva den experimentella/kvasiexperimentella designen : Mellangruppsdesign Inomgruppsdesign Design av experiment/kvasiexperiment Mellangrupp: Vi använder en ny grupp försökspersoner för varje värde på den oberoende variabeln (= behandling). Grupp A B Version 1 Inomgrupp: Vi använder samma försökspersoner för varje värde på den oberoende variabeln. x Version 2 x Grupp A Version 1 x Version 2 x 17

Design av experiment/kvasiexperiment Ett mellangruppsexperiment kräver dels fler fp än ett inomgruppsexperiment, dels att vi matchar grupperna mot varandra så att deltagarna har så lika egenskaper som möjligt. Fördelen är att vi kan eliminera inlärningseffekter, där erfarenheten från en behandling påverkar resultaten av en annan behandling. Ex. med ikoner: Efter att ha sett ikonerna upprepade gånger känner fp igen formerna och identifierar ikonerna utan hänsyn till färgegenskaperna. Design av experiment/kvasiexperiment I ett inomgruppsexperiment försöker vi minimera inlärningseffekter genom att låta olika personer utsättas för behandlingarna i olika ordning. Vi väljer slumpmässigt vilka av försökspersonerna som ska få genomgå experimentet i vilken ordning. Varför slumpar vi? 18

Design av experiment/kvasiexperiment Inlärningseffekter är viktiga också inom en behandling försökspersonerna lär sig under experimentets gång. Olika inlärningstakt ger olika effekt. Man bör försöka minimera detta genom att t ex ha en övningssession först där försökspersonerna får träna upp sig till en förbestämd skicklighetsnivå. Utanförliggande variabler confounding variables Yttre Inre Skillnader i testmiljön påverkar Testadministratör Testlokalen Årstid Händelser i samhället Ålder, kön, utbildning 19

Att kontrollera inre utanförliggande variabler Homogen fördelning variabeln hålls konstant ex. alla samma ålder Blockning utanförliggande variabeln som oberoende variabel ex. tar med ålder som variabel i analysen Matchning man ser till att fp liknar varandra parvis i grupperna ex. ålder kön kognitiv förmåga Upprepad mätning undersöka samma individ flera gånger Kvasiexperiment utan kontroll- eller jämförelsegrupp - Då det inte är möjligt att ha en kontroll/jämförelsegrupp - Tidsserieexperiment kan göras men utan jämförelsegrupp - Testa flera gånger före och efter förändringen - Passa på att testa innan om man vet att förändring ska ske i en organisation t.ex. 20

Icke experimentella undersökningar Korrelationsundersökning Den oberoende variabeln manipuleras ej Korrelationshypotes testas Viktigt med teori Beskrivande undersökning Ingen hypotes testas Explorativ ansats Datainsamlingstekniker Intervju Enkäter Fysiologiska mätningar EDA, puls, hormonutsöndring Observationer logga beteende mäta hur lång tid mäta hur många gånger under viss tid mäta precision minneskapacitet ögonrörelser 21

Giltighet Att operationen som används verkligen är ett mått på den egenskap vi vill mäta. Validitet i hur hög grad ett mått ger data som överensstämmer med den gemensamt accepterade innebörden av begreppet. 1. Face validity den bedömning som experter gör om ett test verkar mäta ett begrepp eller en variabel. 2. Criterion-related validity baseras på om ett externt kriterium som studieresultat samvarierar med resultatet på högskoleprovet Giltighet Att operationen som används verkligen är ett mått på den egenskap vi vill mäta. 3. Content validity I hur hög grad ett mått täcker hela fenomenet. 4. Construct validity Om alla variabler i ett konstrukt mäter samma variabel. 22

Pålitlighet Att man får samma resultat varje gång man operationaliseringen används. Reliabilitet slumpmässiga fel ger på dålig precision eller osäkerhet i metodiken. Interbedömarreliabilitet samstämmighet i flera personer bedömningar. Testmaterial Frågeformulär för urval av deltagare Information till testdeltagare Samtyckesformulär Frågeformulär för att få bakgrundsinformation om deltagare Procedur, beskrivning av alla steg i testet i ordningsföljd Datainsamlingsguider, loggningsverktyg Lista på allt material som behövs under testet inkl. dokumentation Ev. formulerade träningsuppgifter Formulerade testuppgifter Frågeformulär efter testet för att undersöka tillfredsställelsedimensionen Intervju efter testet (debriefing), intervjuguide Dessa ska bifogas planen för er utvärdering 23

Urval Populationen Urval De man studerar kan vara en hel population (alla i en grupp, ex. hela landets befolkning) eller ett mer eller mindre representativt urval ur en population. Sannolikhetsurval Vid experiment är slumpmässigt urval ett krav. Slumpmässigt urval Man har en förteckning på alla människor som ingår i populationen + förteckningar med slumpmässiga siffror, man väljer sedan de personer som motsvarar siffran. Man kan också dra ihopvikta lappar med namn ur en hatt Slumpmässigt stratifierat urval Först delar man upp populationen i strata (ålders/inkomts/yrkesgrupper), sedan gör man ett slumpmässigt urval ur varje strata Klusterurval Först delar man upp populationen i kluster (städer, skolor, sjukhus) och sedan tar man ett kluster som man tror är representativt för hela populationen. Systematiskt urval Man väljer ett urvalsintervall tex var tionde person. Sedan väljer man var tionde person från listan av alla människor som ingår i populationen 24

Icke sannolikhetsurval Om man inte har resurser eller praktiska möjligheter att göra ett urval ur hela populationen. Vid kvasi-experiment eller test. Bekvämlighets-/ tillfällighetsurval Man väljer första bästa. Snöbollsurval Man får en kontakt som ger nya kontakter. Kvoturval/proportionellt stratifierat Man delar först upp populationen i strata, sedan gör man ett bekvämlighetsurval inom varje strata. Subjektivt / ändamålsenligt Man överger kravet på representativitet och väljer en speciell strategi tex så många olika människor som möjligt eller en känd grupp användare. Urvalsstorlek Större urval ger större precision, minst 5 personer i varje cell. Absoluta storleken på urvalet är avgörande, inte andelen av populationen. Många klassificeringar/variabler kräver större antal. Uppskatta bortfallet. Uppskatta hur mycket resurser projektet har. Bra princip: enkelhet 25

Rekrytera deltagare Utforma ett frågeformulär för att få rätt urval av deltagare. Utgå ifrån målgruppens profil när frågorna formuleras. Börja rekrytera deltagare tidigt. Formulera ett informationsblad som ni kan ge till deltagare när ni frågar dem om de vill medverka. Kortfattat syfte, tidsåtgång, plats, etiska hänssynstaganden. Typer av kvantitativa data Nominalskala: Ordinalskala: Intervallskala: antal i olika kategorier, ex man el. kvinna + kategorierna rangordnade, ex, barn, ungdom, äldre, 5 gradig Likertskala, betyg + avståndet mellan kategorierna är känt, ex. 1980-1990 - 2000 Kvotskala: + nollpunkt, ex 20 år 10 år = 2 Diskreta: ex. antal barn, måste vara hela barn Kontinuerliga: ex. längd; forskaren konstruerar kategorier 26

Normalfördelning En grundläggande regel i statistiken är den centrala gränsvärdessatsen som säger att ju mer data man samlar in om ett fenomen, ju mer lik en normalfördelning blir resultatet. Ex: Längden i cm hos vuxna. Poäng i begåvningstest. Vikt hos nyfödda. Slumpmässiga fel vid upprepade likartade mätningar av samma objekt Beskrivande statistik Var ligger mittpunkten? Hur stor är spridningen och hur jämn är den? Medelvärde För värden på intervall och kvotskalenivå Påverkas av extremvärden Medelvärdet = 1 + 4 + 7 + 11 + 12 + 17 + 17 + 47 8 Medelvärdet = 14.5 27

Beskrivande statistik Median För värden på ordinal, intervall och kvotskalenivå Extremvärden påverkar ej Ej vidare beräkningar möjliga Mittvärdet 1 4 7 11 12 17 17 47 Medianen = 11.5 Beskrivande statistik Typvärde För värden på alla skalnivåer, nominal, ordinal, intervall och kvot. Det vanligast förekommande värdet i fördelningen. Brett tillämpningsområde, högst tittarsiffror osv. 1 1 4 4 7 11 12 17 17 17 47 Typvärdet = 17 28

Spridning 3 4 7 11 12 17 17 47 Variationsvidd Ger en bild av spridningen som är lätt att förstå Största värdet minsta värdet 47 3 = 44 Påverkas dock mycket av extremvärden Spridning Q1 Median Q3 Fraktiler Kvartiler, deciler, percentiler Gör det möjligt att eliminera extremvärden Kvartilavståndet är det som ligger mellan Q1 och Q3 Jämföra tex den översta med lägsta decilen i inkomstfördelning Beskriver spridningen i frekvensfördelningen när man jämför olika delar 29

Spridning Standardavvikelse Spridning i relation till medelvärdet Kan analyseras vidare På intervall- och kvotskalenivå (förutsätter medeltal) Det vanligaste måttet på spridningen (variationen, variabiliteten) i ett statistiskt material eller i en fördelning. Vanlig symbol är s. Grundformeln för standardavvikelsen för ett statistiskt material är för urval: 2 "(x! x) s = n! 1 Symbolen urvalet. (x streck) är medelvärdet i urvalet och n är antalet element i I standardavvikelsen används alla värden (inte bara det högsta och det lägsta) för att beräkna värdenas generella avvikelse från medelvärdet Test av signifikans Gör en bortfallsanalys och planera åtgärder Kontrollera om data är normalfördelade Enklast är att göra en frekvenstabell Kontrollera för extremvärden Parametriska vs icke parametriska test 30

Icke-parametriskt test Icke-parametriska test ställer inga krav på normalfördelning. Kan hantera data på ordinal och nominalskalenivå. För en del behöver inte grupperna vara lika stora. Priset vi får betala är en lägre signifikansnivå i våra resultat. T-test parametriskt test Kräver intervall eller kvotskalenivå. Hypotestestar om det finns skillnad mellan två grupper. Fungerar för små urval. Måste inte vara lika många i varje cell. Data bör vara normalfördelad. Mann-Withneys U-test Kan användas för data på ordinalskalenivå. 31

ANOVA (analysis of variance) parametriskt test Hypotesprövar om grupper skiljer sig åt gällande en variabel. En envägs variansanalys för oberoende mätningar d.v.s. mellangruppsdesign kallas i SPSS one-way ANOVA. Envägs variansanalys innebär att man mäter effekter av olika nivåer av en viss variabel (oberoende variabeln) på en annan variabel (beroende variabeln). Data på minst intervallskalenivå krävs. Exempel på sådan data från utvärderingar är tid, felfrekvens vid utförandet av en uppgift eller antal klarade uppgifter. ANOVA (analysis of variance) parametriskt test Även här hypotesprövas om grupper skiljer sig åt gällande en variabel och minst intervallskalenivå krävs. En envägs variansanalys för beroende mätningar d.v.s. inomgruppsdesign kallas i SPSS Repeated measures. Generellt sett är ett test för beroende mätningar mer känsligt då man slipper individuella skillnader. Exempel på lämplig data från utvärderingar är även här tid, felfrekvens vid utförandet av en uppgift eller antal klarade uppgifter. 32

Chi-två-test Icke-parametriskt test Chi-två-test (χ2-test) t Hypotesprövar om det finns ett Fsamband mellan två variabler? Mer gymnastik ger bättre betyg. x t t F F t F Korrelation En korrelation mellan två variabler innebär att de samvarierar. Korrelationen kan vara positiv eller negativ. En korrelation mellan den oberoende och den beroende variabeln indikerar inte nödvändigtvis ett orsakssamband. 33

Presentation av data Att skapa begriplighet i ett stort material Överskådlighet, viktigt med enkelhet Ger en visuell effekt Info i tabell eller diagram - figurtext under figur - tabelltext ovanför tabellen - information om de enheter som visas - uppge källan om figuren el. tabellen är gjord av någon annan Experimentella studier Fördelar Upprepbarhet p.g.a. hög kontroll Hög precision i mätningar Kausala samband kan undersökas Bekvämt Nackdelar Artificiell miljö påverkar generaliserbarhet Svårt att uppnå representativitet Etiska dilemman För att uppnå hög kontroll krävs mycket planering 34