Kvantitativa metoder. 1. Kort repetition. Forskarutbildningen, PF, ÅA. Skaltyper

Transkript

1 Kvantitativa metoder Forskarutbildningen, PF, ÅA 5-6/4/0 Lars Malmberg, Department of Education, University of Oxford, UK Fredag * Grundbegrepp (fort repetition) * T-test (oberoende, beroende) * Variansanalys (ANOVA); enväg, tvåväg, upprepad mätning Litteratur, t.ex.: Field, A., & Hole, G. (003). How to design and report experiments. London: Sage. Tabachnick, B. G., & Fidell, L. S. (00). Using multivariate statistics (4th Edit.). Boston: Allyn and Bacon. (kap, 3, 8, 9) Miles, J., & Shevlin, M. (00). Applying regression and correlation. A guide to students and researchers. London: Sage. Mätning * Variabel * Skala * Skalsteg (ändpunkter) * T e x Helt av olik åsikt Delvis av olik åsikt. Kort repetition attityd Delvis av samma åsikt Helt av samma åsikt man kön kvinna Skaltyper Rangordning? Lika skalsteg? Absolut noll? funktion Nominal nej nej nej Ordinal ja nej nej < > Interval ja ja nej + - Kvot ja ja ja Fokusera på: * (Teoretiska) fenomen, inte frågor och svar * Vilket fenomen är den underliggande egenskapen, t e x kroppstemperatur eller infektionsrisk? 3 4

2 970 British Cohort Study (BCS70) * Longitudinell studie av alla barn födda 5- april 970 i England, Skottland och Wales. * Alla överlevande vid en månad (N=6,77) av total samplet 7,96 barn och sedan uppföljda vid 5, 0, 6, 6, 30 och 34 års ålder * 50 nyinflyttade inkorporerades i studien mellan 5-6 års ålder * Ett slumpmässigt vald subgrupp på 000 barn inkluderades i BCS70.sav. 5 Deskriptiva mått * Jämför deskritpiva mått från SPSS (denna ruta) med histogrammet (ruta 8) och låd-diagrammet (ruta 9). Variabeln är barnets födelsevikt i BCS70. Statistics b0_weigh weight at birth in grams N Valid Mean Median Mode Std. Deviation Percentiles Missing Vilken information får du från x- och y-axlarna? Hur vanligt var det att ha en relativt låg (under 5 kg) eller hög (nära 5 kg) födelsevikt? 7 8

3 Z-poäng (calculators.xls; sidan z-score and population) Normal distribution * Proportionen av stickprovet mellan ± σ, ±σ, ±3σ ( µ ) x σ e σ π z (a) probability density function (b) proportion above cut-off (c) proportion below cut-off (d) one person in every σ σ σ 0 σ σ 3σ 68.% 95.4% % 0 Samma x, olika St Av Statistik 0.45 probability sample (M=0, SD=) sample (M=0, SD=.5) sample (M=0, SD=.5) Inferentiell Hypotestest Deskriptiv Estimat X Punkt estimat Intervall estimat

4 Population och stickprov Population N antal observationer σ standard avvikelse σ varians ρ korrelation µ medelvärde Stickprov n antal observationer s standard avvikelse s varians r korrelation x medelvärde Inferens: att uttala sig om populationen genom att dra slutsatser om stickprovet Det sannolika populations parameter estimatet är stickprovsparameterestimatet ± Punktestimat: medeltalets standardfel (standard error of the mean) * Indikerar precision σ x = * Medeltalets standardfel för barns födelsevikt för mammor som rökte under graviditeten s = 50 gram n = 4 osäkerhet 3 4 s n σ x = 50 = Intervallestimat: Konfidensintervall (Confidence Interval (C.I.) of the mean) 95% C.I. för barns födelsevikt hos tre grupper av mammor 95% konfidensintervall µ ligger mellan x ±.96 σ x med 95% sannolikhet ligger populationsmedeltalet mellan stickprovsmedeltalet plus.96 gånger standardfelet och stickprovsmedeltalet minus.96 gånger standardfelet 90% C.I. = x ±.64 σ 95% C.I. = x ±.96 σ 99% C.I. = x ±.58 σ x x x 5 6

5 Bevis för H? Bevis för H? Grad av rödhet = sannolikheten att H accepteras 7 Grad av rödhet = sannolikheten att H accepteras 8 Bevis för H? Hur tungt är beviset? Ensidigt t-test Grad av rödhet = sannolikheten att H accepteras BEVIS Mörkröd = resultatet uppstod sannolikt inte av slumpen H H 0 H.99 H Sannolikheten att H accepteras

6 Hur tungt är beviset? Ensidigt t-test z- / t-fördelning H H 0 H.99.0 H Sannolikheten att H accepteras Sannolikhet att H har uppkommit av slumpen (signifikansnivå).645 T-värde z -α =.95 -α =.99 z- / t-fördelning Acceptera H Acceptera H Acceptera H 0 z 0.05 =-.96 z 0.05 =.96 z / t-fördelning χ []=3.84;p=.05 F[,0]=4.35;p= z -α =.95 -α =.99 χ -fördelning F-fördelning 3 4

7 Tvåsidigt test för H Tvåsidigt test för H BEVIS 5 6 Typ I och II fel Typ I och II fel SANN (verklighet) H 0 H SANN (verklighet) H 0 H ACCEPTERA (undersökning) H 0 ok typ II (β) H typ I (α) ok ACCEPTERA (undersökning) H 0 ok du ser inte det som finns H du ser sådant ok som inte finns 7 8

8 Typ I och II fel ACCEPTERA (undersökning) SANN (verklighet) H 0 H litet sampel H 0 ok oreliabla variabler okända orsaker H låg signifikans- ok nivå. Oberoende och beroende grupp t-test 9 30 Oberoende grupp t-test Beroende grupp t-test x = grupp y =utfall, resultat y =tid y = tid y = var y = var (var & inom samma person) x y y y Antaganden för t-test den beroende variabeln (y) är approximativt normalt fördelad (kan testas) varianserna för y är lika i bägge grupper (kan testas) 3 T-Test (ttest_effect.xls) Oberoende grupper Beroende grupper t = y s n y s + n t = d / n där d är medel differansen för alla parvisa observationer, och s d dess standard avvikelse frihetsgrad = (n + n ) frihetsgrad = (n ) 3 s d

9 Hypoteser Oberoende grupper H H µ 0 A : µ : µ A A < µ, µ B = µ B A B µ, > µ B Beroende grupper H H 0 : µ : µ A A µ µ B B = 0 0 Två sätt att utföra ett experiment * Experiment och kontroll grupp (deltagare slumpmässigt fördelade) * Varje deltagare deltar i två försök (i slumpmässig ordning) Exampel: 0 studerande blev slumpmässigt indelade i två grupper i vilka de blev undervisade enligt två läsinlärningsmetoder (0 per grupp). Efter interventionen visade post-testet att grupp A fick 6 poäng i medeltal (s =.633) och grupp B 7. poäng (s =.35). 95% konfidensintervall presenterades..633 Grupp A : x ±.96 σ x = 6 ±.96 ( ) = 6 ±.96(0.56) = 6 ± Grupp B : x ±.96 σ x = 7. ±.96 = 7. ± SPSS Independent samples T-test sample A sample B M M - M SD (s ) / n N (s ) / n SQRT ((s ) / n + (s ) / n ) T t = (M - M ) / (SQRT ((s ) / n + (s ) / n )) one or two tailed.908 absolute value of t DF 8 (n + n -) sign t = -.9 förkasta ej H H H.0 H 0 p =.05 tvåsidigt gränsvärde är.0 för 8 frihetsgrader 36

10 Gränsvärden från tabell Två sätt att utföra ett experiment... () * Varje deltagare deltar i bägge försök (i slumpmässig ordning) Exampel : 0 studerande deltog i ett inlärningsexperiment i vilket två metoder nyttjades (i slumpmässig ordning), och testades två gånger med för ändamålet konstruerade test (med ekvivalenta skalor). Efter metod A erhöll deltagarna 6 poäng i medeltal (s =.633), och efter metod B 7. poäng (s =.35). Medeltalsskillnaden inom varje individ var -. (s =.36). 95% konfidensintervallet presenteras nedan. Observera ifall noll är inkluderat i intervallet..36 Medeltal : x ±.96 σ x =. ±.96 ( ) =. ±.96(0.46) =. ± SPSS Dependent samples T-test Fill in the mean difference score, and the standard deviation of the mean difference score Mean difference (A condition A condition B minus B) M d = pairw ise differnces SD s = standard deviation of differences N n = sample size 3.63 SQRT (n) t = d / (s / SQRT(n)) one or two tailed.8835 absolute value of t (n - ) 0.08 t = -.88 förkasta H0 dvs acceptera H H H.6 H 0 p =.05 gränsvärde.6 40

11 Dependent samples T-test sample A sample A d = M (A - A) pair pair pair pair pair pair pair pair pair pair M d = pairw ise differnces SD s = standard deviation of differences N n = sample size 3.63 SQRT (n) T t = d / (s / SQRT(n)) one or two tailed.883 absolute value of t DF (n - ) sign Stickprovs storlek, signifikansnivå och d effektstorlek Study Exp Cntr N 0 0 M SD 5 5 t p d Study 3 Exp Cntr N M SD 5 5 t p d Study Exp Cntr N M SD 5 5 t p d 4 Stickprovs storlek, signifikansnivå och d effektstorlek Study Exp Cntr N 0 0 M SD 5 5 t p d Study 3 Exp Cntr N M SD 5 5 t.360 p 0.09 d Study Exp Cntr N M SD 5 5 t.667 p d Medeltalsskillnad uttryckt användande standardavvikelse som enhet Effektstorlek som proportion av interventionsgruppen som är bättre än medel-deltagaren i kontrollgruppen d =.0 57% av E ovanför xk d =.50 69% av E ovanför = Kontroll = Experiment xk d =.80 79% av T ovanför xk 44

12 Experimentell metod och interventionsdesign 3. Variansanalys (ANOVA ) * En och tvåvägs variansanalys * Kovariansanalys (ANCOVA) * ANOVA som regressionsmodell (General Linear Model, GLM) * Upprepad mätning * Multivariat variansanalys 45 * Pretest posttest, * Experiment kontroll grupp * Yrkande om kausalitet starkt ifall den experimentella manipulationen är väldesignad * Den första artikeln med variansanalys: Fisher, R. A. (9). Studies in crop variation. I. An examination of the yield of dressed grain from Broadbalk. Journal of Agricultural Science,, Varför variansanalys? * Forskningsfrågor formulerade som gruppjämförelser * Beroende variabel (y) kontinuerlig (intervall eller kvotskala) * Oberoende variabeln (faktor, x) är nominalskala * Ett två-grupp envägsvariansanalys är ekvivalent med ett t-test (F-värdet är t i kvadrat) * Ifall du har mer än två grupper att jämföra har variansanalysen mer styrka 46 Design och yrkanden om kausalitet tid. O. X O 3. O X O 4. Gr A X O Gr B O 5. Gr A O X O Gr B O O 6. Gr A O X O O Gr B O O O 7. Gr A O X O X O Gr B O O X O X=intervention O=observation, mätning Kvant Met del 47 48

13 Syfte med variansanalys: att undersöka ifall mellangruppsvariansen är större an inomgruppsvariansen SS T = SS w -SS B Totalvariansen = Inomgruppvariansen minus mellangruppvariansen Σ( y y y ij total ) = Σ( yij y j ) Σ( y j total) s A =s B =s C ya yb yc skillnaden mellan varje observation och det totala medelvärdet skillnaden mellan observationer och grupp-medelvärdet skillnaden mellan varje grupp och det totala medelvärdet * Den beroende variabeln antas vara approximativt normalt fördelad * Varianser i subgrupper antas vara lika (homogenitet) SS=kvadratsummor (Sums of Squares), i = individ, j = grupp teach.sav id testscore Grupp A Grupp B Grupp C GROUP: A GROUP: B GROUP: 3 C TESTSCOR TESTSCOR TESTSCOR ID ID ID 4 skillnaden mellan observationer och grupp-medelvärdet TESTSCOR 0 M St Av ID skillnaden mellan varje observation och det totala medelvärdet 5 5

14 Grupp A Grupp B Grupp C Hur många oberoende variabler? 9 8 GROUP: A GROUP: B GROUP: 3 C Enväg Tvåväg Treväg x y x x y x x x 3 y TESTSCOR TESTSCOR TESTSCOR ID ID M St Av ID skillnaden mellan varje grupp och det totala medelvärdet Total M 4.33 Total St Av.0 x = oberoende variabel NOM (Faktor, nivå) y = beroende variabel INT/KVOT Hur varierar matematikprestation enligt inlärningsmetod? (teach.sav) x y x = metod A (ny metod h/vecka), B (ny metod 3h/vecka) och C (gammal metod) y = matematikprestation (0-0) Undersök ifall förutsättningarna för variansanalys godtas: är varianserna av den beroende variabeln i subgrupperna lika? x y H 0 : varianser lika H : varianser olika H 0 : H s A = s B = s C : nagon s j olik H 0 : metoder lika H : någon metod olik H0 : H : y y A y = y = y A A = y y B B B y C A C yc; ya yb = ; y = y y C B y C ; Levene's Test of Equality of Error Variances a Dependent Variable: testscor F df df Sig Tests the null hypothesis that the error variance of the dependent variable is equal across groups. a. Design: Intercept+group 55 56

15 Variansanalys tablå Varians Kvadrat- Frihets- Medelkvad- Varianssumma grader ratsumma kvot Mellan SS M t - MS M Inom SS I N - t MS I Total SS T N testscor Between Groups Within Groups Total ANOVA MS F = MS Sum of Squares df Mean Square F Sig M I RSS (residual sum of squares) TSS (total sum of squares) "within groups" "whole sample" Method Score (Y ij - Y j ) (Y ij - Y j ) (Y ij - Y) (Y ij - Y) A A A A A B B B B B C C C C C SUM 5 RSS TSS M (differences between individual (differences between individual score and GROUP mean) score and grand mean) 58 ESS (explained sum of squares)"between groups" M N (Y j - Y) (Y j - Y) n (Y j - Y) A B C Total ESS (differences between group means and grand mean) SS DF MS F sign Between groups Within groups Total Planerade kontraster eller post-hoc test? När du har forskningshypoteser kontraster * skapa vikter för varje grupp (dvs. nivåer i faktor) * summan av vikterna är noll Forskningshypotes : Ny metod är bättre än gammal metod A vikt: eller 0.5 B vikt: eller 0.5 C vikt: - eller - summa: 0 0 När du INTE har forskningshypoteser post-hoc test Många varianter i spss Bonferonni korrigerar för antalet post-hoc test Scheffé är ett F-test Test när du bryter emot antagandet om lika varianser 59 60

16 Analyze Compare means one-way ANOVA Kontraster Forskningshypotes : Ny metod är bättre än gammal metod (vikter: 0.5, 0.5, -.0). H 0 : ny = gammal, H : ny olik (bättre än) gammal Contrast Coefficients Contrast method A new B new method method 3 C old h/week 3h/week method Contrast Tests testscor Assume equal variances Does not assume equal i Contrast Value of Contrast Std. Error t df Sig. (-tailed) Kontrasten signifikant: ny metod bättre än gammal Följ upp med -grupp ANOVA eller t-test 6 6 Analyze compare means ANOVA Analyze compare means ANOVA Beroende variabel, utfall, y Oberoende variabel, Faktor, x Kvant Met del 63 Kvant Met del 64

17 Analyze Compare means one-way ANOVA Post-hoc test Multiple Comparisons Dependent Variable: testscor Scheffe Bonferroni (I) grupp A B 3 C A B 3 C (J) grupp B 3 C A 3 C A B B 3 C A 3 C A B Based on observed means. *. The mean difference is significant at the.05 level. Mean Difference 95% Confidence Interval (I-J) Std. Error Sig. Lower Bound Upper Bound -.40* * * * * * * * Hur varierar matematikprestation enligt inlärningsmetod och studerandes inlärningsstil? (maths.sav) Hur varierar matematikprestation enligt inlärningsmetod och studerandes inlärningsstil? x = metod A (ingen method), B (grafisk metod) och C (handberökningar) x = inlärningsstil: visuell och manuell y = matematikprestation (0-0) Hypoteser för metod: H 0 : metoder lika, H : någon metod olik Hypoteser för inlärningsstil: H 0 : stylar lika, H : stilar olika Hypoteser för metod inlärninsgsstil (interaktionseffekt): H 0 : ingen interaktion, H : interaktion x x y Source Type III SS df MS F Sig. Model (SS M ) Method (SS A ) Learning style (SS B ) Method * Lea (SS AxB ) Error (SS R ) Total Corrected Total (SS T ) Hypoteser för metod (fyll i): Hypoteser för inlärningsstil: Hypoteser för metod inlärninsgsstil (interaktionseffekt): 67 68

18 Hur varierar matematikprestation enligt inlärningsmetod och studerandes inlärningsstil? mathscore interaction effect Vis Man Analyze General Linear Model Univariate (univariate = en beroende variabel) () Definiera modell () Har du forskningshypoteser? Specificera konstraster. (3) Grafer (4) Inga forskningshypoteser? ok 0.0 A B C Method (5) Mängder av utskrifter En viss undervisningsmetod lämpar sig bäst för en studerande med en viss inlärningsstil Modell () Specificera egen modell... Plots (beroende variabel på x-axeln) () Variabel på x-axel () Skapa effekter () Skiljda linjer för faktor? Typ III är viktade medelvärden (3) fortsätt 7 Lägg till listan 7

19 ... Post-hoc () Post-hoc test när du har 3 eller fler nivåer... Options () Variabler för utskrift () Är varianser lika_ () Post-hoc test när du inte har lika varianser Deskriptiv information (3) fortsätt utskrifter () Homogenitetstest Levene's Test of Equality of Error Variances a Dependent Variable: mathscore F df df Sig Tests the null hypothesis that the error variance of the dependent variable is equal across groups. a. Design: Intercept+method+preference+method * preference () Effekter av faktorer och interaktioner mera (3) Post-hoc test Multiple Comparisons Dependent Variable: mathscore Bonferroni Mean Difference 95% Confidence Interval (I) method (J) method (I-J) Std. Error Sig. Lower Bound Upper Bound no particular method graphs and plotting number crunchers graphs and plotting no particular method number crunchers number crunchers no particular method graphs and plotting Based on observed means. Dependent Variable: mathscore Source Corrected Model Intercept method preference method * preference Error Total Corrected Total Tests of Between-Subjects Effects Type III Sum of Squares df Mean Square F Sig..806 a a. R Squared =.39 (Adjusted R Squared =.06) 75 (4) Graf 76

20 Upprepad mätning 4. Upprepad mätning med variansanalys * Upprepad mätning *Sfäriskhet * Testa hypoteser med kontraster * Samma antaganden som för övriga variansanalyser beroende variabler approximativt normalt fördelade homogena varianser... och: * Lika varianser hos mellantidpunktsskillnaderna (sphericity) y y y 3 y y y 3 y Experimentiell design (phys.sav) 0 studerande deltog i en fysiskt träningsprogram under en månads tid, och ombads utföra ett uthållighetstest (sekunder) varje vecka Hälften av studerande gavs individualiserad feedback på deras prestationer och den andra hälften gavs relativ feedback (dvs i relation till prestationerna av deras kurskamrater). Först, hade det fysiska träningsprogrammet någon effekt över de fyra tidpunkterna? Tid Tid Tid 3 Tid 4 (0 veckor) ( veckor) ( veckor) (3 veckor) Upprepad mätning * Effekt av tid (inom individer) * H 0 : ingen förändring över tid, H : förändring över tid Tend Tend T3end T4end Descriptive Statistics Mean Std. Deviation N

21 Upprepad mätning Upprepad mätning * Testa sfäriskhet (sphericity): är varianserna av tidpunktsdifferenserna lika? T-T T-T3 T-T4 T-T3 T-T4 T3-T Variance Measure: MEASURE_ Mauchly's Test of Sphericity b Epsilon a Within Subjects Effect Mauchly's W Approx. Chi-Square df Sig. Greenhous e-geisser Huynh-Feldt Lower-bound endure Tests the null hypothesis that the error covariance matrix of the orthonormalized transformed dependent variables is proportional to an identity matrix. a. May be used to adjust the degrees of freedom for the averaged tests of significance. Corrected tests are displayed in the Tests of Within-Subjects Effects table. b. Design: Intercept Within Subjects Design: endure H 0 : varianser lika H : varianser olika 8 * Effekt av tid? H 0 : ingen förändring över tid H : förändring över tid Measure: MEASURE_ Source endure Error(endure) Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Tests of Within-Subjects Effects Type III Sum of Squares df Mean Square F Sig Upprepad mätning Upprepad mätning * Testa hypotesen att uthållighet ökar linjärt över tid lineär trend i data kvadratisk trend i data kubisk trend i data Tests of Within-Subjects Contrasts Measure: MEASURE_ Source endure Error(endure) endure Linear Quadratic Cubic Linear Quadratic Cubic Type III Sum of Squares df Mean Square F Sig

22 Envägs upprepad mätning Mixed design Tvåvägs upprepad mätning x y y x x y y x = oberoende variabel NOM (Faktor, nivå) y = beroende variabel INT/KVOT Envägs upprepad mätning(endure.sav) 0 studerandes uthållighet ökade under fyra veckors träning Hälften gavs individualiserad feedback och den andra hälften relativ feedback. Hade typen av feedback någon effekt på deltagarnas självbild? Deltagarna fyllde i ett kort fysiskt självbildstest varje vecka efter feedback på uthållighetstestet (-4) högre värden indikerande att deltagaren var mer tillfreds med sin fysik. Hypoteser H 0 : ingen förändring i fysisk självbild över tid, H : förändring i fysisk självbild Interaktionseffekt H 0 : ingen skillnad i förändring i fysisk självbild mellan de två grupperna, H : skillnad i förändring i fysisk självbild mellan de två grupperna * Testa antagande om sfäriskhet Envägs upprepad mätning Mauchly's Test of Sphericity b Envägs upprepad mätning * Fysisk självbild förändras inte över tid (hos all 0 deltagare) * Förändringen över tid är olika i de två grupperna (interaktionseffekt) Measure: MEASURE_ Epsilon a Within Subjects Effect Mauchly's W Approx. Chi-Square df Sig. Greenhous e-geisser Huynh-Feldt Lower-bound physsc Tests the null hypothesis that the error covariance matrix of the orthonormalized transformed dependent variables is proportional to an identity matrix. a. May be used to adjust the degrees of freedom for the averaged tests of significance. Corrected tests are displayed in the Tests of Within-Subjects Effects table. b. Design: Intercept+group Within Subjects Design: physsc * Data sfäriskt. Läs värden enligt Greenhouse-Geiser korrektion. Measure: MEASURE_ Source physsc physsc * group Error(physSC) Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Tests of Within-Subjects Effects Type III Sum of Squares df Mean Square F Sig

23 Envägs upprepad mätning Envägs upprepad mätning * Kontraster * Är den lineära förändring över tid olika i de två grupperna? Tests of Within-Subjects Contrasts Measure: MEASURE_ Source physsc physsc * group Error(physSC) physsc Linear Quadratic Cubic Linear Quadratic Cubic Linear Quadratic Cubic Type III Sum of Squares df Mean Square F Sig Analyze General Linear Model Repeated measures Analyze General Linear Model Repeated measures () Definiera inom person variabel (4) Definiera () Definiera inom person variabel (3) Lägg till () Definiera antalet nivåer 9 () Bygg modell (3) Kontraster eller posthoc test? (4) Bygg grafer (5) Deskriptiva uppgifter 9

24 BV tid BV tid Tid - tid EXP EXP EXP... Model... Contrast Olika sätt att undersöka förändring över tid Envägs ANOVA Envägs ANCOVA Envägs ANOVA med upprepad med kovariat med förändringsmätning poäng x y y kov x y x y KNTR KNTR KNTR TID x GRUPP GRUPP effekt på GRUPP effekt interaktionseffekt BV tid kontrollerande på differanspoäng för tid ( t t) 95