Grundläggande matematisk statistik

Transkript

1 ҧ Grudläggade matemati tatiti Hypotetet II Uwe Mezel, Syfte o o T-tet för ett ticprov ( Oe-ample t-tet ) tetar e hypote för vätevärdet μ i e ormalfördelad populatio tadardavviele σ är oäd o ollhypote: H 0 : μ = μ 0 o ett ticprov xҧ ob (putattig för μ) ( oe-ample tet ) σ oäd ticprov attig för σ x = i= x i attig för μ

2 ҧ ҧ ҧ Tetvariabelmetode Om ollhypotee μ = μ 0 gäller är X i ~ N μ 0, σ och därför σ തX μ 0 തX~ N μ 0, σ ~ N(0,) Om σ är oäd (och erätt med attige S) får vi itället: X T = ത μ 0 ~ t(f) S Studet t - fördelig f = (frihetgrader) E obervatio av lumpvariabel T beteca med ett litet t: t = x ob μ 0 obervatio, om framgår av ticprovet ( xҧ ob,, ) och ollhypotee (μ 0 ) Detta värde aväd om tettatitia ( tatitic ) i T-tetet. t = x ob μ 0 Tetvariabelmetode tettatitia för T-tet för ett ticprov. H 0 : μ = μ 0 I föreläige F hade vi beräat det ritia värdet ω för de alterativa hypotee H a : μ > μ 0 geom att löa evatioe P തX > ω H 0 a Vi fic löige ω = μ 0 + t = (där är de förvalda aolihete för ett fel typ I). Nollhypotee förata om xҧ ob > ω, dv. om xҧ ob > μ 0 + t H 0 förata alltå om x ob μ 0 > t H 0 förata alltå om (e ocå appedixet) eidigt tet; H a : μ > μ 0 t > t eidigt tet; H a : μ > μ 0

3 Tetvariabelmetode H 0 förata om t > t eidigt tet; H a : μ > μ 0 t( ) Kritit område, igifiaivå : f X x Om obervatioe t hamar i det ritia området (röd), å förata ollhypotee. OBS: På bilde är torlee av de ritia regioe överdrive. t ( ) H 0 förata ite om t ligger här H 0 förata om t ligger här Aaloga lutater a ma äve dra för de adra alterativa hypoteer Kritia område σ oäd H 0 : μ = μ 0 (ollhypote) tatitia Om t Ω (ritit område för igifiaivå ) förata H 0 H a tet Ω μ > μ 0 eidigt t > t (f) H a tet Ω μ < μ 0 eidigt t < t (f) H a tet Ω μ μ 0 tvåidigt t > t (f) 3

4 T-tet: tetvariabelmetode σ oäd H 0 : μ = μ 0 (ollhypote) tatitia:. Nollhypote H 0 : μ = μ 0. Alterativ hypote H a : μ μ 0 eller μ > μ 0 eller μ < μ 0 3. Slå fat igifiaivå, t. ex. = Beräa tatitia värde: 5. Förata H 0 om t ligger i det ritia området Ω : t (f) = vatil för t-fördelig med f frihetgrader (tabell) T-tet, exempel: vita blodceller Atalet vita blodceller per ml blod ho fria vuxa är ormalfördelad med μ 0 = 7500 (mätt ho miljotal mäior, a därför ae om aa populatioparameter) Har atroauter amma geomittliga ocetratio av vita blodceller? Sticprov: 730, 6845, 7055, 735, 700, 7450, 7750, 7950, 7340, 750 xҧ ob = ; = (e atroauter.r ). Nollhypote H 0 : μ = μ 0 = Alterativ hypote H a : μ μ 0 (vi har ige aig till vilet håll μ a avvia) 3. Sigifiaivå = Beräa tatitia värde: 5. Förata H 0 om t ligger i det ritia området Ω : Statitia t ligger ite i det ritia området. Vi föratar ite ollhypotee. Vi a ite påtå att atroauter har e ocetratio av vita blodceller om avvier frå jordpopulatioe. 4

5 Diretmetode (beräig av p-värdet) σ oäd H 0 : μ = μ 0 (ollhypote) H a : μ > μ 0 ഥx ob p F T t = fördeligfutio för Studet t, frihetgrader H a : μ < μ 0 p ഥx ob H a : μ μ 0 ഥx ob > μ 0 t > 0 p ഥx ob p Om ഥx ob < μ 0 förädra beräige lite, med amma reultat (om t aväd) T-tet med R?t.tet # help x=c(3., 3, 30.4, 3, 3., 3., 30.3, 9.6, 30.5, 30.8) H a : μ > μ 0 ഥx ob p t.tet(x, alterative = "greater", mu = 30, cof.level = 0.95) H a : μ < μ 0 p ഥx ob t.tet(x, alterative = le", mu = 30, cof.level = 0.95) H a : μ μ 0 p ഥx ob p t.tet(x, alterative = two.ided", mu = 30, cof.level = 0.95) # t = 3.708, df = 9, p-value = H o förata 5

6 T-tet för två ticprov ( Two-ample t-tet ) Syfte: o tetar om två oberoede, ormalfördelade populatioer uppviar ett vit hypoteti illad Δμ mella dera vätevärde (met teta om Δμ 0 = 0) o Nollhypote: H 0 : μ x μ y = Δμ 0 ( Δμ 0 met 0, alltå H 0 : μ x = μ y ) o två ticprov xҧ ob ; തy ob ; x ; y (putattigar) σ x oäd ticprov σ y oäd ticprov attigar för σ x,y Tetvariabelmetode A) Vi atar att tadardavvielera är oäda me lia σ x = σ y = σ (ituatioe vi reda hade för itervallattig, e föreläig). uder H 0 : f = x + y frihetgrader tettatitia här atog H 0 : Δμ 0 = 0 (μ x = μ y ) pooled tadard deviatio t(f) Kritia område, igifiaivå : (eidiga tet aalogt, e formelamlig på mattat.de) 6

7 Tetvariabelmetode B) Vi atar att tadardavvielera är oäda och olia σ x σ y (Welch tet, Smith-Satterthwaite tet) uder H 0 : här atog H 0 : Δμ = 0 tettatitia här atog H 0 : Δμ = 0 (μ x = μ y ) frihetgrader, avruda (er) om ite heltal t(f) Kritia område, igifiaivå : T-tet för parade ticprov pero A B C D E F G H före efter beräa oäd fördelig för medelvärdet av Z i Nollhypote H 0 : Δμ = μ 0 ( oftat μ 0 = 0 ; dv. hypote: ige illad) uder H 0 : 7

8 T-tet, parade ticprov, tetvariabelmetode tettatitia atar Δμ 0 = 0 H 0 : Δμ = 0 (defiitio t -vatil) t(f) Kritia område, igifiaivå : (eidiga tet aalogt, e formelamlig på mattat.de) T-tet för parade ticprov, ammafattig båda σ oäd H 0 : Δμ = 0 (ollhypote) tatitia:. Nollhypote H 0 : Δμ = 0 (eller μ = μ 0 ). Alterativ hypote H a : μ 0 eller μ > 0 eller μ < 0 3. Betäm igifiaivå, t. ex. = Beräa tatitia värde: 5. Förata H 0 om t ligger i det ritia området Ω : (eidiga tet aalogt, e formelamlig på mattat.de) 8

9 T-tet med R e t.ex. Några exemple: ett ticprov, H 0 : μ = μ 0 ; H a : μ μ 0 t.tet(x, alterative = "two.ided", mu = 7500, cof.level = 0.95) två ticprov, amma variaer, H 0 : μ x = μ y ; H a : μ x μ y t.tet(x, y, alterative = "two.ided", mu = 0, var.equal = TRUE, cof.level = 0.95) två ticprov, olia variaer, H 0 : μ x = μ y ; H a : μ x μ y t.tet(x, y, alterative = "two.ided", mu = 0, var.equal = FALSE, cof.level = 0.95) två parade ticprov, H 0 : μ = 0; H a : μ 0 t.tet(x, y, alterative = "two.ided", paired = TRUE, mu = 0, cof.level = 0.95) Att teta om X, Y är ormalfördelade: hit(y, col="red") # hitogram, borde ugefär e ut om e ormalfördelig qqorm(y); qqlie(y, col = ) # putera borde ugefär vara på e rätt lije tet: ad.tet (library(ortet) ;.tet ; hapiro.tet ANOVA Syfte o t-tet: tetar om ormalfördelade populatioer har amma vätevärde o ANOVA: tetar om fler ä ormalfördelade populatioer har amma vätevärde o För att teta detta aväd variaera (!) (ANalyi Of VAriace) o tadardavvielera oäda, me de måte vara (ugefär) lia! o ollhypote: H 0 : μ = μ = = μ ( ticprov) o alterativ hypote: mit ett lihettece gäller ite o tetet äger igetig om vile/vila vätevärde avvier därför behöv ett å allad pot-hoc tet fler ä populatioer 9

10 ANOVA fler ä populatioer Tetet utför geom att aalyera variaera (ANalyi Of VAriace)) Mätvärde för tre grupper: grupp grupp3 pridig mella grupper grupp pridig iom e grupp pridig iom e grupp ituitivt: gruppera är olia om pridige mella grupper är betydligt törre ä pridigara iom gruppera ANOVA ituitivt: gruppera är olia om pridigara mella grupper är betydligt törre ä pridigera iom gruppera grupp grupp grupp3 troligtvi ige igifiat illad mella medelvärde (H 0 a ite förata), må illader a ebart bero på lumpe. grupp grupp grupp3 populatioer har troligtvi ite amma medelvärde (H 0 förata), illadera a vara igifiata. 0

11 ҧ ANOVA Sum of Square aväd för att mäta pridige: S xx = x i i= x x 8 x xҧ x 3 x 5 x 0 Sum of Square aväd för att beriva pridige (proportioellt till ticprovvariae). Det fi flera orter om aväd för att geomföra ANOVA ANOVA Total Sum of Square i Total SS = Y ij തY i= j=

12 ANOVA Sum of Square for Treatmet SST = i തY i തY i= ANOVA Sum of Square for Error i SSE = Y ij തY i i= j=

13 ANOVA: att dela upp variatioe Total SS = SST + SSE i i= j= Y ij തY = i i= i തY i തY + Y ij തY i i= j= Total SS = Total Sum of Square SST = Sum of Square for Treatmet SSE = Sum of Square for Error atalet grupper (populatioer) i atalet värde i grupp i ANOVA: tetvariabelmetode SST = i തY i തY ummerar grupper SST ~ χ ( ) i= i SSE = Y ij തY i i= j= SSE ~ χ ( ) ummerar över gruppera och mätvärde i varje grupp uder H 0 : F = SST ~ F, SSE tetvariabel F-fördelig med frihetgrader i täljare ( umerator degree of freedom ) frihetgrader i ämare ( deomiator ) Tetvariabel F blir deto törre ju mer ågo grupp medelvärde avvier frå de adra (SST blir törre). Vi föratar alltå ollhypotee om e obervatio av F blir törre ä repetive vatil (jämför härledige för T-tetet): 3

14 ANOVA: tetvariabelmetode F ~ F, P F > ω H 0 a = P F > F, = ω = F, f X x X ~ F, Kritit område, igifiaivå : Om obervatioe F hamar i det ritia området (röd), å förata ollhypotee. Förutättigara: o X i ~ N (räcet om ugefär N) o σ i = σ (måte ugefär gälla) o oberoede ticprov = 0.05 F, : vatilera för F-fördelig, med rep. frihetgrader Oe-way ANOVA: tetvariabelmetode. Hypote H 0 : μ = μ =... =. Sigifiaivå: = Sticprov 4. Tetvariabel 5. Förata H 0 om SST = i തY i തY i= i SSE = Y ij തY i i= j= SST F = ~ F, SSE Fler alterativa hypoteer fi ite; atige är alla vätevärde lia eller ite. 4

15 ANOVA SST och SSE a ocå beräa med hjälp av medelvärdea och tadardavvielera: i SST = SSE = Y i S ( Y Y ) i i Y = i= + + i ( Yij Yi ) = ( i ) Si i= j= i i giva i= Y + Y + + Y + Dea uttryc behöv är ma ite har jälva mätvärdea, uta bara ticprovtorleara, medelvärdea och tadardavvielera (eller variaera). Oe-way ANOVA: Atagade Oberoede obervatioer i de olia gruppera. Normalfördelade populatioer. ANOVA fugerar oftat bra uta att detta är väl uppfyllt. Homogea variaer. Samma pridig i de olia gruppera. Vid amma atal obervatioer i varje grupp är ANOVA gaa oäligt för brott mot detta. Levee tet, Bartlett tet a aväda för att olla om variaera är lia Vilet medelvärde avvier? Vill vi veta detta måte vi öra ett pothoc tet (bara om H 0 i ANOVA föratade) t. ex. Tuey tet Tuey tet gör parvia jämföreler, me på ett peciellt ätt: orretur för multiple compario umulativ igifiaivå (för alla tet) 5

16 ANOVA: räeexempel med 4 grupper A B C D = 6 Y = SST = MST = = 7 Y + Y + 3 Y3 + 4 Y Y = i i= SST df = 6 3 Y = i ( Yi Y ) = 7.6 SSE = ( Yij Yi ) SST = = = Y = Y = = = MSE = i= j= SSE df = 96.6 SSE = = 63.0 F = rit MST MSE = 37.5 = = F F (, ) = F F0.05( 3,9) = F 3.3 ANOVA: räeexempel med 4 grupper, alterativ A B C D A B C D x 75,67 78,43 70,83 87,75 66,67 50,6 9,77 33,58 Y + Y + 3 Y3 + 4 Y4 79 Y = = = SST = i ( Yi Y ) i= = 6 ( ) + 7 ( ) + 6 ( ) + 4 ( ) = = 7.8 SST 7.8 MST = = = SSE = ( i ) Si i= ( alterativ formel) = , ,58 = SSE MSE = = = MST 37.6 F = = = 3.77 MSE 63.0 rit = F F (, ) = F F0.05( 3, 9) = F 3.3 6

17 ANOVA: räeexempel med 4 grupper, fort. 0,8 0,7 0,6 0,5 0,4 F; df=3; df=9 rit = F F = ,3 0, 0, 0,0 0 3,3 0,05 Tetvariabel F överrider det ritia värdet (3 umerator och 9 deomiator frihetgrader). Nollhypotee förata därför. Mit ett medelvärde avvier frå de adra (igifiaivå = 0.05) ANOVA med R data(iectspray) level(iectspray$pray) ummary(iectspray$cout) boxplot(cout ~ pray, data = IectSpray, col="gree") #. futio oeway.tet oeway.tet(cout ~ pray, data = IectSpray) # amma varia I alla grupper? bartlett.tet(cout ~ pray, data = IectSpray) # ite lia problem! # ice-parametrit tet: rual.tet(cout ~ pray, data = IectSpray) #. aa futio för ANOVA: aov aov.out = aov(cout ~ pray, data = IectSpray) ummary(aov.out) TueyHSD(aov.out) # pot-hoc tet plot(tueyhsd(aov.out)) # parvi differe igifiat illad om KI:et ite går över oll e aova_ms0065.r e ocå 7

18 Appedix Hypotetet II Uwe Mezel, 08 ; Defiitio för Studet t-fördelig "Studet : peudoym om aväd av William Goet Förutättigara: o Z ~N 0, tadard ormal W~χ (ν) chi-vadrat, ν frihetgrader o Z och W oberoede Om Z och W har ovatåede fördeligar, å har följade vot e t- fördelig: t-fördelig, ν frihetgrader täthetfutio 8

19 Studet t-fördelig: härledig: tatitia är t-fördelade o Z ~N 0, tadard ormal W~χ (ν) chi-vadrat, ν frihetgrader o Z och W oberoede Kvatiler för t- fördelige T df 6 N(0,) f tor lite illad till N(0,) Större pridig (tail) för T pga. törre oäerhet vi vet ju ite σ och måte atta det (med ). 9

20 Symmetri och fördeligfutio Om täthetfutioe är ymmetri rig oll (t. ex. N, T ) gäller för fördeligfutioe att: F t = F(t) f T x F t -t 0 t F(t) T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ > μ 0 Om ollhypotee H 0 : μ = μ 0 gäller är X i ~ N(μ 0, σ). തX μ 0 ~ t( ) om σ atta med S f T x T ~ t( ) Det ritia värdet ω ta fram geom att löa: P തX > ω H 0 a = ( förvald) är x ҧ > ω förata H 0 ; = P(fel typ I) P തX ω = omforma i paratee X P ത μ 0 ω μ 0 S = X P ത μ 0 t S = μ 0 ω Ω detta gäller allmät för att terme till väter i paratee är t-fördelad med frihetgrader (vatildefiitio) 0

21 ҧ ҧ X P ത μ 0 ω μ 0 S H 0 förata alltå om T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ > μ 0 = X P ത μ 0 t S = H 0 förata om x ҧ > ω, alltå om x μ 0 > t jämförele av båda evatioer ger: ω μ 0 = t ω = μ 0 + t x ҧ > μ 0 + t H 0 förata alltå om t > t för H a : μ > μ 0 t = x μ 0 tettatitia för T-tet, ett ticprov. H 0 : μ = μ 0 T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ < μ 0 Om ollhypotee H 0 : μ = μ 0 gäller är X i ~ N(μ 0, σ). തX μ 0 ~ t( ) om σ atta med S f T x T ~ t( ) Det ritia värdet ω ta fram geom att löa: P തX < ω H 0 a = ( förvald) är x ҧ < ω förata H 0 ; = P(fel typ I) P തX ω = omforma i paratee X P ത μ 0 ω μ 0 S = X P ത μ 0 t S = Ω ω detta gäller allmät för att terme till väter i paratee är t-fördelad med frihetgrader (vatildefiitio) μ 0

22 ҧ ҧ X P ത μ 0 ω μ 0 S H 0 förata alltå om T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ < μ 0 = X P ത μ 0 t S = H 0 förata om x ҧ < ω, alltå om x μ 0 < t jämförele av båda evatioer ger: ω μ 0 = t ω = μ 0 t x ҧ < μ 0 t H 0 förata alltå om t < t för H a : μ < μ 0 t = x μ 0 tettatitia för T-tet, ett ticprov. H 0 : μ = μ 0 T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ μ 0 Om ollhypotee H 0 : μ = μ 0 gäller är X i ~ N(μ 0, σ). തX μ 0 ~ t( ) om σ atta med S De ritia värde ω, ta fram geom att löa: f T x T ~ t( ) P തX < ω തX > ω H 0 a = P ω < തX ω = P ω < തX ω = P ω μ 0 < ത X μ 0 ω μ 0 S = ω μ 0 ω P X t < ത μ detta gäller allmät för att terme till 0 t S = väter i paratee är t-fördelad med frihet- grader (vatildefiitio)

23 ҧ ҧ ҧ T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ μ 0 P ω μ 0 X < ത μ 0 ω μ 0 S P X t < ത μ 0 S = t = båda evatioer jämför (e ere) termer till väter: termer till höger: ω μ 0 ω μ 0 = t ω = μ 0 t = t ω = μ 0 + t T-tet, tetvariabelmetode Härledig av det ritia värdet för H a : μ μ 0 ω = μ 0 t ω = μ 0 + t H 0 förata om x ҧ < ω eller om x ҧ > ω, alltå om x ҧ < μ 0 t x μ 0 < t eller om eller om x ҧ > μ 0 + t x μ 0 > t t < t eller om t > t H 0 förata alltå om t > t Τ för H a : μ μ 0 t = x μ 0 tettatitia för T-tet, ett ticprov. H 0 : μ = μ 0 3

24 ҧ T-tet, tetvariabelmetode Kritia område, T-tet, ett ticprov, ammafattig t = x μ 0 tettatitia H 0 : μ = μ 0 H a tet ritit område μ > μ 0 eidigt Ω = t > t H a tet ritit område μ < μ 0 eidigt Ω = t < t H a tet ritit område μ μ 0 tvåidigt Ω = t > t Uder H 0 gäller: SSE = i= F-tet, fördelig för tetvariabel ( ) i S i = ( ) S ( ) S ( ) S df = df = df = ( ) SST ( Y Y ) ( ) = i i i= atalet Z -fördelade SST ( ) SST MST ( ) F = = = F, MSE SSE SSE ( ) ( ) ( ) 4