MS-A0509 Grundkurs i sannolikhetskalkyl och statistik Sammanfattning, del II

Transkript

1 Stickprov MS-A0509 Grudkurs i saolikhetskalkyl och statistik Sammafattig del II G Gripeberg Aalto-uiversitetet 4 februari 04 Estimerig 3 Kofidesitervall 4 Hypotesprövig 5 Korrelatio och regressio G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II / 3 Mätskalor Nomialskala: Olika grupper uta aturlig ordig Ordialskala: Olika grupper med e aturlig ordig Itervallskala: Numeriska värde skillader meigsfulla olla godtycklig Kvotskala: Numeriska värde aturligt ollvärde Stickprov Målsättige är att få iformatio om slumpvariabel X som ite behöver vara reell För att få iformatio gör ma tex mätigar som ger resultate x x x och ma täker att x j är värdet av e slumpvariabel X j Slumpvariablera X X är ett stickprov av storleke och x x x är ett observerat stickprov av storleke Vi atar valige och uta att säga det explicit att X X X är oberoede och har samma fördelig som är fördelige av de slumpvariabel vi är itresserade av G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 3 / 3 Obs! Atagadet att slumpvariablera X j i ett stickprov förutsätter att vi aväder dragig med återläggig me detta villkor uppfylls sälla! Det fis dessutom måga adra större svårigheter är ma i praktike skall ta ett stickprov och detta är ett viktigt problem! Aritmetiskt medelvärde Om X j j = är ett stickprov av slumpvariabel X så är dess aritmetiska medelvärde X = X j och EX = EX och VarX = VarX G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 4 / 3

2 Stickprovsvarias Om X j j = är ett stickprov av slumpvariabel X så är dess stickprovsvarias S = X j X och vilket är motiverige för valet av istället för i ämare ES = VarX G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 5 / 3 χ -fördelige Ifall X j N0 är oberoede och Y = i= så säger vi att Y är χ -fördelad med frihetsgrader eller Y χ Då är och Y har täthetsfuktioe och f x = 0 då x < 0 X i EY = och VarY = f x = x e x x 0 Γ Stickprovsvarias för ormalfördelige Om X j j = är ett stickprov av e Nµ σ fördelad slumpvariabel så gäller för stickprovsvariase σ S χ G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 6 / 3 t-fördelige Ifall Z N0 och Y χ m är oberoede och W = Z m Y så säger vi att W är t-fördelad med m frihetsgrader eller W tm Då är EW = 0 om m > och VarW = m m f x = Γ m+ mπ Γ m Stickprov av ormalfördelige om m > och täthetsfuktioe för W är + x m m+ x R Om X j j = är ett stickprov av e Nµ σ fördelad slumpvariabel så är X µ S t G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 7 / 3 Puktestimat och estimator Atag att vi vet eller tror att X är e slumpvariabel med frekves- eller täthetsfuktio f x θ där parameter θ som också ka vara e vektor är okäd Vad ka ma göra för att estimera eller skatta θ? Ta ett observerat stickprov x j j = Räka ut ett estimat ˆθ = gx x x där g är ågo fuktio Observera att ˆθ är ett tal eller e vektor meda ˆΘ = gx X X är e slumpvariabel Iblad är det fuktioe g som avses med ordet estimator och iblad slumpvariabel ˆΘ Itervallestimat Istället för att bara räka ut ett tal eller e vektor som estimat för e parameter ka ma också räka ut ett itervall G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 8 / 3

3 Mometmetode Om frekves- eller täthetsfuktioe f x θ för e saolikhetsfördelig är såda att θ ka skrivas som e fuktio av EX dvs θ = hex där X har täthetsfuktioe f x θ så är mometestimator av θ ˆΘ = h X j Om parameter eller parametrara ka skrivas som e fuktio hex EX blir estimator på motsvarade sätt ˆΘ = h X j X j Maximum likelihood - metode Om f x θ är e frekves- eller täthetsfuktio för e saolikhetsfördelig så är Maximum likelihood -estimatet av θ talet θ sådat att L θ x x x = max Lθ x x x θ där Lθ x x x = f x θ f x θ f x θ är de sk likelihood -fuktioe och x j j = är ett observerat stickprov av e slumpvariabel med frekves- eller täthetsfuktioe f x θ I det diskreta fallet är Lθ x x x saolikhete för att ma då parameter är θ får det observerade stickprovet x j j = I fallet med täthetsfuktio är h Lθ x x för små positiva h ugefär saolikhete att få ett observerat stickprov y j j = så att y j x j < h för alla j G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 9 / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 0 / 3 Kofidesitervall Ett kofidesitervall med kofidesgrade α för e parameter θ i e saolikhetsfördelig är e itervallestimator I X X X = [ax X X bx X X ] så att Pr θ I X X X = α Oftast aväds också ordet kofidesitervall för itervallet I x x x dvs värdet av slumpvariabel är ma fått ett observerat stickprov x j j = Obs! Valige väljer ma kofidesitervallet symmetriskt så att Prθ < ax X X = Prθ > bx X X = α Oftast får ma öja sig med att villkore för kofidesitervallet gäller edast approximativt G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II / 3 Kofidesitervall för vätevärdet då X Nµ σ Om X X X är ett stickprov med medelvärde X och stickprovsvarias S av e Nµ σ fördelad slumpvariabel så är [ ] S + α S X F + α t X + F t ett kofidesitervall för µ med kofidesgrade α Kofidesitervall för p då X Beroullip Om X X X är ett stickprov med medelvärde X av e Beroullip-fördelad slumpvariabel så är X X X F N0 + α X X + α X + F N0 ett approximativt kofidesitervall för µ med kofidesgrade α G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II / 3

4 Obs! Ofta aväds beteckige t α = t α m = F tm α vilket alltså betyder att om X är e tm fördelad slumpvariabel så är PrX t α = PrX t α = α och Pr X t α = α Motsvarade beteckig för ormalfördelige N0 är z α Kofidesitervall för σ då X Nµ σ Om X X X är ett stickprov med stickprovsvarias S av e Nµ σ fördelad slumpvariabel så är [ ] S S F χ +α F χ α ett kofidesitervall för σ med kofidesgrade α G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 3 / 3 Hypotesprövig Ma prövar om det fis skäl att förksasta e hypotes H 0 ollhypotese och i stället acceptera dess alterativ H För att kua göra ågra beräkigar måste ma som ollhypotes välja ett tillräckligt etydigt påståede tex θ = θ 0 och ite θ θ 0 som är för diffust Oftast räcker det om ollhypotese har ett etydigt extremfall tex θ θ 0 I ollhypotese igår oftast måga adra atagade om fördeligar oberoede osv som ka ha stor betydelse för resultatet När ma tagit ett stickprov räkar ma ut e testvariabel vars fördelig ma åtmistoe approximativt käer till Med stöd av ollhypotese räkar ma ut saolikhete det sk p-värdet för att testvariabel får ett mist lika extremt värde i förhållade till ollhypotese som det observerade stickprovet gav Om p-värdet är midre ä e give sigifikasivå förkastar ma ollhypotese och accepterar de alterativa hypostese H Sigifikasivå är alltså saolikhete för att ma förkastar ollhypotese trots att de gäller G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 4 / 3 Normalfördelig H 0 : Vätevärde = µ 0 X j j = atas vara ett stickprov av X där X Nµ σ H 0 : µ = µ 0 Testvariabel: T = X µ 0 S t p-värde: F t x µ 0 s Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde t α t α där t α = F t α = F t α Normalfördelig H 0 : Vätevärde µ 0 eller µ 0 X j j = atas vara ett stickprov av X där X Nµ σ H 0 : µ µ 0 eller µ µ 0 Testvariabel: T = X µ 0 S t p-värde: F t x µ 0 x µ eller F t 0 s s Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde t α eller t α där t α = F t α = Ft α G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 5 / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 6 / 3

5 Adel eller saolikhet H 0 : p = p 0 X j j = atas vara ett stickprov av X där X Beroullip H 0 : p = p 0 Testvariabel: Z = X p 0 p 0 p 0 Approximativt p-värde: F N0 z α a N0 x p 0 p 0 p 0 Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde z α z α där = FN0 α = F N0 α Alterativt exakt med p-värdet F Bip p 0 + x p 0 + F Bip p 0 x p 0 Likadaa modifikatioer för esidiga hypoteser som för vätevärdet av e ormalfördelad slumpvariabel Normalapproximatio X j j = atas vara ett stickprov av X med e fördelig så att f X X a Nθ σ H 0 : Ef X X = θ 0 Testvariabel: Z = f X X µ 0 a N0 där σ är ågot σ estimat av σ är H 0 gäller Approximativt p-värde: F N0 f X X θ 0 Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde z α z α där = FN0 α = F N0 α z α σ G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 7 / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 8 / 3 Normalfördelig två stickprov samma varias H 0 : Samma vätevärde X j j = x och Y j j = y atas vara stickprov av X Nµ x σ och Y Nµ y σ och alla slumpvariabler är oberoede H 0 : µ x = µ y X Y Testvariabel: T = t x + y x Sx +y S y x + y x + y x y p-värde: F tx + y x sx + y sy x + y x + y Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde t α t α där = Ft x + y α = F t x + y α t α G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 9 / 3 Två adelar eller saolikheter X j j = x och Y j j = y atas vara ett stickprov av X och Y där X Beroullip x och Y Beroullip y H 0 : p x = p y eller p x p y X Y Testvariabel: Z = a N0 där ˆP ˆP + x y ˆP = xx + y Y x + y x y Approximativt p-värde: F N0 ˆp ˆp x + y eller F N0 x y ˆp ˆp x + y Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde z α z α där = FN0 α = F N0 α eller i mägde z α z α G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 0 / 3

6 Apassig eller Goodess-of-fit X j j = atas vara ett stickprov av e slumpvariabel med värdemägd m k= A k där mägdera A k är disjukta H 0 : PrX A k = p k k = m O k E k Testvariabel: C = m k= E k a χ m där E k = p k och O k är atalet elemet i { j : X j A k } p-värde: F χ m c Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde F α χ m Om p k = p k θ θ j och dessa parametrar estimeras med stickprovet så gäller C a χ m j G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II / 3 Obs! Om X j j = är ett stickprov av e Beroullip-fördelad slumpvariabel så är X p = k=0 p p O k E k E k där E 0 = p E = p O 0 = X j och O = X j dvs de förvätade och observerade atale ollor och ettor Oberoede X j j = atas vara ett stickprov av e slumpvariabel med värdemägd r i= c k= A ik där mägdera A ik är disjukta H 0 : PrX A ik = p i p k i = r och k = c Testvariabel: C = r c O ik E ik i= k= E ik a χ r c där O ik är atalet elemet i { j : X j A ik } och E ik = c m= O im r m= O mk p-värde: F χ r c c Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde F α χ r c G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II / 3 F-fördelige Ifall Y χ m och X χ så är m Y Fm dvs följer X F-fördelige med parametrara eller firhetsgradera m och Täthetsfuktioe för dea fördelig är f Fm x = x B m m x m ΓaΓb m x+ m+ där Ba b = Γa+b Variaser X j j = x och Y j j = y atas vara stickprov av X Nµ x σ x och Y Nµ y σ y och alla slumpvariabler är oberoede H 0 : σ x = σ y Testvariabel: F = S y Sx F y x s y p-värde: F Fy x sx om s y och sx s y F Fy x om s y sx s x Hypotese förkastas på sigifikasivå α om p < α dvs om testvariabel får ett värde i mägde F F y x α FF y x α I detta fall är atagadet beträffade ormalfördelig viktigt! G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 3 / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 4 / 3

7 Korrelatio Korrelatioskoefficiete mella slumpvariablera X och Y är ρ XY = CorX Y = CovX Y VarX VarY och om X j Y j j = är ett stickprov av slumpvariabel X Y så är stickprovskorrelatioskoefficiete R XY = X j X Y j Y S xy X j X = Y j Y Sx Sy där och S x = S xy = X j X Y j Y X j X S y = Y j Y G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 5 / 3 Stickprovskorrelatioskoefficietes fördelig Ifall X j Y j i = är ett stickprov av e ormalfördelad slumpvariabel X Y med korrelatioskoefficiet ρ xy = 0 och σ x > 0 och σ y > 0 så gäller R XY R XY t Ifall X j Y j i = är ett stickprov av e ormalfördelad slumpvariabel X Y med < ρ xy < och σx > 0 och σy > 0 så gäller + l RXY + a N R l ρxy XY ρ XY 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 6 / 3 Mista-kvadrat-metode då y b 0 + b x Om ma atar att sambadet mella x och y är y b 0 + b x puktera x j y j j = är giva och ma vill bestämma a och b så att y j b 0 b x j miimeras så ka det av måga skäl vara bra att först räka ut x = x j och y = y j och seda istället miimera f b 0 b = y j y b 0 b x j x Eftersom x j x = y j y = 0 är b f b0 0 b = b 0 så optimerigsvillkoret b f b0 0 b = 0 ger b 0 = 0 Nu är f b 0 b = b x j x y j y x j x så att ekvatioe f b 0 b = 0 har lösige b = x j xy j y x j x Mista-kvadrat-metode forts Koefficiete b 0 i uttrycket y = b 0 + b x blir då b 0 = y b x Ett aat sätt att formulera samma räkig är att defiiera matrise M x! med Mj = och Mj = x j dvs M = vektor Y med x y [ ] b0 Y j = y j dvs Y = och vektor C = Fuktioe som skall y miimeras då ka skrivas som Y j k= Mj kck = Y MC Miimipukte uppås därför då [ b0 b b ] = C = M T M M T Y G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 7 / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 8 / 3

8 Regressio Slumpvariabel Y atas förutom slumpe bero på variabel x så att Y = β 0 + β x + ε där ε är e slumpvariabel som atas vara oberoede av x Ett stickprov av Y är därför av type x j Y j j = där ε j = Y j β 0 β x j är oberoede slumpvariabler med samma fördelig som valige atas vara N0 σ Med mista kvadratmetode som är föruftig precis då ε N0 σ får vi följade estimatorer för β β 0 och σ : B = S xy sx B 0 = Y B x S = Y j B 0 B x j där S xy = x j xy j Y G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 9 / 3 Regressio testvariabler Atag att ε j N0 σ j = är oberoede och Y j = β 0 + β x j + ε j j = Då är S B 0 N β 0 σ + x B N β σ χ Som testvariabler ka ma aväda B 0 β 0 T 0 = S + T = B β S s x σ s x x s x t sx t G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 30 / 3 Sambad mella estimatorera Av defiitioera ova följer också att och S = S y R xy B S Sx R xy = B Sy S x = R xy Rxy Det seare resultatet visar att test av ollhypotesera β = 0 och ρ xy = 0 ger samma resulat då ma atar ormalfördelig Talet r xy dvs värdet av slumpvariabel R xy sägs vara reggressiosmodelles förklarigsgrad Extrapolerig Om ma har gjort mätigar av ågot slag och fått resultate x j y j j = så vill ma ofta veta vilket värde y skulle få om x = x 0 Ett sätt att räka ut ett rimligt svar är att ata att y b 0 + b x bestämma b 0 och b och seda räka ut b 0 + b x 0 Ett ekelt sätt att förutom att göra dea räkig också få e uppfattig om hur stort felet ka bli är att ersätta värdea x j j = med x j x 0 och seda i ormal ordig räka ut estimat och göra hypotesprövigar för β 0 i regressiosmodelle Y = β 0 + β x + ε G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 3 / 3 G Gripeberg Aalto-uiversitetet MS-A0509 Grudkurs i saolikhetskalkyl och statistiksammafattig 4 februari 04 del II 3 / 3