F9 Hypotesprövning. Statistikens grunder 2 dagtid. p-värden. Övning 1 från F8

Transkript

1 F9 Hypotesprövg Statstkes gruder dagtd HT 01 Behöver komma håg alla formler? Ne, kolla formelbladet Me vlka som behövs eller te beror på stuatoe Det som ska läras är är behöver Z eller T och hur ma läser och tolkar formlera. Motvera och fasställa krtska gräser ska kua. Förstå strukture för test. p-värde Övg 1 frå F8 Atag att v får e puktskattg för ågo parameter fokus. Atag att v har e ollhypotes också. Me v har te bestämt ågo sgfkasvå α. Atag u att de krtska gräse lkställs med puktskattge. Vad skulle det motsvara för sgfkasvå dvs. α? Teta , uppgft. b) Hypotesprövg om π H 0 : π = 0,4 H 1 : π < 0,4 Sgfkasvå: v valde α = 0,05 Krtskt område z obs < -1,96 = z 0,95 dvs. P(Z -1,96) = 0, z obs = - 0, = - 4,37 0,4 0,58/1430 1

2 Övg 1, forts. Övg 1, forts. Atag att de krtska gräse stället var ust -4,37 Detta motsvarar e sgfkasvå på P(Z -4,37) = 0, Ma säger att det observerade värdet på testvarabel Z har ett p-värde på 0, Resultatet skulle bl sgfkat på 0,00061 % vå Ma behöver te alltd bestämma α förväg, ämför resultatet (här z obs ) mot olka val av α P(Z -1,96) = 0, P(Z -4,37) = 0, = p-värdet Övg frå F8 Övg, forts. Teta , uppgft 5. Hypotestest med parvsa dffereser; H 0 : μ D = 0 H 1 : μ D 0 Sgfkasvå: α = 0,05 Testvarabel och dess fördelg: T S D D ~ t(7) Krtskt område: förkasta H 0 om t obs > t 0,05 (7) =,365 Beräkg och sättg gav -0,375 t obs 0,7533 1, Om det krtska området stället hade vart t obs > 0,7533 hade detta motsvarat e sgfkasvå elgt P( T > 0,7533) = =P(T<- 0,7533) + P(T> 0,7533) = = 0,38 = 0,476 = p-värdet

3 Övg, forts. Kap 18 -test P(Z -0,7533) = 0,38 P(Z > 0,7533) = 0,38 Test httlls: medelvärde μ eller adelar π esklda eller ämförelser Storheter på kvotskala P(Z -,365) = 0,05 P(Z >,365) = 0,05 Måste komma håg att det är ett dubbelsdgt test är ma beräkar p-värdet! p-värde = 0,38 = 0,476 Nomal- eller ordalskala då? Med dessa skaltyper hamar observatoer e av flera mölga kategorer. Ma räkar atal vare kategor Mölggör e aa typ av test Deftoer -test, forts. stycke observatoer X, = 1,, X kategor 1 kategor kategor K Nomal- eller ordalskala Me, ka äve vara räketal π = saolkhete att e observato X ska lgga kategor N = atalet av observatoer som hamar kategor (s.v.) = observerat atal kategor -test bygger på ämförelser mella förvätat atal observatoer (uder H 0 ) och observerat atal observatoer Förvätat atal: Jämför: E(N ) = π π Kvadrera: ( π ) Relatv avvkelse: ( π ) /π Summera över alla kategorer: K 1 ( π ) π Notera 3

4 test, forts. -test, forts. Ett aat sätt att skrva som kaske är lättare att komma håg: K 1 Egeskaper: (Observerat Förvätat) är approxmatvt -fördelad med ett vsst atal frhetsgrader Atalet frhetsgrader bestäms lte olka beroede på typ av test Om ma observerar ett för stort värde på så är avvkelsera för stora och ma förkastar H 0 Förvätat Tumregel: För att det ska fugera ska förvätat atal vare cell vara mst lka med 5, dvs. E(N ) = π 5 för alla. Om det te är fallet ka ma slå hop kategorer (kollapsa). T.ex. om ma har Kat Σ = E(N ) 0,9 51,6 15, 8, 4,1 100 ka ma slå hop kategor 4 och 5 tll Kat &5 Σ = E(N ) 0,9 51,6 15, 1,3 100 Goodess-of-ft test 1 Goodess-of-ft test Ma atar att kategorera föler e vss gve saolkhetsfördelg, t.ex. Kategor A B C D E Σ π 0,35 0,5 0,0 0,10 0,10 1,00 Ma observerar e emprsk fördelg, t.ex. av = 00 observatoer Kategor A B C D E Σ = Jämför mot det förvätade atalet uder atagadet (H 0 ): Kategor A B C D E Σ π 0,35 0,5 0,0 0,10 0,10 1,00 π ( π ) ( π ) dff /π 5/70 1/50 16/40 1/30 9/10 1,8 Ka ma påstå att data stöder atagadet om fördelg? obs K ( π ) π 1 1,

5 Goodess-of-ft test 3 Goodess-of-ft test 4 H 0 : fördelge för X elgt det gva H 1 : e fördelat elgt det gva Testvarabel: K ( 1 π ) π ~ ( K 1) dvs. med K-1 frhetsgrader. Varför? K-1 av saolkhetera π 1,,π K ka bestämmas (relatvt) frtt Så fort ma har bestämt K-1 av dem, är de ssta bestämd, t.ex. elgt π K 1 K-1 1 π V tappar e frhetsgrad! I detta fall ger 5 stycke saolkheter att v får 5-1 = 4 frhetsgrader Sgfkasvå: säg 5 % Krtskt område: H 0 förkastas om obs 0,05 (4) [el.tab.] 9,488 Slutsats: H 0 ka te förkastas, fs get data som säger att H 0 te skulle vara sat på 5 % vå. Obs! Detta är ett ekelsdgt test, varför? Ett värde ära oll betyder små avvkelser, dvs. bra apassg och stöd tll H 0. Goodess-of-ft: varat Atag att ma tror att e uppsättg observatoer föler e Possofördelg Me ma vet te vlke, dvs. λ är okät och måste skattas först Exempel: v har observerat fölade: x Σ Frekves H 0 : X är Possofördelad H 1 : X e Possofördelad Goodess-of-ft: varat forts. Testvarabel: λ skattas tll λˆ x 1, Beräka saolkhetera P(X = x) för x = 0,,3 samt P(X 4) med λ = 1,3 och seda förvätat atal osv.: x Σ P(X = x),75,3543,303,0998,0431 1,00 E(N x ) 7,5 35,43 3,03 9,98 4, x Dff x /E(N x ),0 3,07 0,40,53 0,11 8,31 K ( π ) π < 5, egetlge för ltet! 5

6 Goodess-of-ft: varat forts. Testvarabels fördelg: ~ (K 1 1) dvs (3) Oberoedetest 1 Att pröva e hypotes om att två s.v. är statstskt oberoede fem kategorer totalt e frhetsgrad förloras för att saolkhetera ska summera tll 1 e frhetsgrad förloras för att skatta λ Sgfkasvå: α = 5 % Krtskt område: obs 0,05 (3) 7,815 Slutsats: Då obs 8,31 7,815 förkastas H 0 på 5 % vå, data pekar på att X te är Possofördelad. Atag två att ma har två kategorska s.v. X och Y ex. omal eller ordalvarabler me fugerar äve på kategorserade tervalloch kvotskalevarabler Hypoteser: H 0 : X och Y är oberoede H 1 : X och Y är e oberoede Oberoedetest Oberoedetest 3 Exempel: atag fölade tvåvägstabell med saolkheter: Saol. Y = 1 3 Σ X = 1 π 11 π 1 π 13 π 1 π 1 π π 33 π 3 π 31 π 3 33 π 3 4 π 41 π 4 π 43 π 4 Σ π 1 π π 3 1 Om två s.v. är statstskt oberoede gäller P(X = x Y = y) = P(X = x) P(Y = y) dvs. π xy = π x π y för vare x och y. E tvåvägstabell med frekveser för X och Y observeras (eg. cotgecy table): Atal Y = 1 3 Σ X = Σ 1 3 Skattgar av margalsaolkhetera: πˆ x x y πˆ y 6

7 Oberoedetest 4 Övg oberoedetest Av totalt stycke par av X och Y ka e skattg av det förvätade atalet vare cell skrvas x y x y E( Nxy ) πˆ x πˆ y Testvarabel är R C ( πˆ x πˆ πˆ πˆ x1 y1 x y som är fördelad med (R 1)(C 1) frhetsgrader. Dvs. (# rader 1) (# kolumer 1) exklusve margaler. xy y ) E sammaställg av trvselvå på arbetet blad sälara på ett läkemedelsföretag fördelat på kö ges eda: Atal Y = Låg Medum Hög Σ X = Ma Kva Σ H 0 : trvsel och kö är oberoede H 1 : trvsel och kö är e oberoede Testvarabel: 3 ( xy πˆ x πˆ πˆ πˆ x1 y1 x y y ) Övg, forts. Övg, forts. Testvarabel: x1 y1 3 3 x1 y1 ( ( xy xy πˆ x πˆ πˆ πˆ x x x y y y / y ) / ) Atal Y = Låg Medum Hög Σ X = Ma Kva Σ E( N ma,låg ) låg ma Fördelg: med ( 1)(3-1) = f.g. Krtskt gräs: Beräka alla förvätade atal uder H 0 Ex. E(N ma,låg ) = / 190 = 45,474 E(Nx,y) Y = Låg Medum Hög Σ X = Ma 45,474 59,789 54, Kva 8,56 11,11 10,63 30 Σ obs 0,05() 5,99 obs (46 45,474) (110,63)... 45,474 10,63 0,543 5,99 7

8 Homogetetstest F10 Lte kort om -test Testa om flera fördelgar är lka Se exempel sdor 7-9, testa om fördelge är desamma för fem olka läder. Prcpe desamma som för oberoedetest och för beräkge av atal frhetsgrader. Ka läsa på sälva! Testvarabel: K 1 fördelat med frhetsgrader bestämt av rader och/eller kolumer Goodess-of-ft: (Observerat Förvätat) # kategorer 1 Goodess-of-ft med skattade parametrar: # kategorer 1 # parametrar Oberoedetest / homogetetstest: (# rader 1) (# kolumer 1) Förvätat Kap 19 Beslutsteor Exempel Beslutsteor är att defera de åtgärder v ka väla blad Tllståd aturtllståd (state-of-ature), som kommer att äga rum Ev. e saolkhetsfördelg för de olka tllståde Nytta av kombatoe alteratv och tllståd vad v ver eller förlorar köpa eller säla akter Tllståd Hög- eller lågkouktur Saolkhetsfördelg P(Hög) + P(Låg) = 1 Nytta täa eller förlora pegar Extra formato förädrgar på arbetsmarkadera USA och EU 8

9 Beslutsmatrs Beslut uder säkerhet Betecka de olka hadlgsalteratve med A (acto) tllståde med S (state) saolkhete P(S ) med p ytta med u (utlty) Nytta u Tllståd & saolkhet S 1 S S 3 p 1 p p 3 A 1 u 11 u 1 u 13 A u 1 u 3 u 3 A 3 u 31 u 3 u 33 Vare hadlg har e och edast e kosekves (tllståd) och därmed ytta. Beslutsmatrse ka se ut som: Nytta u A 1 u 11 Tllståd & saolkhet S 1 S S A u 3 A 3 u 33 Edast e ytta per rad matrse Däremot ka samma tllståd vara e kosekves av olka hadlgar (kolum) Beslut uder säkerhet Beslut uder rsk Saolkheter p för de olka tllståde har ge drekt fukto här Se det som betgade saolkheter: P(S 1 A 1 ) = P(S 3 A ) = P(S 3 A 3 ) =1 och övrga saolkheter = 0 Strateg: väl de hadlg som maxmerar ytta u Ka skppa beskrvge av oädlgt måga hadlgar och tllståd sd 6-11, Ex etc. Ma vet te med säkerhet vlket tllståd som kommer att äga rum för e gve hadlg. Me ma ka age e saolkhetsfördelg p för tllståde. Nytta u Tllståd & saolkhet S 1 S S 3 Förv. p 1 p p 3 ytta A 1 u 11 u 1 u 13 E(U 1 ) A u 1 u 3 u 3 E(U ) A 3 u 31 u 3 u 33 E(U 3 ) 9

10 Beslut uder rsk Värdet av observatoer För vare hadlg ka de förvätade ytta beräkas: E(U ) = u 1 p 1 + u p + u 3 p 3 E strateg: Väl de hadlg som maxmerar de förvätade ytta u Om ma ka skaffa sg bättre formato om framtde (vlket tllståd som kommer att äga rum) ka ma fatta bättre beslut. Dvs. väla de hadlg som ger störst ytta. Perfekt formato: Om ma vet att S äger rum, väl de hadlg som maxmerar u. Me ma vet u te vlket som kommer att äga rum, me om Perfekt formato Perfekt formato Betecka med v de största ytta som ka erhållas är S äger rum, t.ex. v 1 = max(u 11, u 1, u 31 ) Upprepa för vare tllståd Nytta u Tllståd & saolkhet S 1 S S 3 Förv. p 1 p p 3 ytta A 1 u 11 u 1 u 13 E(U 1 ) A u 1 u 3 u 3 E(U ) A 3 u 31 u 3 u 33 E(U 3 ) Nytta perfekt fo v 1 v v 3 E(V) De största av dessa, osv. Ma vet te vlket av S 1, S och S 3 som äger rum förrä ma har köpt de perfekta formatoe. Me v har saolkhetera Förvätade värdet E(V) ka beräkas: E(V) = p 1 v 1 + p v + p 3 v 3 Nytta u Tllståd & saolkhet S 1 S S 3 Förv. p 1 p p 3 ytta A 1 u 11 u 1 u 13 E(U 1 ) A u 1 u 3 u 3 E(U ) A 3 u 31 u 3 u 33 E(U 3 ) Nytta perfekt fo v 1 v v 3 E(V) 10

11 Perfekt formato Imperfekt formato 1 Strateg uder rsk uta (perfekt) formato: väl de största av E(U ) Betecka de största med E(U * ). Ka vsas att E(U * ) E(V) Alltså, v ka betala E(V) E(U * ) för att få de perfekta formatoe Detta är värdet av perfekt formato Det ka bl mer, det ka bl mdre me förväta är ytta E(V) E perfekt formato: Om ma vet att S äger rum, väl de hadlg som maxmerar u. Me ma vet te vlket som kommer att äga rum, me om Ma skaffar sg formato me av sämre kvaltet. Trots y formato vet ma te exakt vlket av tllståde som äger rum. Me v får ya (betgade) saolkheter som ka avädas sf {p }. Imperfekt formato Imperfekt formato Ma skaffar sg formato och får uppdaterade saolkheter P(S B k ) Nytta u Tllståd & saolkhet S 1 S S 3 Förv. P(S 1 B k ) P(S B k ) P(S 3 B k ) ytta A 1 u 11 u 1 u 13 E(U 1 B k ) A u 1 u 3 u 3 E(U B k ) A 3 u 31 u 3 u 33 E(U 3 B k ) Nytta perfekt fo v 1 v v 3 E(V B k ) Lkar m.a.o. stuatoe med perfekt formato Iformatoe som hämtas är behäftad med osäkerhet Ma ka observera flera utfall B 1, B, Tablå på förra sda görs för vare utfall Ma måste ha saolkheter P(B 1 ), P(B ),, P(S 1 B 1 ), P(S B 1 ), P(B 1 S 1 ), P(B S 1 ), Blr sabbt svårt att häga med. Förslag: på ege had försök föla Exempel 19.1 om omelette, ka göra det lättare att förstå. 11

12 Beslut uder osäkerhet Beslut uder osäkerhet Ma käer edast tll hadlgsalteratve tllståde ytta för vare kombato av hadlg och tllståd Ma käer te tll saolkhetera för tllståde Ka te heller skaffa sg formato om dem. Fyra olka strateger: Maxm Maxmax Mmax regret Laplacekrteret Allmät: Idetfera vad som medför atge det värsta (m-) eller det bästa (max-) och maxmera eller mmera seda. Maxm Maxmax För vare hadlg detfera det värsta som ka häda (m ytta) Väl de hadlg som har det största värdet av dessa (max av alla m) Garaterar att ma åtmstoe kommer att få ust så mycket Nytta u Tllståd & saolkhet S 1 S S 3 M ytta A A A Väl För vare hadlg detfera det bästa som ka häda (max ytta) Väl de hadlg som har det största värdet av dessa (max av alla max) Ma maxmerar ytta (om ma har tur!) Nytta u Tllståd & saolkhet S 1 S S 3 Max ytta A A A Väl 1

13 Mmax regret 1 Mmax regret 1. För vare tllståd detfera de hadlg som medför max ytta. Väl de hadlg som medför att de största alteratvförluste mmeras Nytta u Tllståd & saolkhet S 1 S S A A A Max ytta Beräka dffereser mot max ytta för vare tllståd 10-, 10-5, 10-10, 7-4 osv. Nytta u Tllståd & saolkhet S 1 S S 3 Max regret A A A Max ytta Väl Mst Geom att väla A kommer ma att ågra sg mst. Laplacekrteret Övgar för teta Som med beslut uder rsk me okäda saolkheter p Atag att alla tllståd lka mölga Dvs. p = (atal tllståd) -1 Väl de hadlg med största förvätade ytta. Nytta u Tllståd & saolkhet S 1 S S 3 Förv. ⅓ ⅓ ⅓ ytta A ,33 A ,00 A ,33 Teta , uppgft 1. a) Kofdestervall Ata att σ = 5,5 Beräka ett 95 % KI för μ (α = 0,05) Tllkommer: ata att X ~ N(μ,σ ) 30,4 Puktskattge: x 50,4 Formel: σ 6 x zα/ 5,5 Isättg ger 50,4 1,96 6 el. 50,4 ± 4,4 el. (46,0 ; 54,8) 13

14 Övg 1, forts. Övg för teta b) Beräka stckprovsstorlek Atagade gva a) Lägde på KI får vara högst 6 dvs. dvs. x 3 σ zα/σ zα/ 3 3 Isättg ger 1,96 5,5 3 Svar: mst 13 1, Teta , uppgft 3. a) Homogetetstest = 300 fördelat över kö och rökvaor Avgör på 5 % -vå om kvor och mä skler sg åt map rökvaor Data >15 Σ Mä Kvor Σ H 0 : Kvor och mäs fördelg lka H 1 : Kvor och mäs fördelg e lka Övg 3, forts. Övg 3, forts. Testvarabel och dess fördelg: kö vaor (Obs-Förv) Förv (?) Beräka förvätat atal uder H 0 : Cellera som motsvarar vaa >15 har för låg förvätat atal; tumregel 5 Kollapsa kategorera 6-15 och >15 approx >15 Σ Mä 13,63 10,64 13,68 4,05 15 Kvor 10,37 10,36 13,3 3, Σ ~ Ny tabell: >6 Σ Mä Kvor Σ Förvätade värde, fortfarade uder H 0 : >6 Σ Mä 13,63 10,64 17,73 15 Kvor 10,37 10,36 17,7 148 Σ

15 Övg 3, forts. SG: Uppgft 4 Testvarabel och dess fördelg: kö vaor ty (rader 1)(kolumer 1) = Förkasta H 0 om obs 0,05 Isättg ger obs (Obs-Förv) Förv () Slutsats: V förkastar H 0 på 5 % vå; kvors och mäs rökvaor skler sg åt ~ approx () [el.tab.] ,9939 0,05 () 5.99 a) Beslutsmatrs. Nytta u Om Mtt bud > Motbud: Nytta = Avkastg Mtt bud = 100 Mtt bud Om Mtt bud < Motbud: Nytta = 0 Motbud & saolkhet Iget bud Bud 50 Bud 70 Mtt bud p 0 p 50 p 70 Bud Bud Bud SG: Uppgft 4, forts. SG: Uppgft 4, forts. b) Maxm: F sämsta ytta för vare hadlg Väl max av dessa c) Beslut uder rsk: Förvätad ytta per hadlg Väl max av dessa Nytta u Tllståd & saolkhet Iget bud Bud 50 Bud 70 M ytta p 0 p 50 p 70 Bud Bud Bud Nytta u Tllståd & saolkhet Iget bud Bud 50 Bud 70 0,5 0,50 0,5 Förv. ytta E(U ) Bud Bud Bud Väl Max Väl Max 15

16 SG: SG: Uppgft Uppgft 1 Goodess-of-ft test, dvs. -test med H 0 : Saolkhetera är π rosa = 0,50, π vta = 0,5, π röda = 0,5 H A : Saolkhetera e elgt 3 klasser/kategorer ger frhetsgrader Testvarabel är ()-fördelad Kategor Rosa Vta Röda Σ π (uder H 0 ) 0,50 0,5 0,5 1,00 Förv. = π Observ (O-F) /F 3,75 3,33 0,83 7,9 a) Beslutsmatrs. Nytta u Mtt bud Tecka försäkrg Tecka e försäkrg Om Teckar försäkrg : Skada & saolkhet Ige Lätt Nytta = Kostad Sälvrsk = 490 Sälvrsk Om Teckar e försäkrg : Svår p 0 p L p S (0 el. 1500) Nytta = Kostad Sälvrsk = 0 Sälvrsk (0, 6000 el. 100) SG: Uppgft, forts. SG: Uppgft, forts. b) Beslut uder rsk: Förvätad ytta per hadlg Väl max av dessa Extra: Maxm och Maxmax: Förvätad ytta per hadlg Väl max av dessa Nytta u Skada & saolkhet Nytta u Skada & saolkhet Mtt bud Ige Lätt Svår p 0 p L p S Förv. ytta E(U ) Mtt bud Ige Lätt p 0 p L p S Svår M Max Tecka försäkrg Tecka försäkrg Tecka e försäkrg Tecka e försäkrg Väl Max Maxm Maxmax 16

17 SG: Uppgft, forts. SG: Uppgft, forts. Extra: Mmax regret Vare tllståd: hadlg som medför max ytta Extra: Mmax regret, forts. Beräka alteratv förluste om vare tllståd Väl hadlg med mst alteratv förlust Nytta u Mtt bud Skada & saolkhet Ige Lätt Svår Nytta u Mtt bud Skada & saolkhet Ige Lätt Svår Max p 0 p L p S p 0 p L p S Tecka försäkrg Tecka försäkrg Tecka e försäkrg Tecka e försäkrg Väl Mst 17