Statistikteori för F vt 004 004-0 - Begt Rosé Några grudläggade begrepp och termer i statistikteori Om matematisk statistik Matematisk statistik omfattar delområdea saolikhetsteori och statistikteori, det seare ofta också kallat statistisk iferesteori. Eftersom de två områdea igår i samma äme, bör de rimlige ha ära relatio till varadra, och det har de också. Saolikhetsteori Saolikhetsteori är lära om hur slumpe uppför sig. Äve om slumpe står för det "tillfälliga", det "e förutsägbara", föler de vissa bestämda lagar. Särskilt går dessa ut på att slumpe ämar ut sig i det låga loppet, och hur de utämige sker. Exempel på mer precisa resultat är de stora tales lag och cetrala gräsvärdessatse. Statistik och statistikteori I vardagsspråket står "statistik" för att ma samlar i data och seda sammaställer dem till ust statistik (geom att beräka atal, medelvärde, mediaer, stadardavvikelser, o. dyl.). Såda dataisamlig medför valige att ma vier kuskap, och syftet är att ma med hälp av statistike ka dra slutsatser om "verklighete", eller med fiare ord göra iferes frå observatioer till "verklighet". Om slumpe varit med och "stört" isamlade data, vilket de ofta varit, är det dock lätt att bli "lurad av slumpe" i slutsatssteget. E huvuduppgift för (de statistiska) iferesteori ka formuleras så här : Statistikteori / iferesteori tillhadahåller förfarade för att dra slutsatser frå slumpstörda data uta att bli vilseledd av slumpes spel. () Om slumpstörda data Slumpstörda data förekommer ymigt i praktike. Neda ages ågra huvudtyper av situatioer där slumpe fis med i bilde. Slumpmässiga mätfel Vid så gott som alla slags mätigar (fysikaliska, kemiska, biologiska, mm.) råkar ma oftast ut för fölade. Vid upprepad mätig av, som ma tycker, precis samma sak på precis samma sätt, får ma ite precis samma resultat. Då "skyller" ma på slumpe, och talar om slumpmässiga mätfel. E syoym är att (slumpmässigt) brus föreligger. Iheret slumpvariatio Exempel : Ma sätter 0 likadaa rädisfrö i ett lad. Efter viss tid skördas rädisora. De vägs (på e mycket precis våg), och kostateras väga åtskilligt olika. Exempel : Ma sätter ya glödlampor av samma märke att lysa, och oterar hur läge de brier ia de går söder. Ma kostaterar att lamporas livslägder varierar åtskilligt. För de typ av variatio som föreligger i exemple ova har ma ofta ige bättre förklarig ä att de beror på "tillfälligheter", eller syoymt på "slumpe". Trots att fröa och lampora ser likadaa ut leder de ite till samma mätvärdr. I frösammahaget talar ma om biologisk slumpvariatio. E mer allmä term är iheret slumpvariatio, varmed avses ågotig i fölade stil : "Trots till syes lika utgågsförhållade får olika eheter olika mätvärde".
Slumpmässiga urval När ma är itresserad av förhållade i e populatio (t.ex. alla hushåll i ladet) brukar det bli för dyrt och tidskrävade att göra e totaludersökig. Valigt är, äve är itresset gäller hela populatioe, att ma öer sig med att observera ett urval av populatioes eheter. Valigt är också, och det fis goda skäl för det, att ma låter slumpe vara med och dra urvalet, och att ett slumpmässigt urval udersöks. Föreligger verklige risk att bli vilseledd av slumpe? Eligt () går statistikteori ut på att udvika att bli "lurad / vilseledd av slumpe" är ma drar slutsatser frå slumpstörda data. Är det verklige risk att bli lurad av slumpe? Jo, vi är (og?) faktiskt lättlurade, såtillvida att vi har dålig ituitio för hur slumpe slår). Trots att vi uder lågliga tider klarat oss i e värld full av slump (agtlycka, väder, skördeutfall, köet på ett yfött bar, och mycket mer) har vi förvåade dålig ituitio för slumpes spel. Sake exemplifieras eda. Exempel 3: Ma täker sigla slat 00 gåger, med "kroa" och "klave" som möliga utfall i de eskilda slatsiglige. Betrakta fölade frågor : a) Hur måga klave kommer ma att få på ett ugefär? b) Hur stor är chase att ma får mist 57 klave? Notera att frågora är högst begripliga vare sig ma läst saolikhetsteori eller e. På a) svarar de flesta uta lägre betäketid : Cirka 50. Så lågt häger ituitioe med. På b) däremot brukar svare bli högst varierade, det mesta mella 50 och 0 % förekommer. Rätt svar är :?. E sesmoral frå exemplet är fölade : För att ite bli vilseledd av slumpe är ma drar slutsatser frå slumpstörda observatioer räcker det ite med ituitio, ma måste kua "räka sig fram". Det är som statistikteori ger metoder för. De är förvisso litet krågliga, såväl begreppsmässigt som tekiskt. Me, om ma försöker "käa / tycka sig fram" istället för att "räka sig fram" är det stor risk att hama sett i slutsatsera. 3 Populatio och stickprov Två för fortsättige grudläggade begrepp är populatio och stickprov. Termera aväds, på gott och ot, med dels vardagsspråkliga, dels mer tekiska iebörder. Slumpmässigt stickprov i vardagsspråklig meig De vardagliga iebörde av "populatio" brukar i statistikteori åberopas med de mer fullstädiga terme ädlig populatio. Med e såda avses e specificerad uppsättig eheter (elemet och obekt är syoymer som förekommer) av type : Alla sågverksföretag i Sverige per 003 - - 3. () Ofta är det av itresse att skaffa iformatio om e eller flera aspekter på förhålladea i e såda populatio, iformatio som avser eheteras värde för e eller flera variabler. Exempel 4: För populatioe () ka det t.ex. vara av itresse att få veta värdea på variablera "atal aställda 003 - - 3" och "beskattigsbar vist för år 003", t.ex. för att kua beräka geomsittlig vist per aställd. (3) E mölighet är då att totaludersöka populatioe, dvs. att samla i värdea på variablera av itresse för samtliga populatioseheter. E aa mölighet är att observera variabelvärdea för bara ett slumpurval av populatioes eheter. Ma talar då om att ma observerar ett slumpmässigt stickprov frå populatioe. Slumpmässigt stickprov = utfall av oberoede likafördelade stokastiska variabler Nyssämda iebörd av "slumpmässigt stickprov" är (väl?) vad vardagsspråket får e att täka på. I Bloms bok, och därmed i de här kurse, aväds terme för det mesta med e aa, och mer tekisk iebörd. Då hadlar det, åtmistoe i eklaste versioe, om mät-
värde som framkommit uder tillsyes lika förutsättigar, me ädå blir olika på grud av slumpmässiga mätfel och / eller iheret slumpvariatio, varvid det är aturligt att betrakta observatioera som utfall av oberoede, likafördelade stokastiska variabler. Äve i de slags situatioer sägs mätvärdea utgöra ett "slumpmässigt stickprov". Neda ges Bloms defiitio, på sida. (Sidrefereser går fortsättigsvis till Blom B.) DEFINITION : Ett slumpmässigt stickprov x, x,..., x frå (saolikhets)fördelige F utgörs av utfallet av (observatioer på) oberoede stokastiska variabler X, X,.., X, vilka alla har fördelige F. (4) Kommetar : De gemesamma fördelige F i ovaståede defiitio kallas ofta för de populatio som observatioera kommer frå ; X, X..., X är ett slumpmässigt stickprov frå populatioe F. (5) Iblad sägs F utgöra e oädlig populatio (till skillad frå e "ädlig populatio"). Kokretiserade bakgrud för de termiologi ges eda. Ett slumpmässigt stickprov om 0 mätfelsstörda observatioer uppfattas som ett "utplock" av 0 värde ur e täkt oädlig föld av upprepade mätigar. Fördeligsfutioe F uppfattas som ett "idealt" (kumulativt) histogram för de oädliga mätserie. (Blom sida 5). Kommetar : På sida i Blom iförs e utvidgad defiitio av slumpmässigt stickprov. Där släpps förutsättige om att ett stickprov är utfallet av likafördelade s.v. X, X..., X står då för oberoede observatioer som ka ha olika fördeligar F, F..., F. Kommetar 3 : Terme "slumpmässigt stickprov" aväds alltså med två ågot olika iebörder, dels för ett utfall av oberoede s.v., dels för variabelvärdea för ett slumpurval av eheter frå e ädlig populatio. Skillade mella de två begreppe består framför allt i fölade. När ma frå e ädlig populatio drar ett slumpurval uta återläggig (vilket ma ormalt gör), blir observerade värde ite oberoede av varadra (i saolikhetsteoretisk meig). För ett slumpmässigt stickprov eligt (4) är, som vi kommer att se, förutsättige om observatioeras oberoede e vital del av defiitioe. Dock, om de ädliga populatioe är "stor" i förhållade till urvalet är skillade försumbar, vilket vi kommer att tala mer om lägre fram. Relatio mella saolikhetsteori och iferesteori Skillade mella saolikhetsteori och statistikteori ka formuleras på fölade sätt. Vid e saolikhetsteoretisk problemställig förutsätts att populatioe är käd, dvs. att fördelige F (eller alla variabelvärde i e ädlig populatio) är käd. Givet detta vill ma beräka saolikhete för att stickprovsutfallet x, x,..., x satisfierar ågot agivet villkor. (6) Vid e iferesteoretisk problemställig gäller att stickprovstfallet x, x,..., x är kät, meda populatioe är mer eller midre okäd. Det ma vill är att utifrå observatioera uttala sig om förhållade i populatioe. (7) 4 Statistisk modell Att de populatio F som geererat observatioera är mer eller midre okäd iebär att flera fördeligar F betraktas som täkbara "saa" fördeligar, att e hel famil av möliga "saa" fördeligar föreligger. Vid formell beskrivig av situatioe är e ytterlighetsvariat att ma ite aser sig kua säga mer om fördelige F ä att F är e av "världes alla saolikhetsfördeligar". Ofta är dock förhålladet att ma, äve om ma ite vet allt om F, vet e hel del (eller åtmistoe atar sig veta). Specifikatio av sådat vetade / atagade kallas de statistiska modell som iferese baseras på. Stokastisk modell är e förekommade syoym. De statistiska modelle ager "ramar" för hur slumpe kom i är observatioera geererades. 3
Exempel 5 : E valig typ av statistisk modell iebär bl.a. att ma käer forme på fördelige F. Ett exempel är att F är e ormalfördelig med käd stadardavvikelse σ =, me med okät positivt medelvärde m. Då är de statistiska modelle att famile av möliga fördeligar utgörs av {F N(m, ), 0 < m < }. De famile illustreras grafiskt eda. Statistik modell = famil av möliga fördeligar / populatioer : Helt allmät gäller att e statistisk aalys måste baseras på ågo modell / premiss. Ju mer detalerad modell ma aser sig kua age, desto säkrare slutsatser ka ma dra, vilket vi kommer att se måga exempel på. Me u mer detalerad modell ma aväder desto större blir riske för e felaktig modellspecifikatio (att modelle är "icke realistisk"). Kommetar 4 : De skillad mella statistikteori och saolikhetsteori som pekas på i (6) och (7) iebär ite att de är åtskilda disciplier. Tvärtom, för att kua dra föruftiga slutsatser om e okäd fördelig F gäller det, åtmistoe i pricip, att kua räka på hur stickprovet X, X..., X skulle uppföra sig för var och e av de möliga fördeligara F, dvs. att utföra saolikhetsteoretiska beräkigar. E sesmoral frå detta är att ma måste vara hyggligt varm i klädera ifråga om saolikhetsteori är ma skall lära sig statistikteori. Kommetar 5 : I (4) beteckas stickprovet med versaler X, X,..., X, vilket idikerar att de betraktas som stokastiska variabler. Små bokstäver x, x,.., x aväds också, t.ex. i (4). Beteckigsskillade aväds för att göra distiktio mella observatioera / mätvärdea ia de ihämtas respektive de (tal)värde som faktiskt observerades. Med saolikhetsteoris språkbruk står x, x,..., x för utfall / realiserige av de s.v. X, X,..., X. Som vi kommer att se är detta e viktig distiktio. Iblad vill vi resoera på de ea sida ("före observatio"), och iblad på de adra ("efter observatio"). [Ekoomer brukar göra distiktioe geom att säga att X, X,..., X står för stickprovet ex ate ( = före) och x, x,..., x för stickprovet ex post ( = efter)]. Blom reserverar "stickprov" förhålladevis strikt för utfallet x, x,..., x. I det avseedet kommer vi att vara litet mer lättsiiga, och kalla såväl X, X,..., X som x, x,..., x för stickprov. Parametrar i aslutig till e famil av möliga populatioer De aspekt på (de okäda) fördelige F som ma är itresserad av brukar kallas för e parameter. Som allmä bokstav för e såda aväds företrädesvis θ (= grekiskas "täta"). Ofta är θ "edimesioell", dvs. ett tal, me ka också vara två (eller mer) - dimesioell. I och med att vi laborerar med e hel famil av möliga fördeligar F, blir det också fråga om e famil av möliga värde för e parameter θ. Totalitete av möliga parametervärde kallas parameter - rummet, och beteckas i det allmäa fallet med A (θ A). Kommetar 6 : För de två begreppe "mölig fördelig F" och "parameter θ" föreligger ofta ett "höa - ägg - förhållade". (Vem kommer före de adra?) Iblad är det aturligt att uppfatta parameter θ som de primära storhete, som i si tur bestämmer fördelige F. (T.ex. i situatioer där θ har e ekel kokret, t.ex. fysikalisk, tolkig, och slumpe kommer i via mätfel.) I adra fall är det aturligt att uppfatta fördelige F som det primära, som i si tur bestämmer parameter. (T.ex. om θ står för vätevärdet i fördelige F.) Här får ma laga efter läge. 4
5 Huvudtema iom de statistiska iferesteori Teori för statistisk iferes rymmer särskilt fölade tre huvudtema. Skattig (Itroduceras i Blom Kap 0. Där prefereras terme puktskattig.) Osäkerhetsgräser (Itroduceras i Blom Kap. Där kallat itervallskattig.) Hypotesprövig (Itroduceras i Blom Kap.) Vi kokretiserar med hälp av ett exempel. Exempel 6 : Ett företag tar emot ett parti om 000 kompoeter (av samma slag) frå e uderleveratör. Eligt giva regler ka e kompoet klassas som "felfri" eller "defekt". Låt p = adele defekta kompoeter i hela partiet (dess felkvot). (8) I e första omgåg öer ma sig med att göra e stickprovsispektio av partiet. Ma väler på måfå ut 50 kompoeter, som ispekteras. Det visar sig att 3 är defekta. Vad ka sägas om p? Ma ka u alltid gissa, och e högst aturlig gissig är (väl?) att p har värdet : p* = 3 / 50 = 6 %. Med statistikteoretisk termiologi sägs att partiets felkvot (pukt)skattas till 6 %. Äve om ma tror att 6 % är e bra skattig, tror ma ite att ma hamat mitt i prick. Skattige 6 % är föread med viss osäkerhet. Det är öskvärt att kua age gräser för osäkerhete. Med hälp av förfarade som behadlas lägre fram ka ma komma till fölade typ av utsaga : Det är så gott som säkert att felkvote ligger i itervallet.5 % p 0.5 %. (9) Det fis olika sätt att uttrycka iehållet i (9) på. Ett är att säga att [.5 %, 0.5 %] är ett osäkerhetsitervall för p, eller att.5 % och 0.5 % ger osäkerhetsgräser för p. Ett aat, och det aväds företrädesvis i Blom, är att säga att [.5 %, 0.5 %] ger e itervallskattig av p. Ett trede sätt är att säga att [.5 %, 0.5 %] är ett kofidesitervall för p. Mer om det lägre fram. Atag att kotraktet mella företaget och uderleveratöre stipulerar att fullvärdiga partier får ha e felkvot om högst %. Ger ispektiosresultatet uderlag för att "kräva böter" av uderleveratöre? Vi fördupar oss ite i fråga, uta öer oss med att otera de ka formuleras som att det hadlar om pröva hypotese att felkvote är högst %. Läsavisigar till Bloms Kapitel 8 och 9 Som framgår av kapitelrubrikera är temat i de två kapitle "beskrivade statistik". Det ligger på gräse till gymasiestoff, och lämas i stort sett helt till sälvläsig. Neda listas begrepp som bör käas till. Sidhävisigara går som valigt till Blom B. Ogrupperade data, grupperade data, klassidelade data (sid 8-30). Absoluta och relativa frekveser, kumulativa relativa frekveser (sida 9). Stolpdiagram och kumulativt stolpdiagram (sida 9). Histogram och kumulativt histogram (sida 3). När ett datamaterial x, x,..., x (dvs. e uppsättig tal) ordas i stigade storleksordig med mista värdet först osv., fås det ordade stickprovet som beteckas x (), x (),.., x () (sida 33). Ytterligare beteckigar är : x mi = x (), x max = x (). För ett tal p mella 0 och defiieras p - percetile, beteckad x p, som x p = x ([p ]+), där [ ] står för heltalsdel (sida 35). x p är, åtmistoe i stort sett, det värde i talmaterialet för vilket adele p av värdea är midre ä x p och adele - p är större. (Am. De precisa defiitioe av percetil ka skila ågot frå e statistikbok till e aa, me kommer ite att spela ågo roll i fortsättige.) Percetilera svarade till p = 5 %, 50 % och 75 %, dvs. x 0.5, x 0.5 och x 0.75, kallas också första kvartile, mediae respektive trede kvartile. Puktdiagram (sida 34). Lådagram (sidor 8 och 35), 5
Det valigaste lägesmåttet (syoym ivåmåttet) för ett talmaterial x, x,..., x är det (aritmetiska) medelvärdet, beteckat. x. Ett alterativt läges / ivåmått är mediae. Medelvärdet är x = (x + x +... x ) /. + Det valigaste spridigsmåttet (syoymt variabilitetsmåttet) är stadardavvikelse, beteckad s, vilke erhålls som kvadratrote ur variase, beteckad s ; s = = (x x ) s = s. (0) För kvadratsumma i (0) iför Blom åtmistoe två specialbeteckigar, ämlige Q (sida 35) och S xx (sida 44). Se äve Formel - och Tabellsamlige (i fortsättige kallad FT - samlige) Avsitt.. xx = Q = (x x) = S, vilket ger s = Q / ( - ) = S xx / ( - ). () Neda ages ett par räkeregler för kvadratsumma Q. De mellerst återfis på sida 35 (och fis äve i FT - samlige), meda de högra (kostigt og) ite fis utskrive ågostas i Blom. Q = (x x ) = x ( x ) = x x. () = = = Det som står om regressio i Kapitel 9 ka hoppas över. Det återkommer i Kapitel 3, som kommer att behadlas rätt oggrat. Begrepp som bör käas till är tvådimesioellt puktdiagram, syoymt spridigsdiagram (sida 4), kovarias, beteckad c xy (sida 47) och korrelatioskoefficiet, beteckad r (sida 47), för ett tvådimesioellt datamaterial. = xy = Sxy /( ) där Sxy = (x x) (y y) = c. (3) r = c /(s s ) där s x och s y står för stadardavvikelse för x - resp. y - värdea. (4) xy x y Korrelatioskoefficiete r är ett mått på hur starkt x - och y - värdea samvarierar (liärt) med varadra. E såda atar ett värde mella - och +. Ytterlighetsvärdea - och + erhålls är x - och y - värdea ligger lägs e rät lie med egativ resp. positiv lutig. Värdet r = 0 återspeglar att det ite föreligger ågot sambad / beroede mella x - och y - värdea (sida 67.) Storhete S xy i (3), som kallas produktsumma krig de aritmetiska medelvärdea, behadlas på sidora 44 och 45. Där pekas också på (åtmistoe de mellersta av) fölade räkeregler (vilke också fis i Avsitt.3 i FT - samlige) ; Sxy = x y ( x ) ( y ) = x y x y. (5) = Bevis av () : = = = Q = (x x ) = ( x x x + x ) = x x x + x = = = x = Formlera i (5) ka härledas aalogt. = = x ( x) + x = x x = x ( x ) = = = =. 6