F1:A Ekonometri, introduktion

Transkript

1 F:A Ekonometri, introduktion Kap -3 Repetition av Sannolikhetsteori och Statistisk inferens Allmänt tänker vi oss ett eperiment med ett antal möjliga utfall. Mängden av alla möjliga utfall betecknas S och benämns utfallsrummet. LåtAvaraendelmängdavutfallsrummet,A S. A kallas en händelse (event) Eperimentet har utförts och A inträffade. E )Eperiment=Kast medtärning ochvi noterar antalet prickar upptill Utfallsrum: S={,2,3,4,5,6} Händelser: A={,2,3} mindreän4 A ={4,5,6} störreän3 B={,3,5} uddatal B ={2,4,6} jämnttal C={2} tvåa D={,2,3,4,5,6} någothände E 2) Eperiment = Kast med tärning tills vi noterar en sea Utfallsrum: S={,2,3,...} Händelser: A={} seaiakastet B={,2,3} högst3kast C={4,5,6,7,...} minst4kast En variabel vars värde bestäms av utfallet av ett slumpförsök(eperiment) kallas slumpvariabel el. stokastisk variabel. Slumpvariabler betecknas oftast med stor bokstav X, Y, Z osv.och de värden som variabeln antar betecknasoftastmedsmåbokstäver,y,zosv. En slumpvariabel är antingen diskret, dvs. den kan anta ett uppräkneligt antal möjliga utfall. kontinuerlig,dvsdenkanantavärdenfrånett kontinuerligt(sammanhängande) intervall Oberoende händelser Om sannolikheten för en händelse A inte påverkas av om en annan händelse har inträffat(eller inte) så säger viattdeäroberoende: P(A B) = P(A) AochB oberoende där symbolen betecknar betingning, dvs"givet att B har inträffat". OmAochB äroberoendegälleratt P(A B) = P(A)P(B) omdeärberoendegälleratt P(A B) = P(A B) P(B) Man betecknar sannolikheten för en händelse X = med P(X=)

2 Diskreta slumpvariabler LåtXvaraendiskretslumpvariabelsomkanantavärden, 2,..., n,... Dålåtervi { f() föralla iutfallsrummet P(X=) = annars därf()ärenfunktionavdettänktautfalletutfallet som ger oss sannolikheten för att just detta ska inträffa. Funktionen kallas för sannolikhetsfunktionen för X, eller probability mass function(pmf). Obs! För att f() ska vara en pmf måste följande gälla: : f() 2 : f()= S E) Beteckna händelsen det regnar idag" med X = och motsatsen med X =. Låt p beteckna sannolikheten för den första händelsen då kan vi skriva f()=p ( p) E2) LåtXvaraenslumpvariabelmedutfallsrum,2,3,... med pmf f() = ( p) p där < p < är en parameter som bestämmerhurfunktionenserut. Etteperimentsomvi kantänkaossmeddennabeskrivningär"kastaen tärning tills vi observerar en sea". Parametern p betecknar då sannolikheten för sea, p = /6. Sannolikhetenattvifårenenseaifjärdekastet beräknas ( P(X=4) = f(4) = ) = Sannolikheten att vi får vänta högst fyra kast beräknas som P(X 4) = 4 k= f(k) = f()+f(2)+f(3)+f(4) ( = ) 4 = Diagram som åskådliggör sannolikhetsfunktionen för en diskret slumpvariabel f(),3,25,2,5,,5, Sannolikhetsfördelning för X Kontinuerliga slumpvariabler Om ett eperiment medger ett kontinuerligt utfallsrum får man en kontinuerlig slumpvaraibel. Vi kan beräkna sannolikheten för händelser av typen P(a X b) dvsattx hamnademellantvåvärdenmed b P(a X b) = f()d a Funktionen f() benämns täthetsfunktion eller probability density function(pdf). alternativt f(),3,25,2,5, Sannolikhetsfördelning för X Obs! HändelserochsannolikheteravtypenP(X=) är meningslösa för en kontinuerlig variabel då a P(X=a) = f()d = F(a) F(a) = a Formuleringen f() används för att beskriva funktionen,detärintesannolikhetersomramlarutfrånden!,5, Obs! För att f() ska vara en riktig pdf måste det gälla att : f() 2 : f()d =

3 Allmänt brukar man ofta ange en kumulativ fördelningsfunktion eller cumulative distribution function(cdf) enligt P(X ) = F() = f(t)dt Pdf en kan åskådliggöras enligt f() 2.5 E) Vimätertidentillettmaskinhaverividnågonanläggning. Pdf en kan kanske skrivas som f() = ( θ ep ), << θ där θ är en parameter som bestämmer hur funktionen ser ut. Sannolikheten för att vi måste vänta högst tidsenheter blir F() = ( θ ep t ) dt = e θ θ Sannolikheten att vi måste vänta mer än tidsenheter blir F() = ( θ ep t ) dt = e θ θ.5 och cdf en enligt F() Väntevärden/ Epected value För ett givet datamaterial med n observationer kan vi beräkna sådant som genomsnittet eller stickprovsvariansen enligt i (i = n, ) 2 s2 = n som mått på läge och spridning. Motsvarigheten för en slumpvariabel benämns väntevärde och varians och beräknas enligt Diskret slumpvariabel: E(X) = Sf()=µ Var(X) = ( µ) 2 f()=σ 2 S Kontinuerlig slumpvariabel: E(X) = f()=µ S Var(X) = ( µ) 2 f()=σ 2 S Allmänt kan man tänka sig väntevärden av valfria funktioner av en slumpvariabel: E(h(X))= h()f() Eempelvis E ( X 2) = S S 2 f() el E ( e X) = S e f() Egenskaper för väntevärdesberäkningar(a och b är konstanter): : E(b) = b 2 : E(aX+b) = ae(x)+b = aµ+b 3 : E(aX+bY) = ae(x)+be(y) OmX ochy äroberoende variablergälleratt 4: E(XY) = E(X)E(Y) = µ X µ Y

4 För varianser gäller(a och b är konstanter): : Var(X) = E [ (X µ) 2] = σ 2 2 : Var(X) = E ( X 2) E(X) 2 = E ( X 2) µ 2 3 : Var(a) = 4 : Var(aX+b) = a 2 Var(X) = a 2 σ 2 Kovarians Mått på hur två slumpvariabler samvarierar linjärt: Cov(X,Y) = E[(X µ X )(Y µ Y )] = E(XY) µ X µ Y = σ XY OmX ochy äroberoende variablergälleratt 5 : Var(X+Y) = Var(X)+Var(Y) = σ 2 X +σ2 Y 6 : Var(X Y) = Var(X)+Var(Y) 7 : Var(aX+bY) = a 2 Var(X)+b 2 Var(Y) Egenskaper(a, b, c och d konstanter): : Cov(X,Y)= X ochy oberoende 2 : Cov(aX+b,cY +d) = ac Cov(X,Y) Korrelationskoefficienten Mått på det linjära beroendet: ρ = Cov(X,Y) Var(X) Var(Y) = σ XY σ X σ Y Observera att måttet ρ är skaloberoende och att ρ Om två slumpvariabler är beroende gäller. Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y) = σ 2 X +σ2 Y +2ρσ Xσ Y 2. Var(X Y)=Var(X)+Var(Y) 2Cov(X,Y) = σ 2 X +σ2 Y 2ρσ Xσ Y och för en uppsättning av n stycken beroende slumpvariabler gäller att 3. Var( X i )= Var(X i )+2 Cov ( ) X i,x j i<j Normalfördelningen Om X är normalfördelad skriver vi X N ( µ,σ 2) Förmodligen den viktigaste fördelningen. Symmetrisk runt sitt väntevärde Utseendet bestäms av väntevärdet µ och variansen σ 2. Linjärkombinationer av normalfördelade slumpvariabler är normalfördelade Centrala gränsvärdessatsen(cgs), linjärkombinationer av slumpvariabler går mot en normalfördelningnärantaletvariablerökar,n. Finns diverse statistiska test för att avgöra om data kan sägas komma från en normalfördelning.

5 Täthetsfunktionen(pdf): Standardisering:OmX N ( µ,σ 2) sågälleratt f() Z= X µ N ( µ,σ 2) σ Beräkning av sannolikheter görs med hjälp av tabeller för en standardiserad normalfördelning Fördelningsfunktionen(cdf): 25 3 E)AntagX N ( 2,2 2).BeräknaP(X 3) ( P(X ) = P Z 2 ) =P(Z.5) 2 = [enl. tabell]=.385 F() χ 2 -fördelningen Chi2-fördelningen OmV ärenχ 2 -fördeladslumpvariabelmedrfrihetsgrader skriver man,25,2 Variable chi2() chi2(5) chi2() V χ 2 (r),5, Frihetsgradstalet r är en parameter som bestämmer utseendet för fördelningen.,5, OmX N ( µ,σ 2) sågälleratt (X µ) 2 σ 2 χ 2 () Fördelningen är skev Fördelning för stickprovsvarianser (n )S 2 σ 2 χ 2 (n ) När antalet frihetsgrader ökar närmar den sig normalfördelningen.

6 t-fördelningen t-fördelningen Symmetrisk runt sitt medelvärde,4,3 Variable Normal t(3) t() t(3) "Plattare" än en normalfördelning,2 Utseendet bestäms av antalet frihetsgrader, r(parameter).,, -2-2 När antalet frihetsgrader ökar, r, närmar den sig en normalfördelning. OmZ N(,)ochU χ 2 (r)ochomdeär oberoende gäller att T = Z U/r t(r) dvs en t-fördelning med r frihetsgrader. Ur detta kanmanvisaatt X µ S/ n t(n ) F-fördelningen Punktskattningar OmU χ 2 (r )ochv χ 2 (r 2 )ochomdeär oberoende gäller att F = U /f V /r 2 F(r,r 2 ) dvskvotenmellantvåoberoendeχ 2 -fördeladevariabler(justerat för antalet frihetsgrader) är F-fördelad. Skev fördelning(utdragen till höger) Oftaharmanganskabrauppfattningomvadsom gäller i en given situation, te att observationer är (approimativt) normalfördelade, att man har oberoende observationer etc. Man kan ofta komma fram till att eperimentet kan beskrivas / approimeras med någon fördelning/ modell. När antalet frihetsgrader ökar närmar den sig normalfördelningen Det man typiskt inte vet är parametervärdena som ingår i modellen. Koppling mellan t-fördelningen och F-fördelningen [t(r)] 2 = F(,r) Dessa måste skattas eller estimeras med ledning av ett stickprov. Detgälleratt F(r,r 2 )= F(r 2,r ) En statistika är en funktion av stickprovet h(, 2,..., n )

7 Eempel på statistikor) X= n Xi S 2 = ( Xi X ) 2 n även regressionkoefficienter i en linjär regressionsmodell ( X i X )( Y i Ȳ ) ˆβ = ( X i X ) 2 Egenskaper hos estimatorer vid små eller moderata stickprovsstorlekar Väntevärdesriktighet Minimal varians Effektivitet ˆβ =Ȳ ˆβ X Linjäritet BLUE Enstatistikaanvändstypsiktförattskattaenparameter, vi kallar då statistikan fär en estimator eller skattning för parametern. Minimum mean square errors(ms) estimator Dessaestimatorerˆθärslumpvariabler Väntevärdesriktighet Om väntevärdet för en estimator ˆθ är lika med den parameter θ vi försöker skatta är den väntevärdesriktig (unbiased). Bias = systematiskt fel(error) Bias (ˆθ ) =E (ˆθ ) θ Minimal varians Om variansen för en estimator ˆθ har mindre varians jämförtmedvilkenannanmöjligestimatorˆθ 2 församma parameter, säger vi att den har minimal varians ) ) Var (ˆθ Var (ˆθ2 "Hur ser träffbilden ut? Samlat eller utspritt?" "Träffar man i genomsnitt rätt? Eller måste man justera siktet?"

8 Effektivitet Låtˆθ ochˆθ 2 vara tvåväntevärdesriktiga estimatorer förθ. Omdetgälleratt Var (ˆθ ) <Var (ˆθ 2 ) såärˆθ eneffektivestimatorjämförtmedˆθ 2. "Träffbildenärmersamladfördennaänfördennaestimator" Linjäritet Om en estimator ˆθ är en linjärkombination av stickprovetsobserveradevärdensägerviattˆθ ärenlinjär estimator för θ. X en linjärkombination av de observerade värdena n X i= X BLUE Omˆθ ärenlinjär,väntevärdesriktigestimatorförmed minimal varians i klassen av linjära och väntevärdesriktigaestimatorersåärdenen estimator. Best linear unbiased estimator- BLUE Minimum MSE estimator Övningsuppgifter MSE (ˆθ ) = E (ˆθ θ ) = Var (ˆθ ) +Bias (ˆθ ) 2 Iblandkanmankosta på sigen litensystematisk bias om vinsten i varians är stor, eller tvärtom. Diagnostiskt prov, 2. UppgifterurKleinbaumetal.,Kap3: -6,8,- 3,6,8,2,23

9 F:B Ekonometri, introduktion Kap -3 Repetition statistisk teori Egenskaper hos estimatorer vid stora stickprovsstorlekar Asymptotisk väntevärdesriktighet Om bias minskar i takt med stickprovsstorleken och man kan skriva lim n Bias(ˆθ ) = så är den asymptotiskt väntevärdesriktig. Asymptotisk väntevärdesriktighet Konsistens E) ( ˆσ 2 X i X 2) = n E (ˆσ 2) ( ) =σ 2 n n Asymptotisk effektivitet Asymptotisk normalfördelning Konsistens Om sannolikheten för att komma godtyckligt nära det sanna värdet ökar och går mot ett så är estimatorn konsistent ( <ε ) lim ˆθ θ n P =, ε> Asymptotiskt normalfördelad En estimator ˆθ sägs vara asymptotiskt normalfördelad om dess fördelning närmar sig en en normalfördelning närn 2,5 2, n = 5 Normal,5 Ett tillräckligt villkor är att både bias och varians för estimatorngårmotnollnärn.,,5,,,2,4,6,8, n = 5 Normal 7 6 Asymptotisk effektivitet Om den asymptotiska variansen för en konsistent estimator är mindre än den asymptotiska variansen för alla andra konsistenta estimatorer så är den asymptotiskt effektiv., 25 2,8,6,24 n = 5,32,4,48 5 5,2,44,68,92,26,24,264,288

10 Hypotestest Börjarmedennollypotes H, ettpåstående som ska prövas. Typisktprövasomengivenparameterharettvisst värde Vanligt med mer komplea test. En alternativ hypotes el. mothypotes H eller H A, ofta men inte alltid den logiska motsatsen tillh. E) H :p=2/3 mot H :p=/3 Mothypotesenär ofta (meninte alltid) det vi vill bevisa. H :µ mot H :µ> Om vi förkastar H accepterar vi mothypotesen och vi säger att resultatet är signifikant. Enkla hypoteser, endast ett möjligt värde under hypotesen. Sammansatta hypoteser, fler än ett möjligt värde under hypotesen. H : µ =µ 2 H :µ µ 2 = mot H : µ µ 2 H : modellpassartilldata" mot H : modellpassarintetilldata" Testfunktion eller teststatistika Ofta baserat på just den estimator som man skattat parametern med, te X estimatorför µ Vi känner till hur denna eller en transformation av den är fördelad under nollhypotsen, te X µ σ/ n =Z N(,) där µ är värdet för µ som vi antar vara det sanna värdetunderh,σärenkändvariansochnärstickprovsstorleken. Två vägar för klassisk inferens: Konfidensintervall Man konstruerar ett intervall på sådant sätt att sannolikheten att observera ett värde på testfunktionen i det intervallet är lika med ett förutbestämt tal, ofta 95%. Antag att vi testar H :µ= mot H :µ OmvikanantaattX i N ( µ,σ 2) såkanvianvända att X N ( µ,σ 2) och bilda intervallet ( α = Pr z α/2 X µ ) σ/ n z α/2 ( ) σ σ = Pr X z α/2 n µ X+z α/2 n. Signifikanstest därz α/2 ärtabellvärden. 2. Konfidensintervall

11 Fördelning för stick- provsmedelvärdet X Kopplingen mellan signifikanstest och konfidensintervall 95% konfidensintervall för µ µ -.96σ / n µ +.96 σ / n Area =.95 µ 2.5% av alla stickprovs- medelvärden hamnar här 2.5% av alla stickprovsmedelvärden hamnar här Kritiskt område 2.5% Acceptans område 95% Kritiskt område 2.5% 95% av alla stickprovsmedelvärden hamnar här Vi bildar sedan utifrån observerat medelvärde ett KI Intervallet innhåller alla de värdenµ som skulle leda tillattviaccepterarnollhypotesenh :µ=µ σ / n µ +.96 σ / n Stickprovsmedelvärden här ger KI som INTE täcker in µ Stickprovsmedelvärden här ger KI som täcker in µ Stickprovsmedelvärden här ger KI som INTE täcker in µ Signifikanstest Hypotesprövning/ Signifikanstest. Förutsättningar: Ett stickprov av storlek n = 36 frånennormalfördelning medkändvariansσ 2 = Nollypotes:H :µ=5 6. Fördelning: Under de givna förutsättningarna och under antagandet att nollhypotesen är sann, är teststatistikan Z N(,). Om speciella antaganden behövs, anges dessa, te enligt CGS så ärz approimativtn(,). 7. Kritiskt värde/område: Definiera under vilka omständigheter vi skulle förkasta H ; te om vi observerar z obs >.96 = z.25. Detta är ekvivalent med att vi observerar 3. Mothypotes:H :µ 5 4. Signifikansnivå/Felrisk:α=5% 5. Teststatistika: Z = X µ σ/ n = X 5 3/6 eller > =5.98 < =4.2

12 Alternativ. 8. Beräkningar: Vi beräknar medelvärdet till 4.. Feltyper För ett test finns alltid fyra möjligheter varav två leder till felaktiga slutsatser: 9. Slutsats:ViförkastarH ty =4.<4.2.Det observerade medelvärdet är signifikant skilt från 5 på 5%-nivån. Data stöder inte påståendet att µ=5. Alternativ 2. FörkastaH FörkastaejH H sann TypIfel ok H falsk ok TypIIfel Sannolikheten för Typ I fel betecknas α, vilket alltså är felrisken. Sannolikheten För Typ II fel betecknas β. 8. Beräkningar: Vi beräknar medelvärdet till = Slutsats:Vi kaninte förkastah ty4.2< < Det observerade medelvärdet är inte signifikant skilt från 5 på 5%-nivån. Det finns inte tillräckligt stödidataförattförattförkastapåståendetatt µ=5. FörkastaH FörkastaejH H sann α α H falsk β β där( β)ärtestetsstyrka(eng. power). Observera att det är betingade sannolikheter, te Pr(FörkastaH H sann)=α p-värde eller p-value E)VitänkerossettenkelsidigttestH :θ=θ mot H :θ>θ. Vi har en testfunktion säg Z. Vi har obeserverat stickprovet och beräknat testfunktionen till ett värde z. Vad är sannolikheten att observera detta värde eller värreunderh?dvsvadär Pr(Z>z H sann) Dettaärdetskp-värdet. Tänksåhär: Antag att det framräknade värdet z på testfunktionen Z sammanfaller med den kritiska gränsen C. Vad motsvarar detta för signifikansnivå α? Räkna baklänges föratttaframettαsomgerjust z som kritisk gräns. Detta är vårt p-värde.