Matematisk statistik för D, I, Π och Fysiker

Transkript

1 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Gauss approximation Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Matematisk statistik för D, I, Π och Fysiker Repetition Johan Lindström 17 december 2018 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 1/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Kolmogorov Gauss approximation Samband Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Grundläggande begrepp (Kap. 2.2) Utfall resultatet av ett slumpmässigt försök. Bet. ω 1, ω 2,... Händelse en samling av ett eller flera utfall. Bet. A, B,... Utfallsrum mängden av möjliga utfall. Bet Ω Kolmogorovs axiomsystem (Kap. 2.3) 0 P(A) 1 En sannolikhet är ett tal mellan 0 och 1 P(Ω) = 1 Sannolikheten att något skall hända är 1 P(A B) = P(A) + P(B) Om och endast om A och B är oförenliga Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 2/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Kolmogorov Gauss approximation Samband Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Klassiska sannolikhetsdefinitionen (Kap. 2.4) Om alla utfall är lika sannolika (likformigt sannolikhetsmått) är sannolikheten för en händelse A kvoten mellan antalet gynsamma fall, g, och antalet möjliga fall, m: P(A) = g ( = A ) m Ω 1 Relativa frekvensen av antal treor Relativ frekvens Antal tärningskast 1/6? Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 3/55

2 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Kolmogorov Gauss approximation Samband Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Några viktiga samband (Kap. 2.6) Additionssatsen: Betingad sannolikhet (Def. 2.6): Total sannolikhet (Sats 2.9): Bayes sats (Sats 2.10): P(A B) = P(A) + P(B) P(A B) P(A) = P(B A) = P(A B) P(A) P(A H i )P(H i ) om H i H j =, i j och P(H i A) = P(H i A) P(A) = n H i = Ω P(A H i )P(H i ) n P(A H i)p(h i ) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 4/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Kolmogorov Gauss approximation Samband Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Alla, ingen och någon (Kap. 2.7) Om vi har n st oberoende händelser A 1,..., A n fås följande sannolikheter för Alla: P(A 1 A n ) = Ingen: P(A 1 A n) = Minst en: n P(A i ) n (1 P(A i )) P(A 1 A n ) = 1 n (1 P(A i )) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 5/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Fördelningsfunktion Gauss approximation E(X) & Poissonprocess V(X) Standardfördelningar Markovkedjor Funktioner Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Stokastisk variabel (Def. 3.1) En stokastisk variabel är ett tal vars värde styrs av slumpen (en funktion X(ω) : Ω R). Kan vara diskret eller kontinuerlig Sannolikhetsfunktion För en diskret s.v. X p X (k) = P(X = k) Täthetsfunktion För en kontinuerlig s.v X har vi f X (x). P(X A) = f X (x) dx Fördelningsfunktion Summa av p X (k) eller integral av f X (x). A F X (x) = P(X x) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 6/55

3 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Fördelningsfunktion Gauss approximation E(X) & Poissonprocess V(X) Standardfördelningar Markovkedjor Funktioner Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Fördelningsfunktion (Kap. 3.3, 3.5, 3.7) P(a < X b) = b k=a+1 p X(k) Diskret P(a < X b) = F X(b) F X(a) p X (k) F X (x) P(a < X b) = a b a b k k b a f X(x) dx Kontinuerligt P(a < X b) = F X(b) F X(a) f X (x) F X (x) a b x a b x Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 7/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Fördelningsfunktion Gauss approximation E(X) & Poissonprocess V(X) Standardfördelningar Markovkedjor Funktioner Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Väntevärde (Def. 5.1) Det värde som fås i medeltal { k E(X) = kp X(k) Diskr. xf X(x) dx Kont. Varians (Def. 5.2) Hur utspridd är X kring E(X) [ ] } 2 V(X) = E{ X E(X) = E(X 2 ) E(X) 2 Standardavvikelse (Def. 5.3) D(X) = V(X) Kvantil (Def. 3.17) Gräns som överskrids med slh. α. F X (x α ) = 1 α Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 8/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Fördelningsfunktion Gauss approximation E(X) & Poissonprocess V(X) Standardfördelningar Markovkedjor Funktioner Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Standardfördelningar (Kap. 3.4, 3.6) E(X) För första gången X ffg(p) 1 p V(X) 1 p p 2 Geometrisk X Ge(p) 1 p p 1 p p 2 Binomial X Bin (n, p) np np(1 p) Poisson X Po (μ) μ μ Rektangel X R(a, b) a+b 2 Exponential X Exp (λ) 1 λ (b a) λ 2 Normal X N (μ, σ) μ σ 2 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 9/55

4 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Fördelningsfunktion Gauss approximation E(X) & Poissonprocess V(X) Standardfördelningar Markovkedjor Funktioner Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Normalfördelning (Kap. 3.6c, 6) Φ(x) = F X (x) = x 1 2π e t2 2 dt där Φ(x) räknas ut numeriskt eller fås från tabell. Standardiserad Normalfördelning (Kap. 6.3) Om X N (μ, σ), med E(X) = μ och V(X) = σ 2, så är X μ σ N (0, 1) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 10/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Fördelningsfunktion Gauss approximation E(X) & Poissonprocess V(X) Standardfördelningar Markovkedjor Funktioner Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Funktioner av en stokastiska variabel (Kap. 3.10) Givet en s.v. X. Vilken fördelning får Y = g(x)? Kontinuerligt Y : Uttryck F Y (y) som funktion av F X (y). F Y (y) = P(Y y) = P(g(X) y) =? F X (...) f Y (y) = d dy F Y(y) Diskret Y : Räkna ut sannolikhetsfunktionen p Y (k) = p X (j) j:g(j)=k lägga ihop p X (j) för alla j sådana att g(j) = k Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 11/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Tvådim. stokastisk variabel (X, Y) (Kap. 4) En 2D (bivariate) stokastisk variabel beskrivs av en Simultan fördelnings-, sannolikhets- eller täthetsfunktion F X,Y (x, y) = P(X x, Y y) (Def. 4.2) p X,Y (j, k) = P(X = j, Y = k) (Def. 4.3) f X,Y (x, y) = 2 x y F X,Y(x, y) (Def. 4.4) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 12/55

5 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Sannolikheten att hamna i A är integral av tätheten över A P(X A) = A f X (x) dx P((X, Y) A) = A f X,Y (x, y) dxdy f X (x) f(y) y y A x Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 13/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Fler egenskaper (för täthetsfunktioner) (Kap. 4) Marginella tätheten f Y (y) = f X,Y (x, y) dx Betingad täthetsfunktion för X givet att Y = y f X Y (x y) = f X,Y(x, y) f Y (y) X och Y är oberoende f X,Y (x, y) = f X (x)f Y (y) för alla (x, y) Satsen om total sannolikhet Bayes sats f X (x) = f Y X (y x) = f X Y (x y)f Y (y)dy f X Y (x y)f Y (y) f X Y(x z)f Y (z)dz Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 14/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg f(x,y) f(y) x x Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 15/55

6 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Summa av två oberoende s.v., Z = X + Y (Kap. 4.7) k p Z (k) = p X (i)p Y (k i) f Z (z) = i=0 f X (x)f Y (z x) dx Maximum/Minimum av oberoende s.v. (Kap. 4.6) n Z = max(x 1,..., X n ) F Z (z) = F Xi (z) n Z = min(x 1,..., X n ) F Z (z) = 1 [1 F Xi (z)] Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 16/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Väntevärde, E(X), μ, μ X (Def. 5.1) Väntevärdet anger tyngdpunkten för fördelningen och kan tolkas som det värde man får i medeltal i långa loppet. { g(x, y) fx,y (x, y) dydx Kont. E(g(X, Y)) = k,l g(k, l)p X,Y(k, l) Diskr. Betingade väntevärde, E(X Y) (Kap. 5.2c) E(X Y = y) = x f X Y (x y) dx Observera att E(X Y = y) är en funktion av y; E(X Y) är samma funktion av Y E(E(X Y)) = E(X) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 17/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Täthetsfunktioner Gauss approximation 2D sum/max/min PoissonprocessVäntevärde Markovkedjor Kovarians Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Kovarians, C(X, Y) (Def. 5.7) Kovariansen anger hur mycket linjärt beroende som finns mellan X och Y. C(X, Y) = E{ [X E(X) ][ Y E(Y) ] } = E(XY) E(X)E(Y) Ur definitionen fås C(X, X) = V(X) X och Y oberoende = C(X, Y) = 0 Obs. C(X, Y) = 0 X och Y oberoende Korrellationskoefficient, ρ, ρ X,Y (Def. 5.8) ρ X,Y = C(X, Y) D(X)D(Y) 1 ρ X,Y 1 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 18/55

7 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stora Gauss talens lag approximation Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. E och V av linjärtransformation (Sats 5.7) E(aX + b) = ae(x) + b V(aX + b) = a 2 V(X) D(aX + b) = a D(X) E och V av linjärkombination (Sats 5.11) ( ) E a i X i + b i = a i E(X i ) + V ( ) a i X i + b i = b i a i a j C(X i, X j ) a 2 i V(X i) + 2 i<j }{{} =0 om oberoende Kovariansen är bilinjär (Kap. 5.5) C a j X j, b k Y k = a j b k C(X j, Y k ) j k j k Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 19/55 (jfr. polynommultiplikation) Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stora Gauss talens lag approximation Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Summa och medelvärde av oberoende och likafördelade s.v. Låt E(X i ) = μ, V(X i ) = σ 2. Då gäller följande för Summa (Följdsats ): Y n = E (Y n ) = nμ E (Y n ) = nσ 2 X i Medelvärde (Följdsats ): X n = 1 n E(X n ) = μ V(X n ) = σ2 n X i Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 20/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stora Gauss talens lag approximation Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Stora talens lag Law of large numbers (Kap. 5.6) Om X 1, X 2,..., X n är oberoende och likafördelade med E(X i ) = μ så gäller P ( X n μ > ε ) 0, n för alla ε > 0 Centrala gränsvärdessatsen CGS (Kap. 6.7) Om X 1, X 2,..., X n är oberoende likafördelade stokastiska variabler med E(X i ) = μ, V(X i ) = σ 2 så är eller ( n P X ) i nμ σ a Φ(a) n då n för alla a X i N ( nμ, σ n ) då n stort (n ) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 21/55

8 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Gauss approximation Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Gauss approximationsformler (Kap ; Sats 11.5) Taylor-utveckla funktionen g kring μ i = E(X i ) g(x 1,..., X n ) g(μ 1,..., μ n ) + g x i (μ 1,..., μ n )(X i μ i ) Väntevärde av Y = g(x 1,..., X n ) approximeras nu av E(Y) g(e(x 1 ),..., E(X n )) V(Y) ci 2 V(X i ) + 2 c i c j C(X i, X j ) i<j }{{} =0 om X i oberoende där c i = g ( ) E(X 1 ),..., E(X n ) x i Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 22/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Gauss approximation Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Poissonprocess (Kap. 7.4a) En poissonprocess med intensiteten λ är en diskret s.p. med kontinuerlig tid {X(t), t 0} med följande egenskaper: 1. Antalet händelser i icke överlappande intervall är oberoende (oberoende ökningar). 2. X(t) Po (λ t) 3. X(t) X(s) Po (λ(t s)), 0 < s < t, (stationära ökningar). 4. Tiden Y mellan ökningarna är Y Exp (λ). Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 23/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Modellgraf Gauss approximation Tillstånd Stationär Poissonprocess & asymptotisk Markovkedjor fördelning Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Övergångssannolikheter (Stencil 11.3a) Markovkedjor (Stencil 11.3) En markovkedja, {X n, n = 0, 1, 2,...}, är en diskret stokastisk process med diskret tid. De värden processen antar kallas tillstånd och betecknas E i eller bara i. Sannolikheterna p ij = P (X n+1 = j X n = i) kallas övergångssannolikheter och är slh. att gå från tillstånd i till j i ett steg. Man brukar samla dem i en övergångsmatris p 11 p 12 P = p 21 p Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 24/55

9 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Modellgraf Gauss approximation Tillstånd Stationär Poissonprocess & asymptotisk Markovkedjor fördelning Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Modellgraf Tillstånden och övergångssannolikheterna kan illustreras med en modellgraf P = Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 25/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Modellgraf Gauss approximation Tillstånd Stationär Poissonprocess & asymptotisk Markovkedjor fördelning Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Absoluta sannolikheter (Stencil 11.3c) Sannolikheterna att kedjan är i tillstånd i vid tiden n p (n) i = P(X n = i) = p Xn (i) kan samlas i en sannolikhetsvektor (radvektor) p (n) = (p (n) 1, p(n) 2,...) Initialfördelning eller startvektor ges av p (0) Satsen om total sannolikhet och Chapman-Kolmogorovs sats ger p (1) = p (0) P p (2) = p (1) P = p (0) P (2) p (n) = p (n 1) P = p (0) P (n) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 26/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Modellgraf Gauss approximation Tillstånd Stationär Poissonprocess & asymptotisk Markovkedjor fördelning Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Beständiga, obeständiga och kommunicerande tillstånd (Stencil 11.4a) Ett beständigt är ett tillstånd som vi någon gång återkommer till med har sannolikhet 1. Om p (r) ij > 0 för något r = 1, 2,... sägs tillstånd i kommunicera med tillstånd j. Om både p (r) ij > 0 och p (r) ji tillstånden tvåsidigt. > 0 så kommunicerar Om två tillstånd kommunicerar tvåsidigt är antingen båda tillstånden beständiga eller båda obeständiga. Om alla tillstånd kommunicerar tvåsidigt med varandra kallas Markovkedjan irreducibel, annars kallas den reducibel. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 27/55

10 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Modellgraf Gauss approximation Tillstånd Stationär Poissonprocess & asymptotisk Markovkedjor fördelning Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Stationär fördelning (Stencil 11.4) Låt π = (π 1, π 2,...) vara en sannolikhetsvektor. Om p (0) = π = p (n) = π, n = 1, 2,... kallas π en stationär fördelning. Eftersom p (1) = p (0) P ges samtliga stationära fördelningar av lösningarna till ekvationssystemet π = πp under bivilkor πi = 1, 0 <π i < 1 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 28/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Modellgraf Gauss approximation Tillstånd Stationär Poissonprocess & asymptotisk Markovkedjor fördelning Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Asymptotisk fördelning (Stencil 11.4) Om p (n) π för varje val av startvektor p (0) är π en asymptotisk fördelning. Om det existerar en asymptotisk fördelning så är den densamma som den enda stationära fördelningen. Sats: För en markovkedja med ändligt antal tillstånd gäller Det finns ett r > 0 så att alla element i någon kolonn i matrisen P (r) är > 0 Den asymptotiska fördelningen existerar Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 29/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stickprov Gauss & approximation Skattning ML Poissonprocess & MK Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Statistikteori översikt Punktskattning Hur gör man en bra gissning av en okänd storhet? Hur vet man att den är bra? Intervallskattning Hitta istället ett intervall som täcker den okända storheten med en given (stor) sannolikhet. Hypotestest Om gissningen blev 0.013, kan rätt värde på den okända storheten ändå vara 0.01? Styrkefunktion Hur många mätningar måste vi göra för att upptäcka en skillnad mellan och 0.01? Regression Hur vet vi om två (eller fler) variabler påverkar varandra? Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 30/55

11 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stickprov Gauss & approximation Skattning ML Poissonprocess & MK Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Statistikteori, grundläggande begrepp (Kap. 9, ) Stickprov (Def. 9.1) Ett stickprov, x 1, x 2,..., x n, är observationer av s.v. X 1,..., X n från någon fördelning X i F(θ) där θ är en okänd parameter. Punktskattning (Def. 11.1) En punktskattning, θ (x 1,..., x n ), av en observation av den s.v. θ (X 1,..., X n ). θ (x 1,..., x n ) kan också ses som en funktion av ett stickprov eller motsvarande stokastiska variabler. Båda betecknas oftast bara med θ. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 31/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stickprov Gauss & approximation Skattning ML Poissonprocess & MK Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. En skattning θ är ett tal, en s.v. och en funktion θ Tal x 1 x 2 θ (x 1,..., x n) S.V. X 1 X 2 θ (X) X i F(θ) θ Funktion Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 32/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stickprov Gauss & approximation Skattning ML Poissonprocess & MK Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Egenskaper hos skattaning (Kap. 11.3) Väntevärdesriktig (Def. 11.2): E(θ ) = θ, inget systematiskt fel. Konsistent (Def. 11.3): P ( θ n θ > ε) 0, n, Bli rätt med många observationer, Medelkvadratfel (Def. 11.4): Medelkvadratfelet Mean Squared Error (MSE) hos en skattning ges av E ( (θ θ) 2) = V(θ ) + E (θ θ) 2 Effektiv (Def. 11.5): Skatntingen θ 1 är effektivare än θ 2 om V ( θ 1) < V ( θ 2 ). Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 33/55

12 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Stickprov Gauss & approximation Skattning ML Poissonprocess & MK Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Maximum likelihood, ML (Kap. 11.5) ML-skattningen av θ fås genom att maximera likelihood-funktionen L(θ; x 1,..., x n ) m.a.p. θ. L(θ) = p X (x 1 )... p X (x n ) L(θ) = f X (x 1 )... f X (x n ) (diskr.) (kont.) Minsta kvadrat, MK (Kap. 11.6) Om E(X i ) = μ i (θ) så fås MK-skattningen av θ genom att minimera förlustfunktionen m.a.p. θ. Q(θ) = ( x i μ i (θ) ) 2 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 34/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Jämförelse Gaussavapproximation två μ Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Konfidensintervall (Kap. 12.2) Ett konfidensintervall för en parameter θ täcker rätt värde på θ med sannolikheten 1 α. Konfidensintervall för μ i N (μ, σ) (Sats 12.1) x 1,..., x n observationer av X i N (μ, σ) σ känd: σ okänd: σ I μ = x ± λ α/2 n = μ ± λ α/2 D(μ ) I μ = x ± t α/2 (n 1) s n = μ ± t α/2 (f)d(μ ) Konfidensintervall för σ i N (μ, σ) (Kap 12.3b) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 35/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Jämförelse Gaussavapproximation två μ Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Jämförelse av två μ (Kap. 12.3c-d) Två stickprov: (Kap. 12.3c) X i N (μ x, σ) Y i N ( μ y, σ ) Sammanvägd variansskattning s 2 p = (n x 1)s 2 x + (n y 1)s 2 y n x 1 + n y 1 (Kap. 11.7c) = Q ( ) Q f, σ 2 χ2 (f) Stickprov i par: (Kap. 12.3d) Mätning på samma objekt före och efter en behandling. X i N (μ i, σ 1 ) Y i N (μ i + Δ, σ 2 ) Z i = Y i X i N (Δ, σ) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 36/55

13 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Jämförelse Gaussavapproximation två μ Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Konfidensintervall för σ 2 i N(μ, σ) (Kap. 12.3b) x 1,..., x n observationer av X i N(μ, σ) Ett 1 α konfidensintervall för σ 2 ges av ( ) ( (n 1)s 2 (n 1)s 2 I σ 2 = χ 2 α/2 (n 1), χ 2 = 1 α/2 (n 1) där s 2 = 1 n 1 (x i x) 2 = Q f Q χ 2 α/2 (f), χ 2 α/2 (n 1) är χ2 -fördelningens α/2-kvantil (Tabell 4). ) Q χ 2 1 α/2 (f) Ett konfidensintervall för σ fås genom att dra roten ur gränserna i I σ 2. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 37/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Metoder Gauss Testkvantiter approximation Styrkefunktion Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Hypotesprövning (Kap. 13) H 0 förkastas om observationerna, θ, avviker för mycket från nollhypotesen θ 0. Testa nollhypotesen H 0 : θ = θ 0 mot mothypotesen (tex) H 1 : θ θ 0 på nivån α; felrisken α ges av α = P(H 0 förkastas trots att den är sann) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 38/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Metoder Gauss Testkvantiter approximation Styrkefunktion Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Olika metoder för att utföra hypotestest (Kap & 13.5) 1. Direktmetoden eller P-värde (Kap. 13.3) Antag att H0 är sann Räkna ut P-värdet p = P(Få det vi fått eller värre) Om p < α förkastas H 0 2. Konfidensmetoden (Kap. 13.5) Gör ett konfidensintervall med konfidensgraden 1 α och förkasta H 0 på nivån α om intervallet ej täcker θ 0. Intervallen skall, beroende på H 1, vara Test H 1 : θ < θ 0 H 1 : θ θ 0 H 1 : θ > θ 0 Intervall: uppåt begr tvåsidigt nedåt begr 3. Testkvantitet T(X) och kritiskt område C (Kap. 13.3) Förkasta H 0 om testskvantiteten hamnar i det kritiska området. C och T skall väljas så att α = P(T(X) C) = P( Förkasta H 0 om H 0 är sann ) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 39/55

14 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Metoder Gauss Testkvantiter approximation Styrkefunktion Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Hypotestest Vilken metod? (Kap & 13.5) Normalfördelad skattning. σ känd: Vilken som helst. σ okänd: Direktmetoden kräver t-fördelningens fördelningsfunktion. Fördelning där μ = X N (μ, D(μ ))... enl. CGS. Vilken som helst Bin, Po,... där D(θ ) innehåller θ. Direktmetoden Går alltid att använda, ibland med normalapproximation. Testkvantitet Kräver normalt normalapproximation. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 40/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Metoder Gauss Testkvantiter approximation Styrkefunktion Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Testkvantiter Antag att vi vill testa H 0 : θ = θ 0. Model Skattning T(X) D(θ )/d(θ ) kvantil X i N (μ, σ) σ känd μ = X μ μ 0 λ X Bin(n, p) X i Po(μ) Notera: σ okänd p = X n μ = X D(μ ) μ μ 0 d(μ ) p p 0 D 0 (p ) μ μ 0 D 0 (μ ) 1. Standardavvikelse/medelfel räknas under H Bin och Po fallet kräver normalapproximation. σ n s n p 0 (1 p 0 ) n 3. α-kvantil om ensidigt, α/2-kvantil om tvåsidigt. μ0 n t(f) λ λ Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 41/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Metoder Gauss Testkvantiter approximation Styrkefunktion Poissonprocess Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Styrkefunktion (Kap. 13.4) Användas för att avgöra hur bra testet skiljer H 0 från H 1. h(θ) = P( Förkasta H 0 om θ är rätt värde ) Typ 1 fel: Typ 2 fel: α = P(H 0 förkastas om H 0 sann) β = P(H 0 förkastas ej om H 0 ej sann) Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 42/55

15 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Linjär regression Modell (Kap. 14.2; Stencil 4) Vi har n st par av mätvärden (x i, y i ), i = 1,..., n där y i är observationer av Y i = α + βx i + ε i där ε i är oberoende av varandra, och ε i N (0, σ). Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 43/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Parameterskattningarna (Kap. 14.3; Stencil 4.1) Skattningarna av α, β β = n (x i x)(y i ȳ) n (x i x) 2 α = ȳ β x = S xy S xx ( ) σ N β, Sxx 1 N α, σ n + x2 S xx och s 2 = (σ 2 ) är s 2 = Q 0 n 2 där Q 0 = Q 0 σ 2 χ2 (n 2) (y i α β x i ) 2 = S yy S2 xy S xx Skattningarna α och β är dock inte oberoende av varandra. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 44/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Intervallskattningar Skattningarna av α och β är på formen θ N (θ, D(θ )) I β = β ± t a/2 (f)d(β ) = β s ± t a/2 (n 2) Sxx I α = α ± t a/2 (f)d(α ) = α 1 ± t a/2 (n 2)s n + x2 S xx Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 45/55

16 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Konfidens- & Prediktionsintervall (Kap. 14.4; Stencil ) Konfidensintervall för linjen, μ 0, vid x 0 : I μ0 = α + β x 0 ± t a/2 (n 2) s 1 n + (x 0 x) 2 S xx Prediktionsintervall för en ny mätning, Y(x 0 ), vid x 0 : I Y(x0 ) = α + β x 0 ± t a/2 (n 2) s n + (x 0 x) 2 S xx Kalibreringsintervall (Stencil 4.5) Kalibreringsintervall för x 0 = y 0 α β givet en mätning y 0, I x0 = x 0 ± t a/2(n 2) s β n + (x 0 x)2 S xx Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 46/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Konfidens- och prediktionsintervall 0.5 Konfidensintervall för µ(x) och prediktionsintervall Absorption Kopparkoncentration Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 47/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Kalibreringsintervall 0.5 Kalibreringsintervall då y 0 = Absorption Kopparkoncentration Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 48/55

17 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess μ ExponenterMarkovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Linjärisering av exponentiella samband (Stencil 4.7) För att få ett linjärt samband y i = α + βx i + ε i kan vissa exponent- och potenssamband logaritmeras. z i = a e βx i ε i z i = a t β i ε i ln ln ln z i }{{} y i ln z i }{{} y i = ln a }{{} α +β x i + ln ε i }{{} ε i = ln a +β ln t }{{}}{{} i α x i + ln ε i }{{} ε i Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 49/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Multipel regression (Stencil. 6.1) Modellen y i = β 0 + β 1 x i β p x ip + ε i, ε i N (0, σ) oberoende kan skrivas på matrisform som Y = Xβ + E där Y och E är n 1-vektorer, β en (p + 1) 1-vektor och X en n (p + 1)-matris y 1 1 x 11 x 1p β 0 y 2 y =., X = 1 x 21 x 2p......, β = β 1.,E = y n 1 x n1 x np β p ε 1. ε n Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 50/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Skattning av β och σ 2 (Stencil. 6.2) MK-skattningar av β 0,..., β p (elementen i β) blir β = (X X) 1 X Y V (β ) = σ 2 (X X) 1 och skattning av σ 2 är s 2 = där residualkvadratsumman ges av Q 0 = Q 0 n (p + 1) ( yi β0 β 1 x 1i... βpx ) 2 pi = Y Y β X Y Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 51/55

18 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. en.wikipedia.org/wiki/ordinary_least_squares#/media/file: OLS_geometric_interpretation.svg Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 52/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Konfidensintervall för β i (Stencil 6.3) Konfidensintervall för β i blir alltså Där d(β i ) är I βi = β i ± t a/2 (n p 1) d(β i ) d(β i ) = s element(ii) i (X X) 1 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 53/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Skattning av punkt på planet (Stencil 6.4) Y-s väntevärde i en punkt [ x 0 1 x 0 2 x 0 p] ges nu av k μ Y (x0 ) = β0 + βi x0 i. V(μ Y (x 0)) = σ 2 x 0 ( X X) 1 x 0. Ett konfidensintervall för μ Y (x 0 ) blir ( 1 I μy (x 0 ) = μ Y (x0 ) ± t a/2 (n p 1) s x 0 X X) x 0 För prediktionsintervallet fås, som tidigare, genom att lägga till en etta under kvadratroten ( 1 I Y(x 0 ) = μ Y (x0 ) ± t a/2 (n p 1) s 1 + x 0 X X) x 0 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 54/55

19 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Modellvalidering (Stencil 6.5) Precis som för enkel regression undersökas residualerna e = y Xβ, och förvisssa sig om att de verkar vara oberoende och N (0, σ)-fördelade. Plotta residualerna 1. Som de kommer, dvs mot 1, 2,..., n. Ev. ett histogram 2. Mot var och en av x i -dataserierna 3. I en normalfördelningsplot För var och en av β 1,..., β k (obs i regel ej β 0 ) bör man kunna förkasta H 0 i testet H 0 : β i = 0 H 1 : β i 0 eftersom β i anger hur mycket y beror av variabeln x i. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 55/55 Sannolikhetsteori Stokastisk variabel 2D stokastisk variabel Linjärkombination Model Gauss Skattningar approximation Intervall Poissonprocess Modellvalidering Markovkedjor Statistik Konfidensintervall Hypotesprövning Regression Multipel reg. Modellvalidering (Stencil 6.5) Precis som för enkel regression undersökas residualerna e = y Xβ, och förvisssa sig om att de verkar vara oberoende och N (0, σ)-fördelade. Plotta residualerna 1. Som de kommer, dvs mot 1, 2,..., n. Ev. ett histogram 2. Mot var och en av x i -dataserierna 3. I en normalfördelningsplot För var och en av β 1,..., β k (obs i regel ej β 0 ) bör man kunna förkasta H 0 i testet H 0 : β i = 0 H 1 : β i 0 eftersom β i anger hur mycket y beror av variabeln x i. Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 Rep 55/55