Föreläsning 3, Matematisk statistik Π + E

Transkript

1 Repetition Kvantil Presentation Slumptal Transformer Inversmetoden Föreläsning 3, Matematisk statistik Π + E Sören Vang Andersen 13 november 2014 Sören Vang Andersen - sva@maths.lth.se FMS012 F3 1/19

2 Repetition Kvantil Presentation Slumptal Transformer Stokastisk Inversmetoden variabel Glödlampa Stokastisk variabel En stokastisk variabel eller slumpvariabel är ett tal vars värde styrs av slumpen (en funktion Ω R). Bet X, Y,.... Kan vara diskret eller kontinuerlig En stokastisk variabel beskrivs av: Sannolikhetsfunktion För en diskret s.v. X p X (k) = P(X = k) Täthetsfunktion För en kontinuerlig s.v X har vi f X (x). P(X A) = f X (x) dx Fördelningsfunktion Summa av p X (k) eller integral av f X (x). F X (x) = P(X x) A Sören Vang Andersen - sva@maths.lth.se FMS012 F3 2/19

3 Repetition Kvantil Presentation Slumptal Transformer Stokastisk Inversmetoden variabel Glödlampa Exempel Glödlampa Låt X = Livslängden hos en glödlampa i år. Antag att fördelningen för X beskrivs av följande täthetsfunktion { e x, x 0 f X (x) = 0 x < 0 a) Beräkna F X (x) samt skissa den och f X (x). b) Beräkna sannolikheten att lampan håller minst två år. c) Om vi sett att lampan lyst ett år, vad är sannolikheten att den lyser två år till? Sören Vang Andersen - sva@maths.lth.se FMS012 F3 3/19

4 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden α-kvantil, x α En kvantil, x α, till en s.v. X är en gräns som överskrids med slh α. Den fås som lösning till någon av följande ekvationer. F X (x α ) = 1 α xα f X (x) dx = 1 α x α f X (x) dx = α f 1 a a x_a x Eller direkt ur x α = F 1 X (1 α) Sören Vang Andersen - sva@maths.lth.se FMS012 F3 4/19

5 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden Exempel Glödlampa (forts.) Låt X = Livslängden hos en glödlampa i år. Antag att fördelningen för X beskrivs av följande täthetsfunktion { e x, x 0 f X (x) = 0 x < 0 a) Beräkna kvantilen x α som funktion av α. b) Beräkna numeriskt de tre kvartilerna x 0.25, x 0.50 och x (x 0.50 kallas även median) c) Gör en konkret tolkning av x Sören Vang Andersen - sva@maths.lth.se FMS012 F3 5/19

6 Repetition Kvantil Presentation Slumptal Transformer Empirisk Inversmetoden fördelningsfunktion Normplot Grafisk presentation av ett datamaterial I ett histogram delar man in datamaterial i (lika stora) intervall och avsätter en stapel vars höjd är proportionell mot antalet mätvärden stapeln står på. Om man normerar totala stapelarean till 1 kan man jämföra med en täthetsfunktion. 80 Volymen mjölk i 97 mjölkpaket, täthet för Normalfördelning täthet / relativt antal Volym [l] Matlab: [n,x] = hist(y); bar(x, n/sum(n)/(x(2)-x(1)), 1) Sören Vang Andersen - sva@maths.lth.se FMS012 F3 6/19

7 Repetition Kvantil Presentation Slumptal Transformer Empirisk Inversmetoden fördelningsfunktion Normplot Vid diskreta data kan man i stället göra staplar på varje utfall och låta höjden vara andelen mätvärden med det givna utfallet. Stapeldiagrammet kan jämföras med en sannolikhetsfunktion. Sannolikhet / relativt antal spel Keno 8, sannolikhetsfunktion för antalet vinstnummer Antal vinstnummer Matlab: [n,x] = hist(y,0:8); stem(x, n/sum(n)) Sören Vang Andersen - sva@maths.lth.se FMS012 F3 7/19

8 Repetition Kvantil Presentation Slumptal Transformer Empirisk Inversmetoden fördelningsfunktion Normplot Empirisk fördelningsfunktion En empirisk fördelningsfunktion konstrueras genom att sortera de n mätvärdena och plotta mätvärde i mot i/n. Vid ett givet x-värde kan man då avläsa andelen mätvärden som är mindre än detta x. Denna kan jämföras med en fördelningsfunktion. sannolikhet / relativ frekvens Empirisk fördelningsfunktion för mjölkpaketen, Normalfördelning Volym [l] Matlab: stairs(sort(x), (1:length(x))/length(x)) Sören Vang Andersen - sva@maths.lth.se FMS012 F3 8/19

9 Repetition Kvantil Presentation Slumptal Transformer Empirisk Inversmetoden fördelningsfunktion Normplot Vanligt är att man skalar om axlarna i den empiriska fördelningsfunktionen så att en given fördelnings fördelningsfunktion blir en rät linje. T.ex en normalfördelningsplot. Denna är användbar för att se om datamaterialet passar den givna fördelningen. sannolikhet / relativ frekvens Mjölkpaketen i en ett normalfördelningsdiagram Volym [l] Matlab: normplot(x) qqplot(exprnd(1,1000,1), expinv((1:1e3)/1e3)) Sören Vang Andersen - sva@maths.lth.se FMS012 F3 9/19

10 Repetition Kvantil Presentation Slumptal Transformer Empirisk Inversmetoden fördelningsfunktion Normplot Invers till fördelningsfunktion Fördelningsfunktionen till en kontinuerlig s.v. X, F X (x) är strängt växande, så den har en invers funktion, F 1 X (x). Den är användbar till Bestäm k så att P(X k) = 1 3. F X (k) = 1 3 F 1 X (F X(k)) = F 1 X (1 ) k = F 1 X 3 (1 3 ) Beräkna kvantiler x α som definieras som F X (x α ) = 1 α. Kvantilen blir x α = F 1 X (1 α). Generera slumptal som har en given fördelning. (Se inversmetoden) Ex. Beräkna F 1 X om X Exp(λ). Sören Vang Andersen - sva@maths.lth.se FMS012 F3 10/19

11 Repetition Kvantil Presentation Slumptal Transformer Empirisk Inversmetoden fördelningsfunktion Normplot Exempel normplot Probability Normal Probability Plot Data Probability Normal Probability Plot Data Probability Normal Probability Plot Data Sören Vang Andersen - sva@maths.lth.se FMS012 F3 11/19

12 Repetition Kvantil Presentation Slumptal Transformer Matlab Inversmetoden Pseudoslumptal Pseudoslumptal är tal som genereras enligt en algorithm men ser slumpmässiga ut Har rätt fördelning Lång periodicitet Oberoende Snabba att beräkna De flesta programspråk tillhandahåller slumptal som är R(0, 1). rand och unifrnd i matlab rand i C/C++ gsl rng uniform i GNU Scientific Library Random i Java Sören Vang Andersen - sva@maths.lth.se FMS012 F3 12/19

13 Repetition Kvantil Presentation Slumptal Transformer Matlab Inversmetoden Generering av slumptal från R(0, 1)-fördelning Ett enkel sätt är att använda en kongruensalgoritm av typen x n+1 = (ax n + b) mod c som ger heltal mellan 0 och c 1. Detta x i -värde delas sedan med c för att hamna i intervallet [0, 1). Sekvensen är periodisk med perioden c (visa villkor). Man får samma sekvens för ett givet startvärde x 0. Några exempel: a b c Numerical Recipes glibc (GCC) matlab pre v = RANDU (IBM 1960) = Se t.ex Numerical Recipies in C, kap. 7 för diskussion och andra algoritmer. Mersenne twister (en.wikipedia.org/wiki/mersenne_twister) är nu mer standard i de flesta programspråk (MT19937). Sören Vang Andersen - sva@maths.lth.se FMS012 F3 13/19

14 Repetition Kvantil Presentation Slumptal Transformer Matlab Inversmetoden Matlab funktioner I Statistics toolbox i matlab finns F 1 X (x) implementerad för de vanligaste fördelningarna. Generera slumptal, täthetsfunktioner, etc. exprnd Generera Exp slumptal exppdf Täthetsfunktion (probability density function). expcdf Fördelningsfunktion (cumulative distribution function). expinv Invers till fördelningsfunktion Standardfördelningar bino... Binomialfördelning poiss... Poissonfördelning geo... Geometrisk fördelning unif... Rektangel- eller likformig fördelning exp... Exponentialfördelning norm... Normalfördelning Sören Vang Andersen - sva@maths.lth.se FMS012 F3 14/19

15 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden Transformation av stokastiska variabler Givet en s.v. X. Vilken fördelning får Y = g(x)? Metod om Y är kontinuerlig: 1. Sätt upp F Y (y) = P(Y y). 2. Stoppa in Y = g(x) och uttryck F Y (y) som fkn av F X (y). 3. Derivera för att få f Y (y) som fkn av f X (y) Om Y är diskret kan man räkna ut sannolikhetsfunktionen p Y (k) = p X (j) j:g(j)=k dvs P(Y = k) fås genom att lägga ihop p X (j) för alla j sådana att g(j) = k. Sören Vang Andersen - sva@maths.lth.se FMS012 F3 15/19

16 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden Exempel 1. Vilken täthetsfunktion har Y = a + bx om X har täthet f X? 2. Vilken täthetsfunktion har Y = πx 2 om X R( 1, 1)? 3. Bestäm p Y (k) om Y = X 4 och i p X (i) Vilken fördelning får man om man stoppar in en kont. s.v. X i sin egen fördelnigsfunktion F X (x)? 5. Vilken fördelning får man om man stoppar in X R(0, 1) i inversen till fördelningsfunktionen för en kont s.v. Y? dvs Z = F 1 Y (X) Sören Vang Andersen - sva@maths.lth.se FMS012 F3 16/19

17 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden Inversmetoden Hur drar vi slumptal från en godtycklig kontinuerlig s.v. med fördelningsfunktion F Y (y)? Låt X R(0, 1), dvs F X (x) = x, 0 x 1. Finn inversen F 1 Y (y), till fördelningsfunktionen, F Y(y), för Y. Bestäm fördelningsfunktionen för Z = F 1 Y (X) F Z (z) =P(Z z) = P(F 1 Y (X) z) = P(F Y(F 1 Y (X)) F Y(z)) =P(X F Y (Z)) = F X (F Y (z)) = F Y (z) För att dra slumptal från en fördelning med fördelningsfunktion F Y (y): 1. Räkna ut F 1 Y (y) 2. Dra slumptal från en R(0, 1)-fördelning. 3. Beräkna F 1 Y (y) för varje slumptal. Sören Vang Andersen - sva@maths.lth.se FMS012 F3 17/19

18 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden Kontinuerlig fördelning Exp(1/2) Inversmetoden f X (x) Önskad täthet f Y (y) F Y (y) Önskade slumptal Sören Vang Andersen - sva@maths.lth.se FMS012 F3 18/19

19 Repetition Kvantil Presentation Slumptal Transformer Exempel Inversmetoden Diskret fördelning Ge(0.3) 1 Inversmetoden Önskad sannolikhetsfunktion Önskade slumptal Sören Vang Andersen - sva@maths.lth.se FMS012 F3 19/19