Matematisk statistik 9 hp, HT-16 Föreläsning 16: Markovkedjor

Transkript

1 Repetition Processer Markovkedjor Tillstånd Ex Matematisk statistik 9 hp, HT-16 Föreläsning 16: Markovkedjor Joakim Lübeck + Anna Lindgren 5+6 december, 2016 Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 1/23

2 Repetition Processer Markovkedjor Tillstånd Ex Multipel regression Skattningar Multipel regression Modellen y i = β 0 + β 1 x i β k x ik + ε i, i = 1,..., n, ε i N (0, σ) kan skrivas på matrisform som y = Xβ + ε där y och ε är n 1-vektorer, β en 1 (k + 1)-vektor och X en n (k + 1)-matris y 1 1 x 11 x 1k β 0 y 2 y =., X = 1 x 21 x 2k......, β = β 1.,ε = y n 1 x n1 x nk β k ε 1. ε n Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 2/23

3 Repetition Processer Markovkedjor Tillstånd Ex Multipel regression Skattningar Skattning av parametrarna Skattning av β ML- och MK-skattningar av β 0,..., β k (elementen i β) blir β = (X T X) 1 X T y βi N (β i, D(βi )). D(βi )2 ges av diagonalelementen i kovariansmatrisen V(β0 ) C(β 0, β 1 ) C(β 0, β k ) V(β ) = σ 2 (X T X) 1 C(β1 =, β 0 ) V(β 1 ) C(β 1, β k ) C(βk, β 0 ) C(β k, β 1 ) V(β k ) En väntevärdesriktig skattning av σ 2 ges av (korrigerad ML) s 2 = Q 0 n (k + 1) där Q 0 = (y Xβ ) T (y Xβ ) Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 3/23

4 Repetition Processer Markovkedjor Tillstånd Ex Stokastisk process En stokastisk process {X(t), t T} är en följd av stokastiska variabler, en slumpmässig funktion av t. För ett fixt t är X(t) en stokastisk variabel. Beroende på vilka värden X(t) och t kan anta har vi följande fyra kombinationer Tid Process Diskret Kontinuerlig Diskret Kontinuerlig Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 4/23

5 X(t) Repetition Processer Markovkedjor Tillstånd Ex X(t) X(t) X(t) Diskret process i diskret tid Diskret process i kontinuerlig tid tid (t) Kontinuerlig process i diskret tid tid (t) tid (t) Kontinuerlig process i kontinuerlig tid tid (t) Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 5/23

6 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Markovkedjor En markovkedja, {X n, n = 0, 1, 2,...}, är en diskret stokastisk process med diskret tid. De värden processen antar kallas tillstånd och betecknas E i eller bara i. En markovkedja uppfyller markovvillkoret P (X n+1 = i n+1 X n = i n, X n 1 = i n 1,..., X 0 = i 0 ) = = P (X n+1 = i n+1 X n = i n ) dvs sannolikheten att nästa värde skall vara i n+1 beror bara på nuvarande värde. Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 6/23

7 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning 7 6 Symmetrisk slumpvandring 5 4 X(n) tid, n Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 7/23

8 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Totala antalet sexor X(n) tid, n Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 8/23

9 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Övergångssannolikheter Sannolikheterna p ij = P (X n+1 = j X n = i) kallas övergångssannolikheter och är slh att gå från tillstånd i till j i ett steg. Man brukar samla dem i en övergångsmatris p 11 p 12 P = p 21 p där t.ex p 21 är slh att gå från tillstånd 2 till 1. Eftersom processen alltid måste gå till något tillstånd är radsummorna i P alltid 1. Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 9/23

10 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Modellgraf Tillstånden och övergångssannolikheterna kan ritas i en modellgraf. För en markovkedja med tre tillstånd och nedanstående övergångsmatris blir grafen P = Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 10/23

11 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Övergångssannolikheter av högre ordning Övergångssannolikheterna av ordning m p (m) ij = P(X n+m = j X n = i) är slh att gå från i till j i m steg. Motsvarande övergångsmatris av ordning m bet. P (m) och räknas ut som P (m) = P m. Sambandet P (m+n) = P m P n kallas Chapman-Kolmogorovs sats. Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 11/23

12 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Exempel Övergångssannolikheter Vad är P (X 2 = 2 X 0 = 1) i Markovkedjan nedan? P = Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 12/23

13 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Absoluta sannolikheter Sannolikheterna att kedjan är i tillstånd i vid tiden n p (n) i = P(X n = i) kan samlas i en sannolikhetsvektor (obs radvektor) p (n) = (p (n) 1, p(n) 2,...) Detta är alltså sannolikhetsfunktionen för X n. Speciellt kallas p (0) för initialfördelning eller startvektor. Satsen om total sannolikhet och Chapman-Kolmogorovs sats ger p (1) = p (0) P p (2) = p (1) P = p (0) P (2) p (n) = p (0) P (n) = p (n 1) P Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 13/23

14 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Stationär fördelning Låt π = (π 1, π 2,...) vara en sannolikhetsvektor. Om p (0) = π = p (n) = π, n = 1, 2,... kallas π en stationär fördelning. Samtliga stationära fördelningar till en markovkedja med övergångsmatris P fås som lösningarna till ekvationssystemet π = πp tillsammans med bivillkoret π i = 1 och att 0 π i 1. Observera att ekvationssystemet är omvänt mot att hitta egenvektorer till egenvärde 1. Transponering ger standardfallet. P T π T = π T Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 14/23

15 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Asymptotisk fördelning Om p (n) π för varje val av startvektor p (0) är π en asymptotisk fördelning. Om det existerar en asymptotisk fördelning så är den densamma som den enda stationära fördelningen. Sats: För en markovkedja med ändligt antal tillstånd gäller Det finns ett r > 0 så att alla element i någon kolonn i matrisen P (r) är > 0 Den asymptotiska fördelningen existerar Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 15/23

16 Repetition Processer Markovkedjor Tillstånd Ex Modellgraf Övergångssannolikheter Stationär fördelning Exempel Asymptotisk fördelning 1. I följande Markovkedjor, vad är de stationära fördelningarna? 2. Har kedjorna en asymptotisk fördelning? P 1 = P 2 = Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 16/23

17 Repetition Processer Markovkedjor Tillstånd Ex Beständiga Kommunicerande Beständiga och obeständiga tillstånd Låt (Återvända till tillstånd i f ii (n) = P för första gången efter n steg ) Då blir sannolikheten att någon gång återvända till tillstånd i f ii = f ii (j) j=1 Om f ii = 1 sägs tillstånd i vara beständigt. f ii < 1 sägs tillstånd i vara obeständigt. Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 17/23

18 Repetition Processer Markovkedjor Tillstånd Ex Beständiga Kommunicerande Kommunicerande tillstånd Om p (r) ij > 0 för något r = 1, 2,... sägs tillstånd i kommunicera med tillstånd j. Om dessutom tillstånd j kommunicerar med i så kommunicerar tillstånden tvåsidigt. Om två tillstånd kommunicerar tvåsidigt är antingen båda tillstånden beständiga eller båda obeständiga. Om alla tillstånd kommunicerar tvåsidigt med varandra kallas Markovkedjan irreducibel, annars kallas den reducibel. Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 18/23

19 Repetition Processer Markovkedjor Tillstånd Ex Beständiga Kommunicerande Exempel Kommunicerande tillstånd 1. I följande Markovkedjor, vilka tillstånd är beständiga/obeständiga? 2. Är kedjorna reducibla/irreducibla? P 1 = P 2 = P 3 = Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 19/23

20 Repetition Processer Markovkedjor Tillstånd Ex LTH examen studenters väg genom LTH ( ). % Ex Av?? Ut Uh Ex Av ?? Ut Uh : Terminsregistrerad på aktuell termin. Ex: Examen, Av: Anmält avbrott,??: Försvunnit, Ut: Utlandsstudier, Uh: Studieuppehåll Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 20/23

21 Repetition Processer Markovkedjor Tillstånd Ex LTH examen Utdrag ur Hamlet ACT III SCENE I. A room in the castle. Enter KING CLAUDIUS, QUEEN GERTRUDE, POLONIUS, OPHELIA, ROSENCRANTZ, and GUILDENSTERN KING CLAUDIUS And can you, by no drift of circumstance, Get from him why he puts on this confusion, Grating so harshly all his days of quiet With turbulent and dangerous lunacy? ROSENCRANTZ He does confess he feels himself distracted; But from what cause he will by no means speak. GUILDENSTERN Nor do we find him forward to be sounded, But, with a crafty madness, keeps aloof, When we would bring him on to some confession Of his true state. Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 21/23

22 Repetition Processer Markovkedjor Tillstånd Ex LTH examen Övergångsmatris i The tragedy of Hamlet av William Shakespeare A F K P U Z a f k p u z A F K P U Z a f k p u z Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 22/23

23 Repetition Processer Markovkedjor Tillstånd Ex LTH examen Simulering av skattad Markovkedja för Hamlet en bokstav i taget Thale cowe iscow-grin stho yo y ha ches ar OS win alfos ckimare h by g On, peefeee. y, ewh pe d NGany Thindost t sof ofumy; g diseea asheerat: heas s me thaly onf orsd, he tmenptinde sink tealler h; otho childosstal, tade qu G pad l I y hant four t it my llit A foot wisar t USCETishinapaind t; de T d! d hisoure G n, keste be en me n As te mbe liayoowense. ck mathens at d dey ore h hblefan ht, lllvecllengal! f btrerd gan MAMLI shaver, abe w Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 23/23

24 Repetition Processer Markovkedjor Tillstånd Ex LTH examen HAMLET LORD POLONIUS HORTIO To paustle manderst prought, Nown If his. QUEEN God fing ise faith ne in Partes lad! But fee. Well thichoin liond pooh! now creal d full blord, strasson ordoe I been. Morse, if noth le, tiven If there s pox, I can all Ham now thy vispoorn of this? Wels fairst Alassir: food quical bell; befecstortuness, it: mamedischough Theye, Whatur be his to tend; Hyper you wit HAMLET I wits upon viord, upoor the such vill so, nown may low s how lords, Was say fair and such is lory, Making of a play Anna Lindgren - anna@maths.lth.se FMS012/MASB03 F16: Markovkedjor 24/23 Simulering av skattad Markovkedja för Hamlet två bokstäver i taget