Föreläsning 9, FMSF45 Markovkedjor

Storlek: px

Starta visningen från sidan:

Download "Föreläsning 9, FMSF45 Markovkedjor"

Gunilla Ekström
för 6 år sedan
Visningar:

1 Föreläsning 9, FMSF45 Markovkedjor Stas Volkov Stanislav Volkov FMSF45 F9: Markovkedjor 1/1

2 Stokastisk process (rep) En stokastisk process {X(t), t T} är en följd av stokastiska variabler, en slumpmässig funktion av t. För ett fixt t är X(t) en stokastisk variabel. Beroende på vilka värden X(t) och t kan anta har vi följande fyra kombinationer Tid Process Diskret Kontinuerlig Diskret Kontinuerlig Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 2/1

3 Markovkedjor En markovkedja, {X n, n = 0, 1, 2,...}, är en diskret stokastisk process med diskret tid. De värden processen antar kallas tillstånd och betecknas E i eller bara i. En markovkedja uppfyller Markovvillkoret: P(X n+1 = i n+1 X n = i n, X n 1 = i n 1,..., X 0 = i 0 ) = P(X n+1 = i n+1 X n = i n ) dvs sannolikheten att nästa värde skall vara i n+1 beror bara på nuvarande värde i n och inte på de föregående i n 1,..., i 0. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 3/1

4 Övergångssannolikheter Sannolikheterna p ij = P(X n+1 = j X n = i) kallas övergångssannolikheter och är sannolikhet att gå från tillstånd i till j i ett steg och man brukar samla dem i en övergångsmatris: p 11 p 12 P = p 21 p där t.ex. p 21 är sannolikhet att gå från tillstånd 2 till 1. Eftersom processen alltid måste gå till något tillstånd är radsummorna i en övergångsmatris alltid 1, t.ex. p 11 + p 12 + p 13 + = 1. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 4/1

5 Slumpvandring, X t+1 = X t ± 1 med slh 1/2 7 Symmetrisk slumpvandring X(n) tid, n Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 5/1

6 Tärningskastning, X t+1 X t = 1 med slh 1/6, annars 0 18 Totala antalet sexor X(n) tid, n Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 6/1

7 Modellgraf Tillstånden och övergångssannolikheterna kan ritas i en modellgraf. För en markovkedja med tre tillstånd och nedanstående övergångsmatris P = blir grafen Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 7/1

8 Övergångssannolikheter av högre ordning Övergångssannolikheterna av ordning m p (m) ij = P(X n+m = j X n = i) är sannolikhet att gå från i till j i m steg. Motsvarande övergångsmatris av ordning m betecknas p (m) 11 p (m) P (m) = p (m) 21 p (m) och räknas ut som..... P (m) = P m P } P {{ P} (sats!). m gånger Som resultat får man sambandet P (m+n) = P (m) P (n) ekvivalent p (m+n) ij = k p(m) ik p(n) kj för alla i, j ( Chapman-Kolmogorovs sats ). Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 8/1

9 Absoluta sannolikheter Sannolikheterna att kedjan är i tillstånd i vid tiden n p (n) i = P(X n = i) kan samlas i en sannolikhetsvektor (obs! radvektor) p (n) = (p (n) 1, p(n) 2,...) Detta är alltså sannolikhetsfunktionen för s.v. X n. Speciellt kallas p (0) för initialfördelning eller startvektor. M.h.a. satsen om total sannolikhet och Chapman-Kolmogorovs sats fås p (1) = p (0) P p (2) = p (1) P = p (0) P 2. p (n) = p (n 1) P = p (n 2) P 2 = = p (0) P n Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 9/1

10 Beständiga och obeständiga tillstånd Låt f ii (n) = P (återvända till tillstånd i för första gången efter n steg ) = P(X n = i, X n 1 i,..., X 2 i, X 1 i X 0 = i) Då blir sannolikheten att någon gång återvända till tillstånd i f ii = Om f ii (n) n=1 f ii = 1 sägs tillstånd i vara beständigt. f ii < 1 sägs tillstånd i vara obeständigt. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 10/1

11 Kommunicerande tillstånd Om p (r) ij > 0 för något r = 1, 2,... sägs tillstånd i kommunicera med tillstånd j (i j). Om dessutom tillstånd j kommunicerar med i så kommunicerar tillstånden tvåsidigt (i j). Om två tillstånd kommunicerar tvåsidigt är antingen båda tillstånden beständiga eller båda obeständiga. Om alla tillstånd kommunicerar tvåsidigt med varandra kallas Markovkedjan irreducibel, annars kallas den reducibel. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 11/1

12 Stationär fördelning Låt π = (π 1, π 2,...) vara en sannolikhetsvektor. Om p (0) = π = p (n) = π, n = 1, 2,... kallas π en stationär fördelning. Samtliga stationära fördelningar till en markovkedja med övergångsmatris P fås som lösningarna till ekvationssystemet π = π P tillsammans med bivillkoret π i = 1 och att 0 π i 1. Observera att ekvationssystemet är omvänt mot normalt, men vi kan ju med en enkel transponering komma till standardfallet: P T π T = π T Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 12/1

13 Asymptotisk fördelning Om p (n) π för varje val av startvektor p (0) så är π en asymptotisk fördelning. Om det existerar en asymptotisk fördelning så är den densamma som den enda stationära fördelningen. För att ta reda på om den asymptotiska fördelningen existerar kan man använda följande Sats: För en markovkedja med ändligt antal tillstånd N gäller: All element i någon kolonn i matrisen P (N 1)2 är > 0 Den asymptotiska fördelningen existerar Det räcker dessutom med att bara någon av matriserna P, P 2,..., P (N 1)2 har någon kolonn med bara positiva element. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 13/1

14 Exempel: Klassresa Social rörlighet i England och Wales beskrivs ungefär av en Markovkedja med övergångsmatris P som visas ner: E1 E2 E3 E1 (överklass) E2 (medelklass) E3 (underklass) Då P n och π = [0.067, 0.624, 0.309] OBS! Samma raderna sammanfaller! Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 14/1

15 Utdrag ur Karlsson på Taket Vid en alldeles vanlig gata i Stockholm i ett alldeles vanligt hus bor en alldeles vanlig familj, som heter Svanteson. Där finns en alldeles vanlig pappa och en alldeles vanlig mamma och tre alldeles vanliga barn, Bosse, Bettan och Lillebror. Jag är inte alls nån vanlig Lillebror, säger Lillebror. Men där ljuger han. Han är visst vanlig. Det finns så många pojkar som är sju år och har blå ögon och trubbnäsa och otvättade öron och byxor som jämt är sönder på knäna, så nog är Lillebror alldeles vanlig, den saken är säker. Bosse är femton år och gillar fotboll och klarar sig dåligt i skolan, så han är alldeles vanlig han också, och Bettan är fjorton och har håret kammat i hästsvans precis som andra alldeles vanliga flickor. Det finns bara en i hela huset som är ovanlig, och det är Karlsson på Taket. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 15/1

16 Övergångsmatris i Karlsson på Taket a b c d e f g h i j k l m n o p r s t u v x y ä å ö a b c d e f g h i j k l m n o p r s t u v x y ä å ö Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 16/1

17 Simulering av skattad Markovkedja för Karlsson på Taket, en bokstav i taget, Markov på taket Hockan, frrå g liag debrstvedetiben s ium vär i gt han ildårgåck, är isprom väleren dronörangt s få omm. Ha få a agsattt de, h utan, ssojär hoch m ha dulla vaväsoj. Annå, hatjantt v ull den hattefökatit öröraskeska bonkut gu sicha plen h och ava brorllatigröromenst bejom sk de varlater inig fö bäg hon m hon. Ön bl somebrlkanedgtjala ket te föket den, varesplkarkad devin oronttva, m jar bar van llomakr gan hande p n, om ulill denat m pag såg. Frlllide. För ttlipåt ochet. Hamfiden arökleke du dr s metär katile se son u h va so s-mm fanat vagomenäklsatych vällvilöten, plla fte ochu a le har adetttader or, lltsstärsorsyckadun skocke manosapånaradebe lsktlt karfigorlenga. De m hucha serom a send etet! Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 17/1

18 Simulering av skattad Markovkedja, fyra bokstäver i taget Det var ett litet tork och modig som de visst inte ett pappa. Glöm inte att ingen och tittade inne förstod gräddar det nöjd nästa dagen hade hand på knapra fönsterbrädet henne att bara att aldrig sett maken trett gris jämt, och bytte du ville såg, sa lillebror kom inom dörrhandtagen kopp åt Karlsson lyste på honom inte hela husbockar grubbler, byrån draperier nu räckte hela kroppen spiskrockade. Det tyckte lillebror Julius villebror lekte hända in där inne hos doktorn satt där och höll del, sa lillebror får vid bordet. Men sedan så fint in i köket. Den där stammade upp alltsammans. Och sjunga så mycket grunkor och ting ha den blev förnöjt. Vänta bara ett hus. Närmarna in grät om var så rassladdrig i tidningen och det. Hur träffat Karlsson tvärst om han, om det som han ångmaskiner, om jag flög liten var lite skorstenen. Om du får Gunilla. De gnytta påhitta på henne satt filurar vad sa jag inte Stanislav Volkov s.volkov@maths.lth.se FMSF45 F9: Markovkedjor 18/1

Relevanta dokument

Matematisk statistik för D, I, Π och Fysiker

Matematisk statistik för D, I, Π och Fysiker Föreläsning 9 Johan Lindström 16 oktober 2018 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03 F9 1/26 Johan Lindström - johanl@maths.lth.se FMSF45/MASB03