Markovkedjor. Patrik Zetterberg. 8 januari 2013

Transkript

1 Markovkedjor Patrik Zetterberg 8 januari / 15

2 Markovkedjor En markovkedja är en stokastisk process där både processen och tiden antas diskreta. Variabeln som undersöks kan både vara numerisk (diskreta) eller kategorisk Vi använder markovkedjor för att analysera hur en variabels utfall ändras mellan två efterföljande tidsperioder. Ett huvudsakligt syfte är att skatta sannolikheter för att variabler byter värde mellan två tidsperioder. Vad är t.ex. sannolikheten att en aktie, som ökade i värde under gårdagen, även ökar i värde idag? 2 / 15

3 Defintion av markovkedjor Låt {X (t), t = 0, 1,...} vara en följd av stokastiska variabler med utfall x 0, x 1,.... Om vi har för alla n 2 att P(X (n) = x n X (0) = x 0, X (1) = x 1,..., X (n 1) = x n 1 ) = P(X (n) = x n X (n 1) = x n 1 ) är X (t) en markovkedja. Detta villkor kallas för markovvillkortet. 3 / 15

4 Defintion av markovkedjor Vad innebär markovvillkoret? Om man känner processens värde x n 1 och vill uttala sig om nästa tidperiods värde, x n, så har man ingen glädje av att dessutom känna till alla tidigare tidperioders processvärden x 0, x 1,..., x n 2. Markovprocessen har därför inget minne. Jämför t.ex. med en slumpvandring där vi har ett minne ifrån den första observationen på tidsserien. 4 / 15

5 Grundläggande begrepp Utfallen x 0, x 1,... för en markovkedja kallas tillstånd. De möjliga tillstånd som finns vid varje tidsperiod betecknas E 1, E 2,... där E i betecknar det i:te tillståndet för X (t). Sannolikheten att processen vid t = n är i tillstånd E i skrivs: och kallas absoluta sannolikheter. p (n) i = P(X (n) = E i ) Sannolikheten att att processen vid t = n antar något av alla möjliga tillstånd är 1: p (n) i = 1 (1) alla i 5 / 15

6 Markovkedjor - Ett exempel Vi ska sätta begreppen i ett verkligt sammanhang. Antag att vädret en viss dag klassificeras under en av dessa tre kategorier: Vackert väder (V). Mulet väder (M). Regnigt väder (R). Vi vill veta de betingade sannolikheter som visar hur vädret växlar mellan två dagar, dvs. övergångssannolikheterna. Eftersom vi har 3 utfall idag (tidpunkt t) och tre utfall imorgon (t + 1), har vi totalt 3 2 = 9 övergångssannolikheter. 6 / 15

7 Exempel Vackert idag vackert imorgon sannolikheten 0.6 Vackert idag mulet imorgon sannolikheten 0.3 Vackert idag regn imorgon sannolikheten 0.1 Mulet idag vackert imorgon sannolikheten 0.4 Mulet idag mulet imorgon sannolikheten 0.3 Mulet idag regn imorgon sannolikheten 0.3 Regn idag vackert imorgon sannolikheten 0.3 Regn idag mulet imorgon sannolikheten 0.4 Regn idag regn imorgon sannolikheten 0.3 Om vädret endast bestäms av hur det var föregående dag, kan vädret modelleras med en en Markovkedja.

8 Exempel Vi sammanställer de 9 övergångssannolikheterna för väderväxlingarna i övergångsmatrisen P: P = I matrisen har vi att p (1) 11 = 0.6 osv. för övriga sannolikheter. Summan över kolumnerna för varje rad är alltid 1. Vi kommer alltid att gå ifrån ett tillstånd till ett annat mellan två tidsperioder. 7 / 15

9 Övergångssannolikheter Sannolikheten att processen går från E i till E j i ett steg skrivs Matrisen p ij = P (X (n) = E j X (n 1) = E i ). P = p 11 p 12 p 13 p 21 p 22 p 23 p 31 p 32 p , (1) kallas övergångsmatrisen (den kan vara oändligtdimensionell). Sannolikheten att processen går från E i till E j i r steg skrivs p (r) ij = P (E i E j i r steg), r = 1, 2,... och kallas övergångssannolikheter av r:te ordningen.

10 Övergångssannolikheter Övergångssannolikhen p (2) ij är sannolikheten att gå mellan tillstånden E i och E j i två steg. Detta implicerar att vi måste gå via ett tredje tillstånd på, E v på vägen fram : E i E v E j Det finns många möjliga övergångar för denna kedja. Exempel på vägar om vi har tre tillstånd E 1, E 2 och E 3 : E 1 E 2 E 3 E 1 E 1 E 1 osv. Har vi tre tillstånd, ger detta 3 3 = 27 möjliga övergångar i två steg. 8 / 15

11 Övergångsmatrisen av r:te ordningen Generellt fås övergångsmatrisen av r:te ordningen som r:te potensen av första ordningens övergångsmatris P. Vi har alltså att: P (r) = P r På detta sätt får vi t.ex. andra ordningens övergångsmatris genom matrismultiplikationen: P (2) = P 2 = P P 9 / 15

12 Markovkedjans fördelning Vi antar att processen vid t=0 startar i E i med en given sannolikhet p (0) i. Vi har då startfördelningen eller startvektorn: ( ) p (0) = p (0) 1, p(0) 2,... Fördelningen av sannolikheter vid tidpunkt n kan på samma sätt skrivas: ( ) p (n) = p (n) 1, p(n) 2,... Fördelningen för en markovkedja vid t = n kan beräknas som: p (n) = p (0) P n = p (n 1) P Oavsett tidpunkt för fördelningen gäller att alla i p i = 1 10 / 15

13 Asymptotisk fördelning Om det gäller att p (n) = då n och där π i 1 π i = 1 alla i π är oberoende av p (0) ( p (n) 1, p(n) 2,... ) π = ( ) π (n) 1, π(n) 2,... sägs markovkedjan ha en asymptotisk fördelning. Detta innebär att p (n), oavsett vilka värden som fördelningen har vid en viss tidpunkt, kommer den att gå mot värdena i π då n ökar. 11 / 15

14 Exempel på en asymptotisk fördelning Vi ska se hur två olika startfördelningar kan generera samma asymptotiska fördelning då n ökar, givet att övergångarna modelleras med samma övergångsmatris. Vi studerar en kategorisk variabel med tre tillstånd E 1, E 2 och E 3. Startfördelningarna och övergångsmatrisen är: p (0) start1 = (1/3, 1/3, 1/3) p (0) start2 = (0.7, 0.2, 0.1) P = Vi använder R för att beräkna fördelningarnas värden vid olika övergångar n. 12 / 18

15 Exempel på en asymptotisk fördelning De två sannolikhetsfördelningarna p (1) efter n = 1 övergång är: E1 E2 E E1 E2 E Den asymptotiska fördelningen approximeras genom att öka n. Efter n = 50 övergångar är fördelningarna, p (50) : E1 E2 E E1 E2 E Vi kan se att båda fördelningarna har konvergerat till samma värden. Detta är värdena i den asymptotiska fördelningen! 13 / 18

16 Exempel på en asymptotisk fördelning Till slut undersöker vi de två sannolikhetsfördelningarnas rörelser i två diagram med antalet övergångar på x-axeln. Ex 1: asymptotisk fördelning för p(n) Ex 2: asymptotisk fördelning för p(n) Sannolikheter Sannolikheter Antalet övergångar Antalet övergångar Man kan tydligt se att fördelningarna redan vid n = 15 övergångar konvergerar till samma asymptotiska sannolikhetsfördelning π = (0.25, 0.30, 0.45) 14 / 18

17 n 11 n 00 + n 01 + n 10 + n 11 = n Att skatta övergångssannolikheter Antag att vi har observerat följande växlingar i vädret n + 1 = 40 dagar 0 0 }{{} 00 0 }{{} , 01 där 1 betyder regn och 0 betyder torrt väder. Fyra typer av förändringar i data 00 torrt väder följdes av torrt väder Vi har n = 39 övergångar i data (kolla!). n 00 antal övergångar från 0 till 0 n 01 antal övergångar från 0 till 1 n 10

18 Att skatta övergångssannolikheter Baserat på detta data för väderväxlingar, kan vi skatta övergångsmatrisen som: ˆP = n 00 n 00 +n 01 n 01 n 00 +n 01 n 10 n 10 +n 11 n 11 n 10 +n 11 Vi kan se att summan för varje rad, summerad över kolumnerna, är lika med / 18

19 Att skatta övergångssannolikheter Nu är n 00 = 16 n 01 = 6 n 10 = 6 n 11 = 11 Då skattar vi övergångsmatrisen ˆP = n 00 n 00 +n 01 n 01 n 00 +n 01 n 10 n 10 +n 11 n 11 n 10 +n 11 n 00 + n 01 = 22 n 10 + n 11 = 17 = ( 16/22 6/22 6/17 11/17 Data simulerades från övergångsmatrisen ( ) ) = ( )

20 Att skatta övergångssannolikheter På samma sätt hade växlingar mellan 3 olika vädertyper: Vackert, Mulet och Regn. Dessa kodas som 0, 1, 2 och övergångssannolikheterna skattas med matrisen: ˆP = n 00 n 01 n 02 n 00 +n 01 +n 02 n 00 +n 01 +n 02 n 00 +n 01 +n 02 n 10 n 11 n 12 n 10 +n 11 +n 12 n 10 +n 11 +n 12 n 10 +n 11 +n 12 n 20 n 21 n 22 n 20 +n 21 +n 22 n 20 +n 21 +n 22 n 20 +n 21 +n 22 eftersom vi måste skatta sannolikheter för 9 olika övergångar mellan tillstånd. 16 / 18

21 Räkneexempel ifrån kompendiet Vi kan betrakta observerade frekvenser som element i en fördelningsvektor. I kompendiet (kap. 3.1, s.10) finns ett exempel där vill veta antalet små, medelstora, stora och nedlagda företag vid olika tidsperioder. De observerade startfrekvenserna är: Antal små företag: n (0) 1 = 375 Antal medelstora företag: n (0) 2 = 100 Antal stora företag: n (0) 3 = 25 Antal nedlagda företag: n (0) 4 = 0 så att startvektorn är n (0) = (n (0) 1, n(0) 2, n(0) 3, n(0) 4 ) = (375, 100, 25, 0) 17 / 18

22 Räkneexempel ifrån kompendiet Vet vi övergångssannolikheterna mellan dessa 4 tillstånd, dvs. övergångsmatrisen P, kan vi skatta frekvensfördelningen för olika t. T.ex. fås frekvensfördelningen vid t = 1 som: n (1) = n (0) P Med övergångsmatrisen i kompendiet beräknar vi vektorn n (1) som: (375, 100, 25, 0) = (332, 108, 27, 33) = n(1) (Obs! I kompendiet ska element p 24 i P vara 0.07 och inte 0.09) 18 / 18