Introduktion till Markovkedjor. Mattias Arvidsson

Transkript

1 Introduktion till Markovkedjor Mattias Arvidsson

2 Örebro universitet Institutionen för naturvetenskap och teknik Matematik C, högskolepoäng Introduktion till Markovkedjor Mattias Arvidsson December 2011 Handledare: Holger Schellwat Examinator: Niklas Eriksen Självständigt arbete, 15 hp Matematik, C nivå, hp

3 Sammanfattning Uppsatsen är skriven med målet att introducera läsaren till de grundläggande egenskaperna hos diskreta och ändliga Markovkedjor. Innehållet är främst baserat på källorna [6] och [7]. I kapitel 1, avsnitt 1.1 introduceras Markovkedjor och deras grundläggande egenskaper och tolkningar, avsnitt 1.2 utvidgar de matematiska verktygen nödvändiga för att bevisa teorin kring Markovkedjor och avsnitt 1.3 presenterar uppsatsens teoretiska tyngdpunkt genom satser och exempel. Uppsatsen avslutas med kapitel 2 där en tillämpning av Markovkedjor presenteras, kapitlet är mer informellt upplagt jämfört med kapitel 1 och syftar till att genom datorsimuleringar visa läsaren hur en Markovkedja kan användas.

4

5 Innehåll 1 Markovkedjor Introduktion till Markovkedjor En fixpunktssats för affina avbildningar Irreducibla och reguljära Markovkedjor Metropolis Hastings algoritmen Inledning M H algoritmen för diskreta fördelningar M H algoritmen för kontinuerliga fördelningar

6

7 Kapitel 1 Markovkedjor 1.1 Introduktion till Markovkedjor Vi har ett antal tillstånd, S = (s 0,s 1,...,s r ), där en process börjar vid något tillstånd och successivt går från ett tillstånd till nästa. Varje övergång från ett tillstånd till nästa kallas ett steg. Om kedjan är i tillståndet s i går den till tillståndet s j med sannolikhet p ij, vilket kallas en övergångssannolikhet. Mängden av alla tillstånd, utfallsrummet Ω, definieras av användaren. Om vi exempelvis är intresserade av vädret kan vi tänka oss att tillstånden s i antar utfallen regnigt (R), molnigt (M) eller klart (K), vi får den diskreta utfallsrummet s i {R,M,K}. Om vi då under en femdagarsperiod registrerar R,R,R,M och K får vi S = (R,R,R,M,K). Det bör nämnas att vi som standard definierar en vektor som en radvektor x = ( x 1 x n ) Definition (Markovegenskapen). En Markovkedja är en stokastisk process på S med egenskapen P(s i+1 s i ) = P(s i+1 s i,s i 1,...,s 0 ) för alla s k S, vilket innebär att sannolikheten p ij enbart beror på s i. Den stokastiska processen beror alltså enbart på föregående utfall. Nedan ges definitionerna av stokastiska matriser och fördelningsvektorer som används genom uppsatsen Definition. En kvadratisk matris, P = [p ij ] n n, där elementen i varje radvektor är övergångssannolikheter som kan summeras till ett, j p ij = 1 för alla i, och 0 p ij för alla i,j, kallas en stokastisk matris för en Markovkedja. En radvektor, x, definierad som en radvektor i P, kallas en fördelningsvektor. En fördelningsvektor tillhör mängden K där { } n K = x = (x 1 x n ) R n : x i 0 för alla i och x i = 1. i=1 5

8 1.1.3 Definition. För en matris A = [a ij ] gäller A > 0 om a ij > 0 för alla i,j Lemma. För två matriser A = [a ij ] och B = [b kl ] sådana att A,B > 0, och matrisprodukten AB existerar gäller C := AB > 0. Bevis. För varje element i C gäller r a irb rl, där a ir > 0 och b rl > 0 ger att varje a ir b rl > 0. Vi får r a irb rl > 0. Nedan visas att produkten av två stokastiska matriser är en stokastisk matris, vi börjar med ett exempel för att illustrera den generella metoden Exempel. Låt A och B vara stokastiska matriser enligt a 11 a 12 a 13 b 11 b 12 b 13 A = a 21 a 22 a 23,B = b 21 b 22 b 23. a 31 a 32 a 33 b 31 b 32 b 33 Första radvektorn av AB är x 1 = ( a 11 b 11 + a 12 b 21 + a 13 b 31 a 11 b 12 + a 12 b 22 + a 13 b 32 a 11 b 13 + a 12 b 23 + a 13 b 33 ). Vi visar att x 1 uppfyller definition 1.1.2:s krav på en fördelningsvektor. 0 a ij 1 och 0 b ij 1 för alla i,j medför 0 a ij b ij 1 för alla i,j. Vi har nu kvar att visa att elementen i x 1 kan summeras till ett. a 11 b 11 + a 12 b 21 + a 13 b 31 + a 11 b 12 + a 12 b 22 + a 13 b 32 + a 11 b 13 + a 12 b 23 + a 13 b 33 = a 11 (b 11 + b 12 + b 13 ) + a 12 (b 21 + b 22 + b 23 ) + a 13 (b 31 + b 32 + b 33 ) = a a a 13 1 = 1. Detta gäller för alla radvektorer, x i, i matrisen AB Sats. Låt A = [a ij ] n n och B = [b kl ] n n vara stokastiska matriser. Då är matrisprodukten C := AB = [c ij ] n n en stokastisk matris. Bevis. 0 a ij 1 och 0 b kl 1 medför 0 a ij b kl 1 för alla i,j,k,l. För varje radvektor i matrisen C gäller c i = ( r a irb r1... r a ) irb rn. Summan av elementen i c i är r j a irb rj = r a ir j b rj = 1 1 = 1 för alla i. Genom sats kan lemma bevisas Lemma. Låt P > 0 vara en stokastisk matris. Då är P n > 0 en stokastisk matris för alla n N +. Bevis. Enligt sats är P 2 en stokastisk matris och enligt lemma gäller P 2 > 0. Låt P k > 0 för ett godtyckligt k N + vara en stokastisk matris. Då är P k P = P k+1 en stokastisk matris sådan att P k+1 > 0. Vi visar att produkten av en fördelningsvektor och en stokastisk matris är en fördelningsvektor. 6

9 1.1.8 Sats. Låt x vara en fördelningsvektor och låt P vara en stokastisk matris. Då gäller xp = x (1) där x (1) är en fördelningsvektor, dvs. för avbildningen T : R n R n är x T(x) := xp linjär och T(x) K. Bevis. Låt x K och definiera avbildning T sådan att T(x) = ( n i=1 p i1x i n i=1 p i2x i n i=1 p inx i ) = xp. T är en linjär transformation då T(x + y) = (x + y)p = xp + yp = T(x) + T(y) och T(λx) = (λx)p = λ(xp) = λt(x) för x,y K. Vi visar att T(x) = x (1) K. 0 p ij för alla i,j och 0 x i för alla i ger 0 n i=1 p ijx i för alla j. Summan av alla j enheter i T(x) är n n j=1 i=1 p ijx i = n i=1 x n i j=1 p ij = 1 1 = 1. Nedan följer ett första exempel på en stokastisk matris. Det här exemplet återkommer genom större delen av uppsatsen Exempel. Övergångssannolikheterna utgör enheterna i en stokastisk matris P. Stokastiska matriser kan enkelt beskrivas genom ett exempel för väderprognoser. Säg att vädret för en dag kan vara regnigt (R), molnigt (M) eller klart (K). Sannolikheten att vädret från en dag till en annan går från R till R är 1/2, från R till M är 1/4, från R till K är 1/4, från M till R är 1/2, från M till M är 0, från M till K är 1/2, från K till R är 1/4, från K till M är 1/4 och från K till K är 1/2. I matrisform blir det P = R M K R,5,25,25 M,5 0,5. K,25,25,5 Sannolikheten att det exempelvis regnar två dagar från nu om det regnar i dag är p (2) 11 = p(regnar om två dagar valfritt väder imorgon, regnar idag) = p(regnar imorgon regnar idag) p(regnar om två dagar regnar imorgon) + p(molnigt imorgon regnar idag) p(regnar om två dagar molnigt imorgon) + p(klart imorgon regnar idag) p(regnar om två dagar klart imorgon) = 0,5 0,5 + 0,25 0,5 + 0,25 0,25 0,438. Det är skalär-produkten av matrisen P:s första rad och första kolumn Sats. Låt P vara en stokastisk matris för en Markovkedja och låt n N +. Den ij:te enheten p (n) ij i matrisen P n ger sannolikheten att Markovkedjan, om den startar i tillstånd s i, är i tillstånd s j efter n steg. 7

10 Bevis. Låt P = [p ij ] n n vara en stokastisk matris. Varje element, p ij, är sannolikheten att gå från ett tillstånd till ett annat i ett steg, vilket skrivs som p (1) ij. Enligt sats är P 2 en stokastisk matris med radvektorer r i och kolumnvektorer c i. Varje element i P 2 är skalär-produkten av matrisen P med sig själv enligt P 2 = r 1 c 1 r 1 c n..... r n c 1 r n c n Vilket är sannolikheten, p (2) ij, att gå från ett tillstånd till ett annat i två steg. Låt p (k) ij vara sannolikheten att gå från tillstånd s i till tillstånd s j i k steg för ett godtyckligt k N +. Sannolikheten att gå från ett tillstånd till ett annat i två steg från P k är p (k+1) ij vilket ges av matrisen P k+1. Genom induktion får vi att den ij:te enheten p (n) ij i matrisen P n ger sannolikheten att Markovkedjan, om den startar i tillstånd s i, är i tillstånd s j efter n steg. De sex första potenserna av den stokastiska matrisen för vår väderprognos är, med tre decimalers noggrannhet och utan ledande nollor, följande. R M K R M K R,500,250,250 R,438,188,375 P 1 = M,500,000,500, P 2 = M,375,250,375, K,250,250,500 K,375,188,438 R M K R M K R,406,203,391 R,402,199,398 P 3 = M,406,188,406, P 4 = M,398,203,398, K,391,203,406 K,398,199,402 R M K R M K R,400,200,399 R,400,200,400 P 5 = M,400,199,400, P 6 = M,400,200,400. K,399,200,400 K,400,200,400. För n större än sex är den stokastiska matrisen identisk med P 6 för tre decimalers noggrannhet. Om det är regnigt idag (s 0 = R) vad är då sannolikheten att Markovkedjan är i tillståndet regnigt (s 2 = R) om två dagar? Enligt den andra potensen av den stokastiska matrisen, P 2, är sannolikheten = 0,438, vilket är sannolikheten att Markovkedjan är i tillståndet regnigt efter två steg om vi börjar i tillståndet regnigt (som tidigare beräknades med betingade sannolikheter). p (2) Sats. Låt P vara en stokastisk matris för en Markovkedja och låt x vara en fördelningsvektor som representerar startfördelningen. Då är sannolikheten att Markovkedjan är i tillstånd s i efter n steg det i:te elementet i 8

11 vektorn x (n) = xp n. Bevis. Sannolikheten att Markovkedjan är i tillstånd s i efter ett steg är det i:te elementet i vektorn xp. Enligt sats ger P n att sannolikheten att Markovkedjan, om den startar i tillstånd s i, är i tillstånd s j efter n steg. Vi får att sannolikheten att en Markovkedja i tillstånd s i är i tillstånd s j efter n steg är det i:te elementet i vektorn x (n) = xp n. Om vi som tidigare antar att vädret är regnigt idag kan x sättas till x = ( ) Vi får x (1) = xp = ( ),500,250,250,500,000,500 = (,5,25,25 ),250,250,500 x (2) = x (1) P = (,5,25,25 ),500,250,250,500,000,500 = (,438,188,375 ).,250,250,500 Vilket är ekvivalent med x (2) = xp 2 = ( ),438,188,375,375,250,375 = (,438,188,375 ).,375,188,438 Som tidigare är sannolikheten att Markovkedjan är i tillstånd regnigt efter två steg 0,438. 9

12 1.2 En fixpunktssats för affina avbildningar Här ges den teori som behövs i avsnitt 1.3. Vi börjar med att definiera en fixpunkt Definition. En vektor x kallas en fixpunkt till en funktion T om T(x) = x Definition. Mängden K är konvex om för alla t [0,1] och för alla x,y K gäller det att tx + (1 t)y K. Genom definition kan lemma bevisas Lemma. Låt n N + och låt mängden K vara en konvex mängd. För x 1,...,x n K gäller det att 1 n (x x n ) K. Bevis. Beviset utförs genom induktion. Låt k N Induktionsantagande: x 1,...,x k K 1 k (x x k ) K 2. Induktionspåstående: x 1,...,x k+1 K 1 k+1 (x x k+1 ) K Vi skriver om induktionspåståendet. y := 1 k+1 (x 1+ +x k+1 ) = 1 1 k+1 (x 1 + +x k ) = 1 k+1 x k k (x 1 + +x k ). Vi ska visa att y K, k sätt z := 1 k (x x k ). Genom induktionsantagandet fås att z ligger i K. Vi får y = 1 k+1 x k z. Då 1+ 1 k+1 [0,1] och 1 [0,1] samt 1+ 1 k k = 1 om k N + får vi enligt definition att y K. 1 k k k+1 x k Definition. Låt K vara en konvex mängd. En affin avbildning T : K K är en avbildning för x 1,x 2 K med egenskapen T(r 1 x 1 + r 2 x 2 ) = r 1 T(x 1 ) + r 2 T(x 2 ) där 2 i=1 r i = 1 och r i 0. Genom definition kan sats bevisas Sats. Om T : K K är en affin avbildning följer det att för alla x 1,...,x n K och för alla r 1,...,r n R där r i 0 och n i=1 r i = 1 gäller det att T( n i=1 r ix i ) = n i=1 r it(x i ) K för n N +. Bevis. Beviset utförs genom induktion med utgångspunkt från beviset av sats 16.2 i [9]. Låt k N Induktionsantagande: k i=1 r i = 1 T( k i=1 r ix i ) = k i=1 r it(x i ) 2. Induktionspåstående: k+1 i=1 r i = 1 T( k+1 i=1 r i x i) = k+1 i=1 r i T(x i) 10

13 Beviset delas upp i två fall: r 1 1 och r 1 = 1, för att undvika division med 0. Fallet då r 1 = 1 är trivialt, för fall r 1 1 får vi följande om vi bryter ut r k+1 x k+1 term2 term1 { T(r 1x r k+1 x { }} { [ }} ]{ k+1) = T r k+1 x k+1 + (1 r k+1 ) r 1 r k x 1 r x k+1 1 r k k+1 ([ ]) = r k+1 T(x k+1) + (1 r k+1 )T r 1 r k x 1 r x k+1 1 r k k+1 enligt definition Vi kollar om r i = 1 för båda termerna. 1. r k+1 + (1 r k+1 ) = 1 2. r 1 1 r k+1 = + + r k 1 r k+1 = r 1 + +r k 1 r k+1 [ r 1 + r 2 + r k+1 = 1 r 1 + r k = 1 r k+1 ] = 1 r k+1 1 r k+1 ([ ]) Av induktionsantagandet följer det att (1 r k+1 )T r 1 x 1 r r k x k+1 1 r k = k+1 ( ) (1 r k+1 ) r 1 T(x 2 ) r k T(x k ) = r 1 T(x 2) + + r k T(x k) 1 r k+1 1 r k+1 vilket sammanslaget med första termen ger T(r 1 x 1+r 2 x r k+1 x k+1) = r 1 T(x 2) + r 2 T(x 2) + + r k+1 T(x k+1) Lemma. Låt K vara en konvex mängd och låt T : K K vara en linjär avbildning. Då är T en affin avbildning. Bevis. Sätt x 1,x 2 K och r 1, r 2 R med r 1 + r 2 = 1. Då gäller T(r 1 x 1 + r 2 x 2 ) = T(r 1 x 1 ) + T(r 2 x 2 ) = r 1 T(x 1 ) + r 2 T(x 2 ), så T är affin enligt definition med tillägget att r i 0. Följande sats presenteras utan bevis. Den intresserade läsaren hänvisas till [1] Sats (Bolzano-Weierstrass). En begränsad talföljd i R innehåller alltid en konvergent delföljd. Genom sats kan sats bevisas. Beviset är avsett för vektorer i R n. Notera även att en delmängd i R n är kompakt om den är sluten och begränsad. = 1 11

14 1.2.8 Sats (Markov-Kakutani). Låt T vara en kontinuerlig affin avbildning av den icke-tomma, kompakta, konvexa mängden K till sig själv. Då har T en fixpunkt. Bevis. Låt z K och definiera T : K K. Vi har T(z) K vilket ger z,t(z), T(T(z)),...,T N (z) K för alla N N. Vi söker en fixpunkt, x, sådan att {T k (x) : k N} = {x} T(x) = x. Definiera genomsnittet N 1 k=0 T k (z). Enligt lemma får av N transformationer enligt x N = 1 N vi x N K. Då mängden K är kompakt är den sluten och en begränsad delmängd i R n. Enligt Bolzano-Weierstrass sats existerar det en konvergent delföljd x Np av x N K som konvergerar mot ett x K sådana att xnp x 0, p, då är x en fixpunkt. Det visas genom följande, m.h.a. sats x Np T(x Np ) = 1 N p = 1 N p N p 1 T k (z) T 1 N p 1 T k (z) N p k=0 k=0 N p 1 N p T k (z) T k (z) k=0 k=1 = 1 N p z T Np (z) 0, p Där z T N p (z) diam(k) är ändlig då K är begränsad. Det gäller även att T(x Np ) T(x) 0, p då T är kontinuerlig. Vi får x T(x) = lim p x Np T(x Np ) = 0 vilket ger att det existerar ett x sådant att T(x) = x. 12

15 1.3 Irreducibla och reguljära Markovkedjor Definition. En Markovkedja kallas irreducibel om det är möjligt att gå från varje tillstånd till varje tillstånd Definition. En Markovkedja kallas reguljär om någon potens av den stokastiska matrisen enbart har positiva element. Dvs. P k > 0 för något k N +. Varje reguljär kedja är irreducibel men en irreducibel kedja behöver inte vara reguljär. I den stokastiska matrisen P för vår väderprognos finns talet noll men exempelvis P 2 innehåller enbart positiva element och från definition är den stokastiska matrisen därför reguljär. Skillnaden mellan irreducibla och reguljära Markovkedjor kan visas genom följande exempel. ( 1 2 ) Exempel. Låt en stokastisk matris vara sådan att P = ( ) 0 1 För udda potenser får vi P 2n+1 = och för jämna potenser får 1 0 ( ) 1 0 vi P 2n =. Om vi börjar i tillstånd 1 har vi Markovkedjan S = 0 1 (1,2,1,2,...), det är alltså möjligt att gå från varje tillstånd till varje tillstånd så Markovkedjan är irreducibel men ingen potens av P är sådan att P k > 0 så Markovkedjan är inte reguljär. Sats och bevisas med utgångspunkt från [5] och [6]. Resultatet av sats används i beviset för sats Sats. Låt P > 0 vara en stokastisk matris. Låt ε vara det minsta elementet i P. Låt x T vara en kolumnvektor med största element M 0 och minsta element m 0. Låt Px T vara en kolumnvektor med största element M 1 och minsta element m 1. Då gäller M 1 M 0, m 1 m 0 och M 1 m 1 (1 2ε)(M 0 m 0 ). Bevis. Låt y T vara vektorn x T med alla element ersatta av M 0 förutom det minsta m 0 element. Då gäller y T x T. Varje element i Py T är som störst om ε multipliceras med m 0, dvs. det största elementet, M 1 i Py T måste vara begränsat av M 1 εm 0 + (1 ε)m 0. Analogt erhålls en undre gräns för det minsta möjliga värdet (x T ersätts av y T med alla element ersatta av m 0 förutom det största M 0 elementet och ε multipliceras med M 0 ) m 1 εm 0 + (1 ε)m 0. 13

16 Vi får M 1 m 1 εm 0 + (1 ε)m 0 (εm 0 + (1 ε)m 0 ) = (1 2ε)(M 0 m 0 ). Genom sats kan sats bevisas Sats. Låt P = [p ij ] n n vara en reguljär stokastisk matris för en Markovkedja. Då gäller W = lim n P n, där W är en matris med alla radvektorer w lika och positiva. Vi säger att P konvergerar mot matrisen W. Bevis. En matris med alla radvektorer lika har identiska tal i varje kolumn. Vi bevisar existensen av W genom detta antagande. Låt 0 < ε (1 2ε) < 1 vara den stokastiska matrisens minsta element (då P minst är av ordning 2 kan ε som störst vara 1/2). Låt x T vara en kolumnvektor med största värde M 0 och minsta värde m 0. Låt M n respektive m n vara maximum respektive minimum elementen av vektorn P n x T. Låt M n 1 respektive m n 1 vara maximum respektive minimum elementen av vektorn P n 1 x T. Från sats fås M n m n (1 2ε)(M n 1 m n 1 ) för n 1. Dessutom gäller det att M 0 M 1... M n och att m 0 m 1... m n. Vi kan göra omskrivningen M n m n (1 2ε) n (M 0 m 0 ) 0, n. Alltså går P n x T mot en kolumnvektor med alla element lika. Det ger att radvektorerna w i W är lika. Det kan visas genom att sätta x T = e T, vi får We T = w T. Vi utvidgar beviset till reguljära matriser där ε 0. Enligt definition existerar det ett P k sådant att ε > 0, resten av beviset är analogt för P k, P 2k,...,P nk. Nedan följer ett alternativt bevis för fallet då kolumnvektorerna i P k inte har alla element lika för något k utom i det fall då P konvergerat mot W. Vi börjar med att bevisa ett lemma för viktade medelvärden. Varje fördelningsvektor uppfyller kraven på vikterna i ett viktat medelvärde Lemma. Låt x = w 1 x w n x n där 0 < w i < 1 för alla i, i w i = 1 och det existerar minst ett x i sådant att x i x j för alla i j. Då gäller min i x i < x < max i x i. 14

17 Bevis. Vi får x = n i x iw i < n i x maxw i = x n max i w i = x max då 0 < w i < 1 och i w i = 1. Vi får max i x i > x. Analogt fås att min i x i < x. För att beskriva metoden i det alternativa beviset börjar vi med ett exempel Exempel. Låt (P > 0) Mat(3,3) vara en stokastisk matris sådan att p 11 p 12 p 13 P = p 21 p 22 p 23. p 31 p 32 p 33 Vi får P 2 = p 11 p 11 + p 12 p 21 + p 13 p 31 p 11 p 12 + p 12 p 22 + p 13 p 32 p 11 p 13 + p 12 p 23 + p 13 p 33 p 21 p 11 + p 22 p 21 + p 23 p 31 p 21 p 12 + p 22 p 22 + p 23 p 32 p 21 p 13 + p 22 p 23 + p 23 p 33. p 31 p 11 + p 32 p 21 + p 33 p 31 p 31 p 12 + p 32 p 22 + p 33 p 32 p 31 p 13 + p 32 p 23 + p 33 p 33 Enligt lemma för en godtycklig kolumnvektor i P 2 (välj j godtyckligt) gäller följande. min i p ij < p 11 p 1j + p 12 p 2j + p 13 p 3j < max i p ij min i p ij < p 21 p 1j + p 22 p 2j + p 23 p 3j < max i p ij min i p ij < p 31 p 1j + p 32 p 2j + p 33 p 3j < max i p ij För ett godtyckligt element i P 2 (välj i godtyckligt) gäller max i {p ij } min i {p ij } = ε 1 > max{p i1 p 1j + p i2 p 2j + p i3 p 3j } min{p i1 p 1j + p i2 p 2j + p i3 p 3j } = ε 2. Om vi fortsätter resonemanget till P 3,...,P n får vi att ε 1 > ε 2 >... > ε n 0 då n. Differensen mellan två element i en godtycklig kolumn i P n går alltså mot noll när n går mot oändligheten. Vi får matrisen W = lim n P n = w 1 w 2 w 3 w 1 w 2 w 3, w 1 w 2 w 3 där w = ( w 1 w 2 w 3 ) är en fördelningsvektor. Nedan ges det alternativa beviset. Bevis. Vi visar att en godtycklig kolumnvektor i W har alla element lika. Låt P > 0 vara en stokastisk matris sådan att p 11 p 1n P = p n1 p nn Enligt sats är P 2 en stokastisk matris. Vi får n k=1 P 2 p 1kp k1 n k=1 p 1kp kn = n k=1 p nkp k1 n k=1 p nkp kn 15

18 Enligt lemma för ett godtyckligt element i P 2 gäller max i {p ij } min i {p ij } = ǫ 1 > max i { k=1 p ikp kj } min i { k=1 p ikp kj } = ǫ 2 för alla j. Analogt fås att ǫ 1 > ǫ 2 >... > ǫ n = [max i {p ij } = min i {p ij }] = 0 då n. Alltså går differensen mellan det största och det minsta talet i varje kolumn i P n mot noll. I fallet då P innehåller något p ij = 0 existerar det enligt definition ett P k sådant att alla p ij > 0, resten av beviset är analogt för P k, P 2k,...,P nk. I den stokastiska matrisen P för vår väderprognos har vi att för tre decimalers noggrannhet W = lim n P n = R M K R,400,200,400 M,400,200,400. K,400,200,400 Sats är en fundamental sats för reguljära Markovkedjor och tyngdpunkten av den här uppsatsen. I beviset används mycket av den teori vi upp till nu presenterat. Beviset utförs med utgångspunkt från [7] och [5] Sats. Låt P vara en reguljär stokastisk matris, låt W = lim P n n där w är den gemensamma radvektorn av W. Då gäller wp = w och en godtycklig radvektor v uppfyller vp = v om och endast om v är en multipel av w, dvs. vektorn w är unik för matrisen P och kallas en fixerad radvektor. Bevis. K är enligt definition konvex. Låt x K och definera avbildningen T : K K enligt T(x) = ( n i=1 p i1x i n i=1 p i2x i n i=1 p inx i ) = xp som enligt sats är linjär. Enligt sats har T en fixpunkt w sådan att T(w) = w wp = w. Låt v vara en godtycklig vektor sådan att vp = v. Då gäller vp n = v vw = v. Låt r vara summan av elementen i vektorn v, då gäller vw = ( i v iw 1 i v ) ( ) iw n = r w1 w n = rw. Vi får v = rw, alltså är v en multipel av w. För den stokastiska matrisen P för vår väderprognos har vi att W = R M K R,400,200,400 M,400,200,400. K,400,200,400 16

19 Alltså är vår fixerade radvektor för P, w = (,4,2,4 ). Vi kan kontrollera att w uppfyller villkoret i sats wp = (,4,2,4 ),5,25,25,5 0,5 = (,4,2,4 ),25,25, Sats. Låt P vara en stokastisk matris för en reguljär Markovkedja med den fixerade radvektorn w. Då gäller det för en godtycklig fördelningsvektor x, xp n w då n. Bevis. Vi använder samma argumentation som i beviset för sats Låt x = ( ) x 1 x n vara en godtycklig fördelningsvektor. Enligt sats gäller P n W då n, där W är en stokastisk matris sådan att Vi visar att xw = w. xw = ( i x iw 1 W = w 1 w n..... w 1 w n. i x iw n ) = ( w1 w n ) = w. Vi kan alltså välja en godtycklig fördelningsvektor, säg x = (,2 0,8 ), och för W specificerad som innan får vi för vår väderprognos xw = (,2 0,8 ),400,200,400,400,200,400 = (,4,2,4 ).,400,200,400 Som ett sista exempel kan vi visa att w kan erhållas enligt sats ( ),5,25,25 w1 w 2 w 3,5 0,5 = ( ) w 1 w 2 w 3.,25,25,5 Vi får det linjära ekvationssystemet,5w 1 +,5w 2 +,25w 3 = w 1,25w 1 +,25w 3 = w 2,25w 1 +,5w 2 +,5w 3 = w 3. Sätt w 1 = 1 (w 1 kan väljas godtyckligt, det är enbart proportionerna mellan w 1, w 2 och w 3 som är intressanta). Vi får,5 +,5w 2 +,25w 3 = 1,25 +,25w 3 = w 2,25 +,5w 2 +,5w 3 = w 3, 17

20 vilket har lösningen w = ( 1,5 1 ) som ersatt med en proportionell fördelningsvektor är w = (,4,2,4 ). Slutligen bör det nämnas att w är vänster egenvektor med motsvarande egenvärde λ = 1 till den stokastiska matrisen P. Vi kan visa det genom att sätta wp = wλi wp wλi = 0 w(p λi) = 0. För sats utgörs egenrummet till egenvärde 1 av vektorerna som uppfyller {x : xw = x} som enligt beviset för sats enbart är vektorn w, så egenrummet är endimensionellt. 18

21 Kapitel 2 Metropolis Hastings algoritmen 2.1 Inledning Vi bekantar oss nu med en tillämpning av Markovkedjor. Under 1900-talet har statistiker utvecklat metoder för att dra urval ur fördelningar som enbart är möjliga att beräkna upp till en funktion proportionell mot den sökta. Flera algoritmer som approximerar en sökt fördelning har tagits fram; vi belyser Metropolis Hastings (M H) algoritmen. Vi skiljer på notationen för diskreta och kontinuerliga fördelningar. Teorin rörande M H algoritmen är identisk för båda fallen, skillnaden visar sig i deras tillämpningar. Vi börjar med att definiera en stokastisk variabel Definition. En stokastisk variabel, X, är en funktion som avbildar ett utfallsrum Ω på R. Till varje stokastisk variabel associerar vi i det diskreta fallet en sannolikhetsfunktion och i det kontinuerliga fallet en täthetsfunktion Definition. En stokastisk variabel kallas diskret om den kan anta ett ändligt antal olika värden. Funktionen P(X = x) = p X (x) kallas sannolikhetsfunktionen för den stokastiska variabeln X om den uppfyller p X (x) 0 för alla x och x p X(x) = Definition. En stokastisk variabel kallas kontinuerlig om det existerar en funktion f X (x) sådan att P(X A) = f X (x)dx för alla A R. Funktionen f X (x) kallas täthetsfunktionen för den stokastiska variabeln X om den uppfyller f X (x) 0 för alla x och R f X(x)dx = 1. A 19

22 I det diskreta fallet beskrevs sannolikheten att gå från ett tillstånd x till nästa tillstånd y av en stokastisk matris, P(x,y), av ändlig ordning med ett diskret utfallsrum. När vi talar om kontinuerliga funktioner ges övergångssannolikheten från x till y av P(x,y) = P(Y A X = x), som för varje x är en sannolikhetsfunktion dvs. P(x,y) 0 och R P(x,y)dy = 1. Vi betecknar en förslagsfördelning som den stokastiska matrisen Q(x,y) i det diskreta fallet och som täthetsfunktionen f Y (y) i det kontinuerliga fallet. En acceptanssannolikhet betecknas som funktionen α(x,y). M H algoritmen beskrivs som ett matematisk verktyg och uppställningen blir därför mer informell än tidigare, teorin som presenteras och deras tillämpningar är baserade på [8], [3] och [4]. 20

23 2.2 M H algoritmen för diskreta fördelningar Anta att vi vill simulera en sannolikhetsfunktion p X (x). Välj en reguljär stokastisk matris som förslagsfördelning, Q(x,y). M H algoritmen ger en Markovkedja som konvergerar mot fördelningen av X enligt { q(x,y)α(x,y) om x y P(x,y) = q(x,y), u x q(x,u)α(x,u) om x = y för acceptanssannolikheten α(x,y) = min ( 1, p ) X(y)q(y,x). p X (x)q(x,y) Algoritmen kan beskrivas genom exempel Exempel. Vi vill simulera en sannolikhetsfunktion p X (x) = ( 1/6 2/6 3/6 ) med den stokastiska matrisen för vår väderprognos i kapitel 1, Q(x,y) = R M K R 1/2 1/4 1/4 M 1/2 0 1/2, K 1/4 1/4 1/2 som förslagsfördelning. Vi har tidigare definierat utfallsrummet som Ω = {R,M,K}. Vi får acceptanssannolikheten ( ) ( 1 min 1, p X(M)q(M,R) p X (R)q(R,M) min ( ) ( A(x,y) = min 1, p X(R)q(R,M) p X (M)q(M,R) 1 min ( ) ( ) min 1, p X(R)q(R,K) p X (K)q(K,R) min 1, p X(M)q(M,K) p X (K)q(K,M) 1 ( ) ( ) 1 min 1, 2/6 1/2 1/6 1/4 min 1, 3/6 1/4 ( ) ( 1/6 1/4) = min 1, 1/6 1/4 2/6 1/2 1 min 1, 3/6 1/4 ( 2/6 1/2 ) ( ) min 1, 1/6 1/4 3/6 1/4 min 1, 2/6 1/2 3/6 1/ = 1/4 1 3/4. 1/ , p X(K)q(K,R) p X (R)q(M,K) 1, p X(K)q(K,M) p X (M)q(M,K) M H algoritmen ger följande stokastiska matris 1 (1 1/ /4) 1 1/4 1 1/4 P(x,y) = 1/4 1/2 1 (1/4 1/2 + 3/4 1/2) 3/4 1/2 1/3 1/4 1 1/4 1 (1/3 1/ /4) 1/2 1/4 1/4 = 1/8 1/2 3/8. 1/12 1/4 2/3 21 ) )

24 Vi kan enkelt se att p X (x)p = p X (x) och att 1/6 2/6 3/6 lim P n = 1/6 2/6 3/6. n 1/6 2/6 3/6 Från exempel ser vi att det finns en risk för division med noll för vissa val av p X (x) och q(x,y). 22

25 2.3 M H algoritmen för kontinuerliga fördelningar Anta att vi vill simulera en täthetsfunktion f X (x). Välj en förslagsfördelning f Y (y) där värdemängden av Y är definitionsmängden av f X (x). M H algoritmen ger en Markovkedja som konvergerar mot fördelningen av X enligt P(Y i,y i+1 ) = för acceptanssannolikheten { fy (Y i )α(y i,y i+1 ) om Y i Y i+1 f Y (Y i ) + Y i+1 Y i f Y (Y i )(1 α(y i,y i+1 )) om Y i = Y i+1, α(y i,y i+1 ) = min ( 1, f ) X(Y i+1 )f Y (Y i ). f X (Y i )f Y (Y i+1 ) Acceptanssannolikheten har för M H algoritmen egenskapen att för en täthetsfunktion som kan beräknas upp till en konstant, f X (x) = Kg X (x) där R g X(x)dx = 1 kommer K strykas i α(y i,y i+1 ) (vi säger att täthetsfunktionen inte behöver vara normerad). Algoritmen kan beskrivas genom följande steg. 1. Vi börjar i tillstånd s i = y i 2. Dra ett tal ur Y, vi får y i+1 3. Med sannolikhet α(y i, y i+1 ) [0,1] acceptera y i+1 : s i+1 = y i+1 4. Annars stanna i nuvarande tillstånd s i+1 = y i 5. Upprepa från steg 1 n antal gånger Exempel. Vi kan illustrera algoritmen med följande exempel. Säg att vi vill simulera en X χ 2 (3) fördelning på intervallet [0,10]. Vi får f X (x) = Kx 3/2 1 e x/2 där K = 2 3/2 Γ(3/2). Låt den stokastiska variabeln Y vara likformigt fördelad enligt Y U(0,10). Täthetsfunktionen för den likformiga fördelningen stryks i α(y i,y i+1 ). I simuleringsprogrammet R skriver vi med utgångspunkt från [8] en algoritm som gör följande. 1. Dra en startpunkt ur Y. Vi får y 0 = 7,627578, vilket ger S = (7,627578) 2. Dra ett tal ur Y, vi får y 1 = 1, ( ) 3. Med sannolikhet α(y 0,y 1 ) = min 1, f X(y 1 )f Y (y 0 ) f X (y 0 )f Y (y 1 ) vi får: acceptera 1,151297, 23

26 Figur 2.1: Exempel på stegen i en Markovkedja genererad av en M-H algoritm, referens [2]. ( ) α(7,627578; 1,151297) = min 1, K1, /2 1 e 1,151297/2 K7, /2 1 e 7,627578/2 ( ) = min 1, 1, /2 1 e 1,151297/2 7, /2 1 e 7,627578/2 = min(1; 9,901635) = 1 4. Vi accepterar 1, med 100% sannolikhet, vilket ger S = (7,627578; 1,151297) 5. Upprepa proceduren n antal gånger. Resultatet blir att S konvergerar mot fördelningen av X då n Resultatet av mymcmc2(10 2 ) ges i figur 2.2. Vid ett större antal iterationer ger S, genom P(x,y), dragningar ur en χ 2 (3) fördelning. Programkoden redovisas nedan. 24

27 Histogram of X[ seq(nsim * 0.25, nsim)] Histogram of X[ seq(nsim * 0.5, nsim)] Frequency Frequency X[ seq(nsim * 0.25, nsim)] X[ seq(nsim * 0.5, nsim)] Histogram of X[ seq(nsim * 0.75, nsim)] Histogram of X Frequency Frequency X[ seq(nsim * 0.75, nsim)] X Figur 2.2: Histogram av simuleringen för , , och 10 2 iterationer, röd linje är den sanna fördelningen. mymcmc2 <- function(nsim = 10^4){ X <- rep(runif(n = 1, min = 0, max = 1),nsim) # initialize the chain Z <- dchisq(seq(0, 10, length.out = nsim), df = 3) for (i in 2:nsim){ Y <- runif(n = 1, min = 0, max = 10) rho <- min(1,dchisq(y, df = 3)*dunif(X[i-1], min = 0, max = 10)/ (dchisq(x[i-1], df = 3)*dunif(Y, min = 0, max = 10))) X[i] <- X[i-1] + (Y-X[i-1])*(runif(n = 1, min = 0, max = 1)<rho) } attach(mtcars) par(mfrow=c(2,2)) hist(x[-seq(nsim*.25, nsim)]) par(new=true) plot(z, yaxt= n,xaxt= n, ann=false,col="red") hist(x[-seq(nsim*.5, nsim)]) par(new=true) plot(z, yaxt= n,xaxt= n, ann=false,col="red") 25

28 hist(x[-seq(nsim*.75, nsim)]) par(new=true) plot(z, yaxt= n,xaxt= n, ann=false,col="red") hist(x) par(new=true) plot(z, yaxt= n,xaxt= n, ann=false,col="red") return() } 26

29 Litteraturförteckning [1] D.A. Brannan. A first course in mathematical analysis. Cambridge Univ Pr, [2] I. Cosma. Markov chains and monte carlo methods. A.I.M.S, [3] P. Diaconis. The markov chain monte carlo revolution. Bull. Amer. Math. Soc.(NS), 46(2): , [4] R. Grey. Advanced statistical computing. Department of Biostatistics and Computational Biology, Harvard, [5] C.M. Grinstead and J.L. Snell. Introduction to probability. Amer Mathematical Society, [6] J.G. Kemeny and J.L. Snell. Finite markov chains. Springer, [7] G. Maltese. A simple proof of the fundamental theorem of finite markov chains. The American mathematical monthly, 93(8): , [8] C.P. Robert and G. Casella. Introducing Monte Carlo Methods with R. Springer Verlag, [9] S. Roman. Advanced linear algebra, volume 135. Springer,