Stokastiska rocesser Defiitio E stokastisk rocess är e mägd familj av stokastiska variabler Xt arameter t är oftast me ite alltid e tidsvariabel rocesse kallas diskret om Xt är e diskret s v för varje t rocesse kallas kotiuerlig om Xt är e kotiuerlig s v för varje t arameter t ka också vara kotiuerlig eller "diskret" ädligt eller uräkeligt atal t värde i diskret tid Vi ska betrakta e diskret stokastisk rocess X (t) i diskret tid t { t0, t1 t2 } Om e fysisk rocess ka befia sig i olika tillståd som vi beteckar med E k då X ( t i ) k betyder att rocesse är i tillståd E k vid tidukte t ti Mägde av alla möjliga tillståd E k kallas tillstådsrummet Uttrycket [ X ( t 1) j X ( t ) i] beteckar övergågssaolikhete trasitio robability att systemet som är i tillstådet E i vid tidukte t befier sig i E j vid ästa tidukt t 1 Defiitio Markovkedja i diskret tid är e diskret stokastisk rocess med diskret tid som ufyller Markov villkoret: För t t t t 0, [ X ( t 1) j X ( t ) i,, X ( t1) i1, X ( t0 ) i0 ] [ X ( t 1) j X ( t ) i Mieslöshete: Markovegeskae Markov villkoret betyder att övergågssaolikhete [ X ( t 1) j X ( t ) i] beror edast av u läge dvs situatioe vid tidukte t och ite av väge till detta tillståd Vi säger att rocesse är mieslös Defiitio E Markovkedja är homoge om övergågssaolikhete [ X ( t 1) j X ( t )] i] beror ej av tide t uta bara av tillståd E i, E j d vs X ( t ) j X ( t )] i] [ X ( t ) j X ( t ) i] [ X ( t ) j X ( t ) ] [ 1 0 2 1 1 i Vi ska i fortsättige edast betrakta homogea För e homoge Markovkedja ka vi betecka ] Sida 1 av 6
E i E ) [ X ( t 1) j X ( t) i] övergågssaolikhete ij ( j och defiiera övergågsmatrise trasitio robability matrix: 11 21 31 12 22 32 13 23 33 k där 1 för varje i, d v s summa av alla elemet i e rad är lika med 1 ik Ett sätt att åskådligt beskriva e Markovkedja är att aväda e riktad graf med övergågssaolikhetera Frå grafe ka vi å ekelt sätt defiiera matrise och omvät, om grafe ite iehåller för måga ilar För ovaståede graf ka vi age tillhörade övergågsmatris 11 12 21 22 03 07 Exemel 1 Låt vara övergågsmatrise för e Markovkedja med 2 01 09 tillståd Rita motsvarade graf med övergågssaolikheter Svar: Sida 2 av 6
Absoluta saolikheter De absoluta saolikhete att rocesse befier sig i tillstådet E i vid t t beteckas med i () Alltså ( ) ( X ( t ) i) i Därmed t ex 2( 4) ( X ( t4) 2) är saolikhete att rocesse befier sig i tillstådet E 2 vid t t 4 2 (0) är saolikhete att rocesse befier sig i tillstådet E 2 vid starttide t 0 Saolikhetsvektor : Vid tide t t befier sig rocesse i ett av tillståde E 1, E 2, med motsvarade saolikhetera, 1( ), 2 ( ), som vi ka samla i e radvektor Dea vektor kallar vi saolikhetsvektor Alltså ( ) ( 1( ), 2 ( ),) är e saolikhetsvektor robability vector Notera att summa av alla koordiater i e saolikhetsvektor är lika med 1 ( 0) ( 1 (0), 2 (0),) är e iitial saolikhetsvektor start saolikhetsvektor som visar att rocesse startar i E 1 med saolikhete 1(0), i E 2 med saolikhete 2(0) o s v Om rocesse säkert startar i ett visst tillståd E k då är motsvarade startsaolikhet lika med 1 och alla adra med 0 T ex ( 0) (0,1,0,0) visar att rocesse säkert startar i E 2 d v s med saolikhete 1 Relatioer mella (), (0) och : (1) (0) 2 ( 2) (1) (0) 3 ( 3) (2) (0) ( ) ( 1) ( ) (0) Med ovaståede relatioer ka ma studera e Markovkedja med hjäl av startvektor (0) och övergågsmatrise Statioära saolikhetsvektorer Defiitio E saolikhetsvektor q ( q 1, q2,) kallas statioär saolikhetsvektor steady state robability vector om de satisfierar ekvatioe q q Om rocesse startar med e statioär saolikhetsfördelig ( 1) q q ( 0) q då blir det Sida 3 av 6
( 2) (1) q q ( ) q för alla För att bestämma evetuella statioära saolikhetsvektorer skriver vi vektorekvatioe q q å komoetform och lägger till villkoret q q 1 Med adra ord löser vi systemet: q q q q 1 q är e saolikhetsvektor, summa koordiater 1 ÖVNINGAR Ugift 1 Låt betecka övergågsmatrise för e Markovkedja i diskret tid Låt () betecka de trasieta saolikhetsvektor, d v s saolikhete att Markovrocesse vid tidukte t befier sig i tillståd E1, E 2 Om startvektor (0) 03, 07 så i bestäm (1), (2), (3) ii bestäm saolikhete att rocesse är i tillstådet E1 i tidukte t3 08 02 x 03 x 04 a 05 05 b 04 y c y 011 x 02 d 03 y Svar : a i (1) 059,041, (2) 0677,0323, (3) 07031,02969 i i 07031 b i (1) 049,051, (2) 0547,0453, (3) 05641,04359 i i 05641 c i (1) 0803,0197, (2) 0657,0343, (3) 0699,0301 i i 0699 d i (1) 045,055, (2) 0525,0475, (3) 05625,04375 i i 05625 Ugift 2 Låt betecka övergågsmatrise för e Markovkedja i diskret tid med tre tillståd E 1, E2 och E 3 Låt vidare startvektor (0) 03, 02, 05 i Bestäm (1) Sida 4 av 6
ii Bestäm saolikhete att rocesse är i tillstådet E2 i tidukte t1 01 09 0 a 0 05 05 0 03 07 b 02 x 0 0 y 04 0 z 07 02 x 0 c 01 y 0 0 z 0 Svar: a i (1) 003,052,045 ii 052 b i (1) 006,051,043 ii 051 c i (1) 008,092,0 ii 092 Ugift 3 Ett system ka betraktas som e Markovkedja med två tillståd E1 och E2 Om systemet uder e dag är i tillståd E1 så övergår systemet ästa dag till E2 med saolikhete 005 Om systemet uder e dag befier sig i E2, är systemet ästa dag i samma tillståd, E2, med saolikhete 008 a Bestäm övergågsmatrise b Rita tillstådsdiagrammet med övergågssaolikhetera c Bestäm saolikhete att systemet är i tillstådet E1 efter 3 övergågar om systemet startar i E2 Svar: 095 a 092 b se figure 005 008 095 005 0,08 c Startvektor är (0) 0, 1 eftersom systemet startar i E2 Vi beräkar 095 005 ( 1) (0) (0,1) (092,008) 092 008 095 005 (2) (1) = ( 092,008) (09476, 00524) 092 008 095 005 ( 3) (2) (09476, 00524) (0948428, 0051572) 092 008 Saolikhete att systemet är i tillstådet E1 efter 3 övergågar är 0948428 Svar c: 0948428 092 Sida 5 av 6
03 Exemel E Markovkedja har övergågsmatrise 05 Bestäm alla statioära saolikhetsvektorer 07 05 Lösig: Låt q ( x, y) vara e statioär saolikhetsvektor Då gäller q q och x y 1 Vi skriver q q å komoetform: 03 07 03x 05y x ( x, y) ( x, y) 05 05 07x 05y y och lägger till ekvatioe x y 1 q är e saolikhetsvektor Därmed har vi systemet: 03x 05y x 07x 05y 0 07x 05y y 07x 05y 0 x y 1 x y 1 Adra ekvatioe är samma som första 7x Frå första ekvatioe har vi y som vi substituerar i tredje ekvatioe och får 5 7x 12x 5 x 1 1 x 5 5 12 Svar: q (5 /12, 7 /12) Ugift 4 E Markovkedja har övergågsmatrise 02 08 01 09 1 0 a b 06 04 c 06 04 0 1 Bestäm alla statioära saolikhetsvektorer Svar: a q (3 / 7, 4 / 7) b q (2 / 5, 3/ 5) c oädligt måga lösigar q ( t, 1 t) där 0 t 1 Ugift 5 E Markovkedja har övergågsmatrise Bestäm alla statioära saolikhetsvektorer Svar: q Sida 6 av 6