Stokastiska rocesser Defiitio E stokastisk rocess är e mägd (familj) av stokastiska variabler X(t) arameter t är oftast (me ite alltid) e tidsvariabel rocesse kallas diskret om X(t) är e diskret s v för varje t rocesse kallas kotiuerlig om X(t) är e kotiuerlig s v för varje t arameter t ka också vara kotiuerlig eller "diskret" (ädligt eller uräkeligt atal t- värde) i diskret tid Vi ska betrakta e diskret stokastisk rocess X (t) i diskret tid t { t0, t1 t2 } Om e fysisk rocess ka befia sig i olika tillståd som vi beteckar med Ek då X ( t i ) k betyder att rocesse är i tillståd Ek vid tidukte t ti Mägde av alla möjliga tillståd { Ek} kallas tillstådsrummet Uttrycket [ X ( t + 1) j X ( t ) i] beteckar övergågssaolikhete (trasitio robability) att systemet som är i tillstådet Ei vid tidukte t befier sig i Ej vid ästa tidukt t + 1 Defiitio Markovkedja i diskret tid är e diskret stokastisk rocess med diskret tid som ufyller Markov-villkoret: För t 0 < t1 < t2 < < t, X ( t ) j X ( t ) i,, X ( t ) i, X ( t ) i ] [ X ( t ) j X ( t ) ] [ + 1 1 1 0 0 + 1 i Mieslöshete: Markovegeskae (Markov villkoret) betyder att övergågssaolikhete [ X ( t + 1) j X ( t ) i] beror edast av u-läge dvs situatioe vid tidukte t och ite av väge till detta tillståd Vi säger att rocesse är mieslös Defiitio E Markovkedja är homoge om övergågssaolikhete [ X ( t + 1) j X ( t )] i] beror ej av tide t uta bara av tillståd Ei, Ej d vs X ( t ) j X ( t )] i] [ X ( t ) j X ( t ) i] [ X ( t + ) j X ( t ) ] [ 1 0 2 1 1 i Vi ska i fortsättig edast betrakta homogea För e homoge Markovkedja ka vi betecka Sida 1 av 6
E i E ) [ X ( t + 1) j X ( t ) i] ( övergågssaolikhete) ij ( j och defiiera övergågsmatrise (trasitio robability matrix): 11 21 31 12 22 32 13 23 33 k där 1 för varje i, d v s summa av alla elemet i e rad är lika med 1 ik Ett sätt att åskådligt beskriva e Markovkedja är att aväda riktad graf med övergågssaolikhetera Frå grafe ka vi å ekelt sätt defiiera matrise och omvät, om grafe ite iehåller för måga ilar För ovaståede graf ka vi age tillhörade övergågsmatris 11 12 21 22 03 07 Exemel 1 Låt vara övergågsmatrise för e Markovkedja med 2 01 09 tillståd Rita motsvarade grafe med övergågssaolikheter Svar: Absoluta saolikheter Sida 2 av 6
De absoluta saolikhete att rocesse befier sig i tillstådet Ei vid t t beteckas med i () Alltså ( ) ( X ( t ) i) i Därmed t ex 4) ( X ( t ) 2) är saolikhete att rocesse befier sig i tillstådet 2 ( 4 E2 vid t t4 (0) 2 är saolikhete att rocesse befier sig i tillstådet E2 vid starttide t 0 Saolikhetsvektor : Vid tide t t befier sig rocesse i ett av tillståde E1, E2, med motsvarade saolikhetera, 1( ), 2 ( ), som vi ka samla i e radvektor Dea vektor kallar vi saolikhetsvektor Alltså ( ) ( 1( ), 2 ( ),) är e saolikhetsvektor (robability vector) Notera att summa av alla koordiater i e saolikhetsvektor är lika med 1 ( 0) ( 1 (0), 2 (0),) är e iitial saolikhetsvektor (start-saolikhetsvektor ) som visar att rocesse startar i E1 med saolikhete 1(0), i E2 med saolikhete 2(0) o s v Om rocesse säkert startar i ett visst tillståd Ek då är motsvarade startsaolikhet lika med 1 och alla adra med 0 T ex ( 0) (0,1,0,0) visar att rocesse säkert startar i E2 ( d v s med saolikhete 1 ) Relatioer mella (), (0) och : (1) (0) 2 ( 2) (1) (0) 3 ( 3) (2) (0) ( ) ( 1) ( ) (0) Med ovaståede relatioer ka ma studera e Markovkedja med hjäl av startvektor (0) och övergågsmatrise ÖVNINGAR Ugift 1 Låt betecka övergågsmatrise för e Markovkedja i diskret tid Låt () betecka de (trasieta) saolikhetsvektor, d v s saolikhete att Markovrocesse vid tidukte t befier sig i tillståd E1, E 2 Om startvektor (0) (03, 07) så i) bestäm (1), (2), (3) Sida 3 av 6
ii) bestäm saolikhete att rocesse är i tillstådet E1 i tidukte t3 08 02 x 03 x 04 a) 05 05 b) 04 y c) y 011 x 02 d) 03 y Svar : a) i) (1) (059,041), (2) (0677,0323), (3) (07031,02969) i i) 07031 b) i) (1) (049,051), (2) (0547,0453), (3) (05641,04359) i i) 05641 c) i) (1) (0803,0197), (2) (0657,0343), (3) (0699,0301) i i) 0699 d) i) (1) (045,055), (2) (0525,0475), (3) (05625,04375) i i) 05625 Ugift 2 Låt betecka övergågsmatrise för e Markovkedja i diskret tid med tre tillståd E 1, E2 och E 3 Låt vidare startvektor (0) (03, 02, 05) i) Bestäm (1) ii) Bestäm saolikhete att rocesse är i tillstådet E2 i tidukte t1 01 09 0 a) 0 05 05 0 03 07 b) 02 x 0 0 y 04 0 z 07 02 x 0 c) 01 y 0 0 z 0 Svar: a) i) (1) (003,052,045) ii) 052 b) i) (1) (006,051,043) ii) 051 c) i) (1) (008,092,0) ii) 092 Ugift 3 Ett system ka betraktas som e Markovkedja med två tillståd E1 och E2 Om systemet uder e dag är i tillståd E1 så övergår systemet ästa dag till E2 med saolikhete 005 Om systemet uder e dag befier sig i E2, är systemet ästa dag i samma tillståd, E2, med saolikhete 008 a) Bestäm övergågsmatrise b) Rita tillstådsdiagrammet med övergågssaolikhetera Sida 4 av 6
c) Bestäm saolikhete att systemet är i tillstådet E1 efter 3 övergågar om systemet startar i E2 Svar: 095 005 a) 092 008 b) se figure 095 005 0,08 c) 092 Startvektor är (0) (0, 1) (eftersom systemet startar i E2) Vi beräkar 095 005 ( 1) (0) (0,1) (092,008) 092 008 095 005 (2) (1) ( 092,008) (09476, 00524) 092 008 095 005 ( 3) (2) (09476, 00524) (0948428, 0051572) 092 008 Saolikhete att systemet är i tillstådet E1 efter 3 övergågar är 0948428 Svar c: 0948428 Defiitio E saolikhetsvektor q ( q 1, q 2,) kallas STATIONÄR saolikhetsvektor (steady -state robability vector) om de satisfierar ekvatioe q q Om rocesse startar med e statioär saolikhetsfördelig ( 1) q q ( 2) (1) q q ( ) q för alla ( 0) q då blir det När vi bestämmer statioära saolikhetsvektorer skriver vi vektor ekvatioe å komoet form och lägger till villkoret q + q + 1: q q Med adra ord löser vi systemet: q q q + q + 1 ( q är e saolikhetsvektor, summa koordiater 1) 03 07 Exemel E Markovkedja har övergågsmatrise 05 05 Sida 5 av 6
Bestäm alla statioära saolikhetsvektorer Lösig: Låt q ( x, y) vara e statioär saolikhetsvektor Då gäller q q och x + y 1 Vi skriver q q å komoet form: 03 07 03x + 05y x ( x, y) ( x, y) 05 05 07x + 05y y och lägger till ekvatioe x + y 1 ( q är e saolikhetsvektor) Därmed har vi systemet: 03x + 05y x 07x + 05y 0 07x + 05y y 07x 05y 0 x + y 1 x + y 1 Adra ekvatioe är samma som första 7x Frå första ekvatioe har vi y som vi substituerar i tredje ekvatioe och får 5 7x 12x 5 x + 1 1 x 5 5 12 Svar: q (5/12, 7 /12) Ugift 4 E Markovkedja har övergågsmatrise 02 08 01 09 1 0 a) b) 06 04 c) 06 04 0 1 Bestäm alla statioära saolikhetsvektorer Svar: a) q (3/ 7, 4 / 7) b) q (2 / 5, 3/ 5) c) oädligt måga lösigar q ( t, 1 t) där 0 t 1 Ugift 5 E Markovkedja har övergågsmatrise Bestäm alla statioära saolikhetsvektorer Svar: q ( ) Sida 6 av 6