Stokastiska processer

Storlek: px

Starta visningen från sidan:

Download "Stokastiska processer"

Vilhelm Hermansson
för 8 år sedan
Visningar:

1 Stokastiska processer Fredrik Olsson, Avdelningen för produktionsekonomi Lunds tekniska högskola, Lunds universitet Dessa förläsningsanteckningar kommer att behandla diskreta Markovprocesser. Med diskret menar vi att tillståndsrummet är diskret (typiskt så finns tillstånden 0,,2,...). Märk väl att detta är föreläsningsanteckningar, dvs, för fullständig information krävs att läsaren konsulterar en bok i ämnet. Diskreta Markovkedjor I detta kapitel antar vi att tiden är diskret, därav namnet Markovkedja. Följande definition anger exakt vad som menas med en Markovkedja. Definition Låt {X n } n=0 vara tidsdiskret stokastisk process som antar ickenegativa heltalsvärden. Denna kallas diskret Markovkedja om för varje n 0 och i 0,i,...,i n+ gäller att P(X n+ = i n+ X n = i n,x n = i n,...,x 0 = i 0 ) = P(X n+ = i n+ X n = i n ). Med andra ord, historien innan tidpunkt n tillför ingen extra information om den stokastiska processen {X n } n=0 är en Markovkedja. Sannolikheten i Definition beror i allmänhet på i n och i n+, men kan även bero på n. Låt oss i fortsättningen anta att {X n } n=0 är en Markovprocess om inget annat sägs. Definition 2 Om sannolikheterna P(X n+ = j X n = i) ej beror på n så sägs kedjan vara tidshomogen. I fallet med tidshomogen kedja så definireras de s.k. övergångssannolikheterna som p = P(X = j X 0 = i), samt motsvarande övergångsmatris P = (p ). Exempel. Ett försäkringsbolag som säljer bilförsäkringar har fyra bonusklasser, 0,, 2, och 3, där 0 har den högsta premien och 3 den lägsta. En ny kund placeras i klass 0. Varje skadefritt år gör att han/hon klättrar upp en bonusklass, såvida han/hon inte redan finns i högsta klassen. Å andra sidan, om kunden utnyttjar försäkringen så flyttas han/hon ned två klasser, dock aldrig lägre än till klass 0. Betrakta kunden Pelle. Varje år får Pelle skador på sin bil med sannolikhet, och följaktligen inga skador med sannolikheten. Utfallen för olika år är oberoende av varandra. Låt X n vara den bonusklass som Pelle finns i under år n, där tiden räknas så att år n = 0 svarar mot det år då Pelle försäkrade bilen för första gången. Då gäller att X n antar värdena 0,, 2 eller 3. Vi vet dessutom att X 0 = 0.

Med diskret menar vi att tillståndsrummet är diskret (typiskt så finns tillstånden 0,,2,...).

2 Vi inser ganska omedelbart att {X n } n=0 i detta exempel är en Markovkedja. Eftersom utfallet av vilken bonusklass Pelle hamnar i år n+ endast beror av vilken bonusklass Pelle befinner sig i år n (samt på hur Pelle kör år n), så är {X n } n=0 en Markovkedja. Markovkedjan beskrivs enklast med hjälp utav en graf, se Figur (Samma tankesätt som vid konstruktion av kömodeller som du stött på i tidigare kurser. Observa att siffrorna i grafen anger sannolikheter). Enligt Figur blir Figur : Modell för Pelles bonusklasser. övergångsmatrisen P = p 00 p 0 p 02 p 03 p 0 p p 2 p 3 p 20 p 2 p 22 p 23 p 30 p 3 p 32 p 33 = Tidsutveckling Vi är inte bara intresserade av enstegssannolikheter som p, utan också av s.k. flerstegssannolikheter. Definition 3 Sannolikheterna p (m) = P(X n+m = j X n = i) kallas övergångssannolikheter av ordning m. Motsvarande övergångsmatris är P (m) (dvs, P (m) innehåller elementen p (m) ). Vi forsätter genom att beskriva hur dessa flerstegssannolikheter kan beräknas. Sats (Chapman-Kolmogorov) Låt P vara övergångsmatris för (en tidshomogen) Markovkedja. För varje m > gäller att p (m) = k p (m ) ik p kj. I matrisform: P (m) = P (m ) P. Tag som övning att visa att, P (m) = P m. Vi bevisar nu satsen. Bevis: Enligt statsen om total sannolikhet(gå tillbaka till kursbok i sannolikhetslära om du inte minns) fås p (m) = P(X m = j X 0 = i) = k P(X m = j X m = k,x 0 = i)p(x m = k X 0 = i). 2

Markovkedjan beskrivs enklast med hjälp utav en graf, se Figur (Samma tankesätt som vid konstruktion av kömodeller som du stött på i tidigare kurser.

3 Markovegenskapen ger, P(X m = j X m = k,x 0 = i) = P(X m = j X m = k) = p kj. Detta leder till, p (m) = k p(m ) ik p kj, och därmed är vi klara. Exempel. (forts) Pelle startar år n = 0 i bonusklass noll. Vad är sannolikheten att han tre år senare finns i bonusklass 2? Med andra ord, vi är intresserade av sannolikheten, p (3) 02. Denna sannolikhet fås genom att beräkna P(3) = P 3, Här ses direkt att p (3) 02 = 4/27. P 3 = 27.2 Absoluta sannolikheter Vi är nu intresserade av att beräkna sannolikheten att Markovkedjan befinner sig i ett visst tillstånd vid en given tidpunkt. Vi ger följande definition. Definition 4 p i (n) = P(X n = i) kallas absoluta sannolikheten att Markovkedjan är i tillstånd i vid tiden n. Följande sats ger svar på hur man beräknar p i (n). Sats 2. p i (n) = k p k (n )p ki I matrisform: p(n) = p(n )P (notera att p(n) är en vektor av sannolikheter). Bevis: Beviset är mycket enkelt. Vi använder återigen satsen om total sannolikhet. p i (n) = P(X n = i) = k P(X n = i X n = k) P(X } {{ } n = k), } {{ } =p ki =p k (n ) och därmed är vi klara..3 Stationaritet Definition 5 Markovkedjan {X n } n=0 är stationär om P(X n = i) är oberoende av n för alla i. Vidare sägs π = {π i } vara den stationära fördelningen om P(X 0 = i) = π i P(X = i) = π i för alla i. Exempel 2. Låt {X n } n=0 övergångsmatris vara en Markovkedja med tillståndsrum {0,}, med ( ) P = β β med initialvektor p(0) = (,0). Vi har följande graf, se Figur 2. Med t ex = 0.3 3

Denna sannolikhet fås genom att beräkna P(3) = P 3, Här ses direkt att p (3) 02 = 4/27. P 3 = 27.

4 0 β β Figur 2: Två tillstånd. och β = 0.5 fås P = ( ). Enligt Sats 2 gäller att p(n) = p(n )P = p(n) = p(0)p n. Vi får, ( ) p() = ( 0) = ( ) ( ) p(2) = ( ) = ( ) p(3) =... = ( ) p(4) =... = ( ) p(5) =... = ( ) p(6) =... = ( ) p(7) =... = ( ). Här ses att stationaritet nås efter sex steg. Vi kan från detta enkla exempel dra viktiga slutsatser,. π = (π 0,π ) = (0.625,0.375) 2. p(6) = p(7), dvs, p(n) = p(n+) = π för n 6. Detta betyder att ekvationen, p(n) = p(n )P, reduceras till π = πp. En sammanfattning av den viktiga insikten från punkt 2 ges i följande sats. Sats 3 Varje stationär fördelning π uppfyller med bivillkor i π i =, π i 0. π = πp Exempel 2. (forts) För att beräkna de statinära tillståndssannolikheterna löser vi, 0.7π π = π 0 0.3π π = π 4

Vi kan från detta enkla exempel dra viktiga slutsatser,. π = (π 0,π ) = (0.625,0.375) 2. p(6) = p(7), dvs, p(n) = p(n+) = π för n 6. Detta betyder att ekvationen, p(n) = p(n )P, reduceras till π = πp.

5 0.3π π = 0 0.3π 0 0.5π = 0 Observera att matrisen P I är singulär, dvs ekvationerna ovan är lineärt beroende (här är I identitetsmatrisen). Byt ut en av ekvationerna mot π 0 +π =. Detta ger lösningen, π = (π 0,π ) = (0.625,0.375), vilket ju var vad vi förväntade oss! Exempel. (forts) I detta fall har π = πp följande utseende: π 0 /3+π /3+π 2 /3 = π 0 2π 0 /3+π 3 /3 = π 2π /3 = π 2 2π 2 /3+2π 3 /3 = π 3 Med bivillkoren i π i =, π i 0, fås lösningen, π = 23 (5,6,4,8)..4 Återbesökstid En intressant fråga är: Givet att vi startar i tillstånd i, kommer vi säkert att komma tillbaka till tillstånd i igen? Om inte, så är tillståndet transient. Låt f (n) vara sannolikheten att, givet att kedjan startar i tillstånd i, så görs första besöket i tillstånd j efter n tidssteg. Exempel 2. (forts) I detta fall blir t ex, f 00 () = och f 00 (n) = ( β) n 2 β, n 2. Vi definierar ännu ett begrepp som används flitigt i litteraturen. Definition 6 Om P(X n = i för något n > 0 X 0 = i) = så sägs tillstånd i vara beständigt (annars transient). Notera att sannolikheten i Definition 6 kan skrivas som P(X n = i för något n > 0 X 0 = i) = f ii (n) Exempel 2. (forts) Är tillstånd 0 beständigt? Vi får, f ii (n) = + ( β) n 2 β = +β ( β) =. n=2 Detta betyder alltså att tillstånd 0 är beständigt (Detta resultat är sant givet att β <. Tänk efter vad som hade hänt om β ). Låt nu i vara ett beständigt tillstånd. Då säger vi att T = argmax n {X n = i} är tiden tills första återkomst till tillstånd i. 5

(forts) I detta fall har π = πp följande utseende: π 0 /3+π /3+π 2 /3 = π 0 2π 0 /3+π 3 /3 = π 2π /3 = π 2 2π 2 /3+2π 3 /3 = π 3 Med bivillkoren i π i =, π i 0, fås lösningen, π = 23 (5,6,4,8).

6 Exempel 2. (forts)e(t X 0 = 0) = nf ii(n) = + n=2 n( β)n 2 β =... = +/β. Exempel 3. Betrakta grafen i Figur 3. Här är i, i = 0,,2,... en godtyck Figur 3: Tillståndsgraf. lig sannolikhetsfunktion sådan att i=0 =, i 0. Antag att X 0 = 0. Vi får, f 00 (n) = p 0,n = n, vilket ger f 00 (n) = Tillstånd 0 är alltså beständigt. Vidare blir E(T X 0 = 0) = nf 00 (n) = n =. n n = (n+) n = ᾱ+, där ᾱ är det förväntade värdet av { k }. Läsaren uppmanas att själv läsa avsnittet om absorberande tillstånd i utdelat material. 6

Vi får, f 00 (n) = p 0,n = n, vilket ger f 00 (n) = Tillstånd 0 är alltså beständigt. Vidare blir E(T X 0 = 0) = nf 00 (n) = n =.

Relevanta dokument

TAMS79: Föreläsning 10 Markovkedjor

TAMS79: Föreläsning 10 Markovkedjor TAMS79: Föreläsning 0 Markovkedjor Johan Thim december 08 0. Markovkedjor Vi ska nu betrakta en speciell tidsdiskret diskret stokastisk process, nämligen Markovkedjan. Vi börjar med en definition Definition.