TAMS15: SS1 Markovprocesser Joha Thim (joha.thim@liu.se) 21 ovember 218 Vad häder om vi i e Markovkedja har kotiuerlig tid istället för diskreta steg? Detta är ett specialfall av e kategori stokastiska processer som kallas för Markovprocesser. Dessa defiieras av följade villkor. Markovprocess Defiitio. E stokastisk process {X t } t I, som tar värde i R, med kotiuerlig tid, kallas e Markovprocess om P ( ) ( ) X t x X t1 = x 1,..., X t 1 = x 1 = P Xt x X t 1 = x 1 för alla x, x 1, x 2,..., x 1 och alla växade följder t 1 < t 2 < < t av tider. Slarvigt uttryckt iebär detta att det ite spelar ågo roll hur processe har kommit till ett visst tillståd, uta edast det uvarade tillstådet bestämmer vad som häder häräst; precis som för Markovkedjor. Markovegeskape och expoetialfördelige Sats. Om e icke-egativ stokastisk variabel T har Markovegeskape, d v s P ( T > t + a T > a ) = P (T > t), a, t [, [, så är T expoetialfördelad. Bevis: Markovegeskape implicerar att P (T > t) = P ( T > t + a T > a ) = P (T > t + a), P (T > a) så P (T > t + a) = P (T > a)p (T > t) för alla a, t. Låt g(s) = l P (T > s) för s. Då kommer g att vara högerkotiuerlig (varför?) och g(x + y) = g(x) + g(y), x, y. Låt m, N med. Då måste ( ) 1 g(1) = g = g ( ) 1 = g 1 ( ) 1 g ( ) 1 = g(1).
Vidare ser vi då att ( m ) g = m g ( ) 1 = m g(1). Alltså har vi visat att g(s) = sg(1) för alla positiva ratioella tal s. Eftersom alla reella tal ka approximeras godtyckligt ära med ratioella tal (vi ka välja e sekves r så att r Q och r s med r s för alla ) och g är högerkotiuerlig, följer det att g(s) = sg(1) för alla s >. Detta implicerar direkt att F T (s) = 1 P (T > s) = 1 e g(s) = 1 e λs, s, där λ = l P (T > 1). Detta är fördeligsfuktioe för e expoetialfördelad variabel T. 11.1 Markovkedjor med kotiuerlig tid Vi betraktar de så kallade födelse-döds-processe. Typexemplet är att låta X(t) vara atalet kuder vid ett betjäigsställe vid tide t. Det följer att tillstådsrummet E lämplige väljs som E = {, 1, 2,...} (ädligt eller oädligt). Take är att processe u edast ka ädra sitt tillståd med ett steg i vardera riktig, alterativt ite ädra sig alls. Vi preciserar i följade defiitio. Defiitio. De stokastiska processe {X(t)} t [, [ är e födelse-döds-process om och edast om, i alla små tidsitervall ]t, t + h[, följade gäller: (i) tillstådet ökar frå k till k + 1 med saolikhet λ k h + o(h), (ii) tillstådet miskar frå k till k 1 med saolikhet µ k h + o(h), (iii) tillstådet är oförädrat k med saolikhet 1 λ k h µ k h + o(h). Vi kräver att µ =. Födelse-döds-process Vi kallar λ k för födelseitesitetera och µ k för dödsitesitetera. µ 1 µ 2 µ 3 µ 4 1 2 3 λ λ 1 λ 2 λ 3 Detta är e Markovkedja med kotiuerlig tid. Tyvärr ka vi ite lösa ut saolikheter lika ekelt som för Poissoprocesse (det går att ställa upp likade differetialekvatioer, me förutom i specialfall blir dessa svårlösta). Vad vi ka göra är att med lite argumetatio ta fram statioära saolikheter. Om kedja befier sig i ett statioärt tillståd måste det rimlige vara samma flöde i och ut ur ett tvärsitt av grafe ova. Vi kikar mella tillståd och + 1: 2
µ +1 + 1 λ Atag att kedja befier sig i jämvikt (har uppått ett statioärt tillståd). Låt p vara saolikhete att kedja befier sig i tillståd. Då måste p λ = p +1 µ +1 för att vi ska ha jämvikt. Således blir p +1 = λ µ +1 p = λ µ +1 λ 1 µ p 1 = = λ λ 1 λ µ +1 µ µ 1 p. Vidare vet vi att alla p måste summera till ett (kedja måste befia sig i ågot tillståd), så ( 1 = p + p 1 + = p 1 + λ + λ ) λ 1 +, µ 1 µ 1 µ 2 förutsatt att 1 + λ µ 1 + λ λ 1 µ 1 µ 2 + <. Vi fier alltså att ( p = 1 + λ + λ ) 1 λ 1 + µ 1 µ 1 µ 2 och p +1 = λ λ 1 λ p. µ +1 µ µ 1 Exempel Biluthyrare Billy har fyra stycke likadaa bilar och hyr ut i lijär taxa (så har du bile i 28 timmar betalar du för 28/24 1.17 dyg). Atag att kuder aläder som e Poissoprocess med itesitet λ = 1.8 per dyg. Varje uthyrig har expoetialfördelad utlåigstid med vätevärde 1.5 dyg och vi atar att olika uthyrigar är oberoede av varadra. Vad är saolikhete att e kud förloras (på grud av att alla bilar är uthyrda)? Skulle ma tjäa på att ha e extra bil för samma kostad ma betalar för att leasa övriga bilar? Lösig: Vi täker oss e födelse-döds process X(t) med fem tillståd (oll till alla fyra bilar uthyrda), där λ i = 1.8, µ i = iµ för i =, 1, 2, 3, 4 och µ = 1. Vi skissar processe: 1.5 µ 2µ 3µ 4µ 1 2 3 4 λ λ λ λ 3
Vi ställer upp uttrycke för de statioära fördelige: ) 1 λµ λ2 p = (1 + + 2µ + λ3 2 3!µ + λ4 3 4!µ 4 och p = λ!µ p. Med siffror erhåller vi vektor p = (.779.213.2839.2555.1725 ). Det är alltså 17.3% risk att uthyrare förlorar e kud (detta iträffar då processe befier sig i tillståd 4 och alla bilar är uthyrda). Det förvätade atalet uthyrda bilar är E(X(t)) = 4 kp k = 2.234 k= så förvätad vist per tidsehet blir 2.234α 4β där α är uthyrigspriset och β är kostad för e bil. Vi gör om samma beräkig med fem bilar istället. Det som ädras är att vi har ett extra tillståd för fem bilar uthyrda. Vi fier u att p = (.712.1924.2597.2337.1578.852 ). Alltså är det u 8.5% chas att vi förlorar e kud. Bättre, me är det värt priset? Det förvätade atalet uthyrda bilar är 5 E(X(t)) = kp k = 2.47 k= så förvätad vist per tidsehet blir 2.47α 5β med α och β eligt ova. Svaret på om det är värt priset att skaffa e bil till beror alltså på uthyrigspris och kostad för bilara, me vi har u e uppskattig av på vilket sätt! 11.2 Mer om Expoetialfördelige Om vi summerar två oberoede variabler X och Y ges täthetsfuktioe för Z = X + Y av f Z (z) = ˆ f X (x)f Y (z x) dx; se föreläsig 4. Atag att X, Y Exp(µ) är oberoede. Då blir f Z (z) = ˆ z ˆ z f X (x)f Y (z x) dx = µ 2 e µz e µx+µx dx = zµ 2 e µz, z. Geom iduktio ka ma visa att, om W 1, W 2,..., W +1 har W = W 1 + W 2 + W +1 täthetsfuktioe Exp(µ) är oberoede, så f W (w) = (µw) µe µx, w.! Dea fördelig brukar kallas Gammafördelige. Ofta ser ma W Γ( + 1, µ). Geom partialitegratio (i steg) ka vi räka ut att ˆ w F W (w) = f W (t) dt = 1 e µw (µw) k, w. k! k= 4
Gammafördelig Sats. Vi skriver att X Γ(α, µ), α, µ >, om f X (x) = µα Γ(α) xα 1 e µx, x >. Variabel X uppfyller E(X) = α µ och V (X) = α µ 2. Här är Γ(α) gammafuktioe, och om α = 1 är ett heltal ka de beräkas eligt Γ() = ( 1)!. Observera äve att Γ(1, µ) är Exp(µ). Summa av oberoede Exp(µ)-variabler Sats. Om W i Exp(µ), i = 1, 2,...,, är oberoede så är W = W 1 + W 2 + + W Γ(, µ). Iblad vill ma äve ta miimum av expoetialfördelade variabler, och då gäller följade. Miimum av oberoede Exp(µ k )-variabler Sats. Atag att X i Exp(µ i ), i = 1, 2,...,, är oberoede. Då gäller att X = mi{ X 1, X 2,..., X } Exp(µ 1 + µ 2 + + µ ). Vi låter X = mi{ X 1, X 2,..., X }. Eftersom variablera X i är oberoede erhåller vi F X (x) = P (X x) = 1 P (X > x) = 1 P (mi{ X 1, X 2,..., X } > x) = 1 P (X 1 > x)p (X 2 > x) P (X > x) = 1 e µ 1x e µ 2x e µx ( ) = 1 exp x µ k, vilket är fördeligsfuktioe för e expoetialfördelad varibel. 11.3 Köteori: termiologi och otatio Det aturligaste exemplet på ett kösystem är kaske e affär med ett visst atal kassor. Kuder kommer, ställer sig i kö, betjäas, och går därifrå. Me kömodeller existerar i väldigt måga mer abstrakta tillämpigar. Till exempel aväder e router för datapaket e kö för att ta mot paket samtidigt som paket vidarebefodras. Vi kommer mest att studera köer i termer av statioära fördeligar π. Följade illustratio beskriver situatioe. 5
Betjäig Potetiella kuder λ µ Kö Betjäig Kuder akommer till ett kösystem med viss itesitet λ, vätar, betjäas och lämar systemet med itesitet µ. Vi kommer att betecka olika kösystem med otatioe A/B/c/K/m/O, där dessa bokstäver har följade betydelse: A: Fördelig för tide mella kudakomster; typiskt M (Markov). B: Fördelig för betjäigstide; typiskt M (Markov). c: Atal betjäigsställe. K: Maximala atalet tillåta kuder i systemet; typiskt. m: Maximala atalet kuder i populatioe; typiskt. O: Betjäigsordig; typiskt FIFO (first-i-first-out). Till exempel M/M/1 är e kö med Markovsk akomst- och betjäigstid (vilket iebär expoetialfördelade tider). Det iebär äve att akomstera drivs av e Poissoprocess. Vidare har vi bara ett betjäigsställe. Om bokstäver är utelämade i slutet atar vi de typiska värdera, så i vårt exempel är K = m = och ordige FIFO. För att beskriva trafike geom systemet itroducerar vi följade stokastiska variabler: N q (t) = atalet kuder i kö vid tide t, N s (t) = atalet kuder i betjäig vid tide t, N(t) = totala atalet kuder i systemet vid tide t, W = kötide för e kud, S = betjäigstide för e kud, T = totala tide i systemet för e kud. Observera att T = W + S samt N(t) = N q (t) + N s (t). När vi pratar om kösystem aväder vi vissa parametrar för att beskriva trafike. Itesitete λ ager akomstitesitete och µ = 1 ager betjäigsitesitete. Vi aväder också utyttjadegrade E(S) ρ = λe(s) c = λ cµ. 6
Sats. Med beteckigara ova gäller att Littles formler E(N(t)) = λe(t ) och E(N q (t)) = λe(w ). Båda dessa käs ite helt orimliga ituitivt. Det förvätade atalet kuder i systemet borde vara lika med akomstitesitete gåger de förvätade tide varje kud befier sig i systemet; Alltså E(N(t)) = λe(t ). På likade sätt förefaller Littles adra ekvatio rimlig. Lite mer oggrat: vi iför beteckigara T i för tide kud i är i systemet, och fuktioera A(t) och D(t) är atalet akoma kuder respektive avgåga kuder vi tide t. Det följer därmed att N(t) = A(t) D(t) är atalet kuder i systemet vid tide t. Vi atar att systemet är tomt vid tide t = (N() = ) och fixerar e tidpukt t då vi för ekelhetes skull atar att systemet är tomt ige: N(t ) =. y 11 1 9 8 7 A(t) T 8 T 9 T 11 T 1 6 5 4 3 2 1 N(t) D(t) T 4 T 3 T 2 T 1 t E realiserig av de stokastiska processe {N(t)}. t De skuggade area ka beräkas på flera sätt: ˆ t N(t) dt = eftersom N(t ) = så A(t ) = D(t ). Det förefaller rimligt (behöver bevisas) att 1 t ˆ t D(t ) T i = A(t ) N(t) dt E(N(t)), t. T i, (1) På samma sätt borde också vara så att, om T är tide för e kud i systemet, E(T ) = lim t A(t ) 1 A(t ) A(t ) T i och λ = lim. t t 7
Me detta iebär eligt (1) ova att E(N(t)) = λe(t ), vilket är precis vad vi ville visa. Sake är biff! På likade sätt ka Littles adra formel bevisas. Observera att vi ite gjort ågra atagade krig fördeligar och turordig i systemet, så dessa formler gäller i väldigt geerella fall. Vi kräver egetlige bara att systemet befier sig i ett statioärt tillståd. Kom bara ihåg att λ är de verkliga itesitete i i systemet, så om ma har ett system där kuder ka avvisas måste λ skalas om för att ta häsy till detta. Exempel Tre iköpare fyller på ett förråd med varor med itesitetera 24, 48 respektive 36 varor per vecka. Förrådet är stort och blir aldrig fullt. Geom bokförig vet ma att det fis i geomsitt 28 varor i förrådet. Chefe blir e dag orolig för att varora ska bli för gamla och frågar statistiker i företaget hur låg tid i medel e vara ligger i förrådet. Lösig: Fråga verkar vid första ablick svår att svara på, vi har ju ästa ige iformatio! Hur plockas varor ut (kö-ordig)? Hur ofta? Me faktum är att så läge vi atar att förrådet befier sig i ett statioärt tillståd, ka vi aväda Littles formel. Total itesitet i i systemet är λ = 24 + 48 + 36 = 18 varor per vecka och E(N(t)) = 28 varor. Vi erhåller alltså förvätad tid i lagret E(T ) = 28/18 28 veckor. 8