Tentamen i FMS180/MASC03 Markovprocesser

Transkript

1 Matematisk statistik Matematikcentrum Lunds Universitet Tentamen i FMS80/MASC03 Markovprocesser Lösningsförslag. Följande är en möjlighet Här är tillstånden, och 3 transienta, tillstånd är aperiodiskt och tillstånd och 3 har perioden. Tillstånd 4, 5 och 6 är beständiga, med perioden 3.. Det finns flera rimliga sätt att representera kedjan. Vi anger lösningen för två av dessa sätt. Alt : Låt turerna utgöra tillstånd i kedjan. Om man vid varje steg väljer med lika sannolikhet bland de (a) Låt tillstånden vara : Sendout (S Ö) : Swingout (Ö Ö) 3: Circle (Ö S) möjliga turerna blir övergångsmatrisen 0 P = (b) Den enda tur som startar i sluten fattning är sendout, tillstånd, och den enda som slutar i sluten fattning är circle, tillstånd 3, så den sökta sannolikheten är P(X 4 = 3 X = ). Sannolikhetsfördelningen för (X 4 X = ) ges av 0 0 P 3 = 0 P = /4 /4 P = /4 3/8 3/8, och den sökta sannolikheten är 3/8. Värt att notera är att det bara finns två möjliga vägar för kedjan,,,, 3 och, 3,, 3, som uppfyller villkoret, och vi kan få sannolikheten som + = 3/8. (c) Kedjan är irreducibel och aperiodisk, så att den asymptotiska sannolikheten att en tur slutar i sluten fattning är Ô 3 i den stationära fördelningen, som ges av ekvationssystemet 0 0 { ÔP = Ô Ô + Ô + Ô 3 = 0 som har lösningen Ô = Ô = Ô 3 = /3. Svaret är alltså /3. Ô Ô Ô 3 = 0 0

2 Alt : Låt nu istället fattningarna utgöra tillstånd i en kedja. (a) Låt tillstånden vara : Sluten fattning : Öppen fattning Om man vid varje steg väljer med lika sannolikhet bland de möjliga turerna blir övergångsmatrisen 0 P = (b) Det som söks är sannolikheten att befinna sig i sluten fattning efter fyra turer=övergångar, vid start i sluten fattning, det vill säga P(X 4 = X 0 = ). Sannolikhetsfördelningen för (X 4 X 0 = ) ges av 0 P 4 = 0 P 3 = P = /4 3/4 P = 3/8 5/8, och den sökta sannolikheten är 3/8. (c) Kedjan är irreducibel och aperiodisk, så att den asymptotiska sannolikheten att en tur slutar i sluten fattning är Ô i den stationära fördelningen, som ges av ekvationssystemet { ÔP = Ô Ô + Ô = 0 Ô = 0 Ô som har lösningen Ô, Ô = /3, /3. Svaret är alltså /3. 3. Antalet vrak inom ett område av storlek 00 km är Poissonfördelat med väntevärde 00 Ð = 00Ð. (a) Antalet upptäckta vrak X är Poissonfördelat med väntevärde 00 Ð 0.5 = 5Ð. Normalapproximation att X är ungefär N (5Ð, 5Ð). En skattning av Ð kan fås genom Ð = X/5, med fördelning ungefär N (Ð, Ð/5). Givet en observation x = 4 får vi ett konfidensintervall genom I Ð = Ð ±.96 Ð/5 = 4/5 ±.96 4/5. (b) Med Ð = 4/5 blir antalet vrak inom km Poissonfördelat med väntevärde 4/5 = Antalet vrak som hittas inom området blir Poissonfördelat med väntevärde 0.5 4/5 = 0.4, och den sökta sannolikheten blir e (a) < 0 eller < 0 skulle ge negativa intensiteter. För 0 är intensiteterna icke-negativa, och modellen är en giltig Markovprocess, och den har en stationär fördelning för alla dessa värden på eftersom den är beständig. Alt : Av symmetriskäl kommer skålen i längden att befinna sig lika ofta hos varje gäst, så den sökta sannolikheten är /6. Alt : Sätt Ñ = ( )/0 och Ð = /0. Intensitetsmatrisen för skålens placering ges av (Ñ + Ð) Ð Ñ Ñ (Ñ + Ð) Ð Q = 0 Ñ (Ñ + Ð) Ð Ñ (Ñ + Ð) Ð Ñ (Ñ + Ð) Ð Ð Ñ (Ñ + Ð) Lös systemet ÔQ = 0 Ô k = k Ô k 0 Symmetri ger Ô k = /6 för alla k.

3 (b) Här finns två tolkningar: I alternativ behålls intensiteterna för att skicka åt höger eller vänster, medan i alternativ gör man det kanske mer verklighetsanknutna antagandet att väntetiden innan varje person försöker skicka skålen någonstans har samma fördelning oavsett var personen sitter. I båda fallen existerar den stationära fördelningen för alla 0. Alt : Intensitetsmatrisen och modellgrafen ges av Q = ( ) Lösningen till ÔQ = 0 och k Ô k = ges av /0 3 ( )/0 /0 ( )/0 Ô Ô Ô 3 = + ( ) ( ) Alt : Intensitetsmatrisen och modellgrafen ges av Q = Lösningen till ÔQ = 0 och k Ô k = ges av Ô Ô Ô 3 = ( )/ / /0 /0 3 ( )/0 /0 (c) Vi har nu en födelse-döds-process, med födelse -intensiteter Ð 0, Ð, Ð,... för att flytta åt höger och döds -intensiteter Ñ, Ñ, Ñ 3,... för att flytta åt vänster, där vi nu låter personen längst till vänster ha nummer 0. Alt : Ð k = /0 för alla k = 0,,,..., och Ñ k = ( )/0 för alla k =,, 3,... Formelsamlingen ger Ô k = Ô ( ) k 0. Vi kräver vidare = ( k k=0 Ô k = Ô 0 k=0 ) som är konvergent då /( ) <, dvs då <. Vi får = Ô 0 den stationära fördelningen ges av Ô k = ( ) k /( ) och alltså att för alla k = 0,,, 3,... och alla 0 <. Alt : Ð 0 = /0, Ð k = /0 för k =,, 3,..., och Ñ k = ( )/0 för alla k =,, 3,... ( k Formelsamlingen ger Ô = Ô 0 och Ô k = ) Ô för k =, 3, 4,... På samma sätt som i alternativ får vi att Ô 0 = ( ), och den stationära fördelningen existerar för alla 0 <. 5. Låt tillstånden i processen vara antalet kunder i butiken (=antalet personer i kön; den som står längst fram är den som betjänas). Betjäningsintensiteterna är Ð k = /m k = + k för k =,, 3. Tillståndsgraf med övergångsintensiteter för antalet kunder i butiken blir (a) Övergångsmatrisen ges av 0 0 Q =

4 (b) Låt medeltiden till absorption i tillstånd 0 vid start i tillstånd k betecknas av Ñ k. Medelabsorptionstiderna ges av lösningen till ekvationssystemet 3 0 Q 0 Ñ = där Q 0 är submatrisen Q 0 = Lösningen ges av Ñ = 7/4, 9/8, /8 T, och den efterfrågade förväntade tiden är alltså /8. (c) Här finns återigen flera alternativa angreppssätt. Vi presenterar två som bygger på inbäddade Markovkedjor, och ett som utnyttjar Markovprocessen mer direkt. Alt : Den inbäddade Markovkedjan har övergångsmatris P = /3 0 / /4 0 / Medelantalet hopp i kedjan till absorption ges av ekvationssystemet 0 /3 0 ( P 0 ) Ñ = där P 0 är submatrisen P 0 = 3/4 0 /4 0 0 Lösningen ges av Ñ = 7/3, 4, 5 T. Notera att de initiala kunderna genererar var sitt hopp när de betjänas, medan alla ytterligare kunder även genererar ett hopp när de anländer, så att Ñ k = k + (E(#kunder) k), och E(#kunder) = k + ( Ñ k k)/. Med 3 kunder vid start fås den sökta storheten som 3 + (5 3)/ = 4. Alt : Vi lägger nu till ett tillstånd, 4, som uttolkas affären var nyss full och en kund betjänades. I tillståndsgrafen för den inbäddade Markovkedjan gör vi redan från början tillstånd 0 absorberande. /3 0 3 /3 /4 3/4 Låt P 0 vara övergångs-submatrisen 0 / P 0 = 3/4 0 / och låt M = (I P 0 ) = Element M ij ger medeltiden kedjan befinner sig i tillstånd j efter start i tillstånd i. Det enda sättet att komma till tillstånd och 4 är när en kund blir betjänad, och endast tillstånd 0, och 4 nås när en kund blir betjänad, så det förväntade totala antalet betjänade kunder är + M 3 + M 34 = = 4. Alt 3: Låt M = Q 0 = 4 4 3, 9 där Q 0 är submatrisen från deluppgift (b). Element M ij ger medeltiden för hur länge processen befinner sig i tillstånd j efter start i tillstånd i. Medelantalet kunder som hinner betjänas innan 4 4

5 absorption i tillstånd 0 efter start i tillstånd 3 ges av M 3 Ð + M 3 Ð + M 33 Ð 3 = /8 4 = 4. Principen bakom lösningen är att summera antalet betjänade per tidsenhet multiplicerat med den förväntade tiden i respektive tillstånd. 5