Bij Voorbeeld 5.8 hebben we in formule (5.22) gezien dat limt→∞pij(t) bestaat en onafhankelijk is van i. In de praktijk is dit in veel situaties het geval.
Veronderstel dat limt→∞ pij(t) bestaat en onafhankelijk is van i, zeg
0 < Pj = limt→∞ pij(t) voor alle j ∈ S en onafhankelijk van i. (5.23)
De getallen Pj, j ∈ S, heten de stationaire kansen.
Aan bovenstaande veronderstelling is onder andere voldaan onder de volgende aanname.
Aanname 2:
a. Er is een toestand r zodat voor iedere begintoestand i met kans 1 het proces ooit in toestand r komt.
b. De verwachting van de tijd tussen twee opeenvolgende bezoeken aan r is eindig.
Omdat Pj = limt→∞ pij(t), is limt→∞ p0ij(t) = 0. Als we veronderstellen dat limiet en sommatie verwisseld mogen worden, dan volgt uit de voorwaartse differentiaalvergelijkingen:
0 = limt→∞ p0ij(t) = limt→∞ {P
k6=j qkjpik(t) − νjpij(t)}
= P
k6=j qkjPk− νjPj, j ∈ S.
Bovendien volgt uit P
j pij(t) = 1, dat 1 = limt→∞ Pj pij(t) =P
j Pj. Ook kan het volgende resultaat worden aangetoond.
Stelling 5.2 i) Onder Aanname 2 is limt→∞Pij(t) onafhankelijk van i, zeg de limiet is Pj, voor alle j. P = (Pj)j heet de stationaire verdeling. P is op een constante na de unieke oplossing van het stelsel lineaire vergelijkingen
νjxj = P
k6=j qkjxk, j ∈ S (5.24)
ii) Omgekeerd, stel dat er een toestand r ∈ S is zodat r met kans 1 vanuit elke toestand bereikt wordt. Stel dat Q een linkseigenvector x heeft bij eigenwaarde 0, met xi > 0 voor alle i. Als geldt datP
ixi < ∞, dan is (xj/P
ixi)j de stationaire verdeling van het Markovproces. Als P
ixi = ∞, dan bestaat de stationaire verdeling niet. Opmerkingen
1. Het bewijs van Stelling 5.2 is te vinden in H.C. Tijms, A first course in stochastic models, Wiley, 2003, pagina 155. Het is gebaseerd op een vergelijkbaar resultaat voor discrete Markov ketens (zie Besliskunde 1).
2. Net als bij discrete Markov ketens heeft Pj de interpretatie van de fractie van de tijd dat het systeem op de lange duur in toestand j is.
3. De vergelijking (5.24) heeft de volgende interpretatie: νjPj = de ’stroom’ waarmee het proces toestand j verlaat; P
k6=j qkjPk = de ’stroom’ waarmee het proces toestand j bereikt.
Vergelijking (5.24) houdt dus in dat in iedere toestand de snelheid ’de toestand uit’ gelijk is aan de snelheid de ’toestand in’. Vandaar dat (5.24) ook wel de balansvergelijkingen heten. Voorbeeld 5.1 (vervolg)
Uit (5.24) volgt voor de stationaire kansen:
µP0 = λP1; λPi= λPi+1, 1 ≤ i ≤ N − 1; λPN = µP0; d.w.z. P1 = P2= · · · = PN = p en P0 = λµp.
Uit P
j Pj = 1 volgt N p + λµp = 1, zodat P1= P2 = · · · = PN = N µ+λµ en P0 = N µ+λλ . De (long run) gemiddelde voorraad in de tank is PN
j=0 jPj =PN
j=1 jPj = 12N (N + 1)N µ+λµ . De (long run) fractie van de tijd dat de tank leeg is P0 = N µ+λλ .
Voorbeeld 5.9
Beschouw een apparaat met 2 componenten. De i-de component heeft een levensduur die exponen-tieel verdeeld is met parameter λi (i = 1, 2). Als de i-de component stuk is, dan wordt deze gerepareerd, waarbij de reparatietijd exponentieel verdeeld is met parameter µi (i = 1, 2). Als een van de componenten in reparatie is en de andere gaat stuk, dan wordt de huidige repara-tie stopgezet en wordt begonnen met de repararepara-tie van de als laatste kapot gegane component. Omdat de resterende reparatietijd weer exponentieel verdeeld is met dezelfde parameter is het onderliggende proces een Markoproces.
Als toestanden nemen we:
0: beide componenten functioneren;
1: component 1 is stuk en component 2 functioneert; 2: component 2 is stuk en component 1 functioneert;
3: beide componenten zijn stuk en component 1 is/gaat in reparatie; 4: beide componenten zijn stuk en component 2 is/gaat in reparatie. Voor de getallen νi en qij geldt (we geven alleen waarden ongelijk 0): ν0 = λ1+ λ2; ν1 = λ2+ µ1; ν2= λ1+ µ2; ν3 = µ1; ν4= µ2..
q01= λ1; q02= λ2; q10= µ1; q14= λ2; q20= µ2; q23= λ1; q32= µ1; q41= µ2. Het stelsel (5.24) wordt:
(λ1+ λ2)P0 = µ1P1+ µ2P2 (µ1+ λ2)P1 = λ1P0+ µ2P4 (µ2+ λ1)P2 = λ2P0+ µ1P3 µ1P3 = λ1P2 µ2P4 = λ2P1 (5.25)
Uit de tweede en de vijfde vergelijking volgt: P1 = λ1
µ1P0 en P4= λ1λ2
µ1µ2P0. Uit de eerste vergelijking volgt nu P2 = λ2
µ2P0 en uit de vierde P3= λ1λ2 µ1µ2P0. Hieruit volgt m.b.v. P j Pj = 1 : P0=1 +λ1 µ1 +λ2 µ2+ 2λ1λ2 µ1µ2 −1
, waarmee alle stationaire kansen zijn bepaald.
Voor het geboorte-sterfteproces wordt het stelsel (5.24):
(
λ0P0 = µ1P1
(λj+ µj)Pj = λj−1Pj−1+ µj+1Pj+1, j ≥ 1 (5.26)
Een intu¨ıtieve afleiding van (5.26) kan ook uit de voorwaartse Kolmogorov differentiaalverge-lijkingen worden verkregen. Onder de aanname van (5.23) geldt intu¨ıtief dat stationair gedrag impliceert dat limt→∞p0ij(t) = 0 voor alle i en j. Met de eigenschap dat limt→∞pij(t) = 0 voor alle j onafhankelijk is van i, wordt uit (5.17) het stelsel (5.26) verkregen.
Met inductie naar j is eenvoudig in te zien dat uit (5.26) volgt:
λjPj = µj+1Pj+1, j ≥ 0 (5.27) Uit (5.27) volgt Pj = λj−1 µj Pj−1 = · · · = λj−1λj−2···λ0 µjµj−1···µ1 P0, j ≥ 1. Laat C0 = 1 en Cj = λj−1λj−2···λ0 µjµj−1···µ1 , j ≥ 1. M.b.v. P j Pj = 1, krijgen we P0 = {P∞ j=0 Cj}−1, waaruit volgt Pj = ∞ X j=0 Cj −1 · Cj, j ≥ 0. (5.28)
Bovenstaande afleiding geeft ook aan wat noodzakelijkerwijs moet gelden opdat de stationaire kansen Pj, j ∈ S bestaan, namelijk dat P∞
j=0 Cj < ∞. Er kan worden aangetoond dat deze voorwaarde ook voldoende is.
Voorbeeld 5.6 (vervolg)
Uit λi = iλ + θ, i ≥ 0, en µi= iµ, i ≥ 1, volgt dat voor het bestaan van de stationaire kansen nodig en voldoende is dat 1 +P∞
j=1
θ(θ+λ)···(θ+[j−1]λ) j!µj < ∞. Uit de d’Alembert-test volgt dat moet gelden
d.w.z. dat λ < µ.
Verder merken we op dat Cj = θ λ(λθ+1)···(θλ+[j−1]) j! · (λµ)j = θ λ + j − 1 j ! (λµ)j. Omdat (1 − x)−n=P∞ j=0 n + j − 1 j !
xj (zie paragraaf 3.2.4 in Besliskunde 1), geldt:
P∞ j=0 Cj =P∞ j=0 θ λ + j − 1 j ! (λµ)j = (1 −µλ)−θλ. Hieruit volgt P0= (1 − λµ)λθ en Pj = θ λ+ j − 1 j ! (µλ)j· (1 − λ µ)θλ, j ≥ 1. Vraag 5.8
Automobilisten komen aan bij een benzinestation volgens een Poisson proces met een gemiddelde van 10 klanten per uur. Het benzinestation heeft slechts ´e´en benzinepomp en de tijd die nodig is om te tanken is voor iedere automobilist exponentieel verdeeld met een verwachtingswaarde van drie minuten. Een automobilist gaat het benzinestation alleen binnen als daar hoogstens twee andere auto’s zijn.
a. Bereken het gemiddeld aantal auto’s in het benzinestation. b. Wat is de fractie automobilisten die doorrijdt?
Vraag 5.9
Beschouw het M/M/1-model, het geboorte-sterfte proces met λi = λ, i ≥ 0 en µi = µ, i ≥ 1. a. Toon aan dat de stationaire kansen bestaan d.e.s.d. als λ < µ.
b. Bepaal de stationaire kansen.
Vraag 5.10
In een productiehal zijn een snelle en een langzame machine aanwezig voor het afhandelen van orders. Orders komen binnen volgens een Poisson proces met parameter λ. Een binnenkomende klant die beide machines bezet treft, gaat verloren. Als een aankomende order beide machines vrij treft, dan wordt de order toegewezen aan de snelle machine. Is alleen de langzame machine vrij, dan gaat de order naar de langzame machine. De bewerkingstijd van een opdracht is exponentieel verdeeld met parameter µ1 op de snelle machine en µ2 op de langzame machine.
a. Bepaal de generator matrix van dit Markovproces . b. Stel de balansvergelijkingen op.