a) Als i positief recurrent is, dan is E(V1j| X0= i

Aanvullingen Markovketens

Alternatief bewijs Stelling 4.21 We hadden gezien dat de uitspraken alleen nog bewezen hoeven te worden voor i ∈ T en j ∈ ∪_kR_k, en voor i, j ∈ R_k. Dat gaat via de volgende stappen:

i) p^∗_jj = _µ¹

jj, j ∈ R_k.

ii) p^∗_ij = f_ijp^∗_jj, i ∈ T ∪ R_k, j ∈ R_k, i 6= j;

iii) p^∗_jj = ^E(V

j 1| X₀=i)

µii < ∞, als i positief recurrent is, Y1 de terugkeertijd van een toestand naar zichzelf, V₁^j =P_Y1−1

t=0 1_{j}(X_t) en i, j ∈ R_k.

Als dit bewezen is, dan volgen uitspraken 1 en 2 van de stelling. Voorts gelden ook de volgende uitspraken.

a) Als i positief recurrent is, dan is E(V₁^j| X₀= i) ≤ E(Y₁| X₀ = i) < ∞. Dus is p^∗_jj > 0, en dus is µjj < ∞, zodat j positief recurrent is. D.w.z. positief recurrentie is een klasse-eigenschap.

b) P P^∗= P^∗. Uit (i,ii) volgt j ∈ R_k

p^∗_ij =











p^∗_jj, i ∈ R_k a^k_ip^∗_jj, i ∈ T

0, anders.

Dus geldt voor i ∈ T dat X

l

p_ilp^∗_lj = X

l∈T

p_ilp^∗_lj+ X

l∈Rk

p_ilp^∗_lj

= X

l∈T

p_ila^k_lp^∗_jj+ X

l∈Rk

p_ilp^∗_jj

= (X

l∈T

p_ila^k_l + X

l∈Rk

p_il)p^∗_jj = a^k_ip^∗_jj.

Voor i ∈ R_k krijgen we P

lp_ilp^∗_lj = P

l∈Rkp_ilp^∗_jj = p^∗_jj. Immers R_k is gesloten. Voor de overige paren i, j komt er links en rechts 0 te staan.

c) P

j∈Rkp^∗_ij = 1, voor i ∈ R_k, als R_k een positief recurrent klasse is. Dat volgt uit (iii), omdat P

j∈R_kV₁^j = Y1.

d) P^∗P = P^∗. Je kunt weer nagaan dat de enige niet-triviale gevallen zijn wanneer i ∈ T ∪ R_k en j ∈ R_k, met R_k een positief recurrente klasse. Laat i ∈ R_k. Dan geldt

Pn t=1p^(t)_ij

n = X

l∈Rk

n−1

X

t=0

p^(t)_il p_lj.

1

Dus

p^∗_ij = lim inf

n→∞

X

l∈R_k n−1

X

t=0

p^(t)_il p_lj

≥ X

l∈Rk

lim inf

n→∞

n−1

X

t=0

p^(t)_il p_lj

= X

l∈Rk

p^∗_ilp_lj.

Stel nu, dat er een j ∈ Rk is en  > 0 met p^∗_ij ≥  +P

l∈R_kp^∗_ilplj. Dan geldt 1 = X

j∈R_k

p^∗_ij ≥  + X

l,j∈R_k

p^∗_ilp_lj =  + 1,

tegenspraak. Dus geldt gelijkheid. Het geval dat i ∈ T en j ∈ Rk volgt hieruit direct.

De gevallen (i) en (iii) volgen uit vernieuwingsargumenten. We bewijzen slechts (ii). Laat i ∈ T ∪ R_k en j ∈ R_k gegeven zijn, met i 6= j. Stel X0 = i. Schrijf Y0 voor de tijdsduur tot j voor het eerst bereikt wordt. Laat Y_n de tijdsduur zijn tussen twee opeenvolgende bezoeken aan j, n = 1, . . .. Schrijf ¯Nj(n) voor het aantal bezoeken aan j voor (en het laatst op) tijdstip n, en N_j(n) voor het vernieuwingproces geassocieerd met Y₁, Y₂, . . .. N.B. Y_i ≥ 1!

Dan geldt

n

X

n=1

p^t_ij = E( ¯Nj(n) | X0 = i) =X

s≤n

f_ij^(s)(1 + E Nj(n − s) | X0 = j)

Kies  > 0 en n zodatP

s≤nf_ij^(s)≥ f_ij− (> 0). Dan geldt voor n > n_ E( ¯Nj(n) | X0 = i) = X

s≤n

f_ij^(s)(1 + E(Nj(n − s) | X0 = j)

≥ X

s≤n

f_ij^(s)E(Nj(n − s) | X0= j).

Dus voor all  > 0 klein geldt Pn

n=1p^(t)_ij

n = lim inf

n→∞

E( ¯N_j(n) | X₀ = i) n

≥ lim inf

n→∞

P

s≤nf_ij^(s)E(Nj(n − s) | X0 = j) n

≥ X

s≤n

lim inf

n→∞

E(Nj(n − s) | X0= j) n − s

n − s

n ≥ (f_ij− ) 1

µ_jj = (f_ij− )p^∗_jj.

Door de limiet  ↓ 0 te nemen krijgen we

Pn n=1p^(t)_ij

n ≥ f_ijp^∗_jj. Voor een bovengrens krijgen we Pn

n=1p^(t)_ij

n ≤ f_ij(1 + E(N_j(n) | X₀= j)

n ,

2

zodat

lim sup

n→∞

Pn n=1p^t_ij

n ≤ lim sup

n→∞

fij(1 + E(Nj(n) | X0= j)

n = fijp^∗_jj

QED N.B.P

jp^∗_ij =P

k : Rk pos.rec.a^k_i, voor i ∈ T . Dit kan mogelijk < 1 zijn!

toepassing op verwachte kosten

3