Strategie¨ en en optimaliteitscriteria

pi+a−j(t) j ≤ i + a; 0 B ≥ j > i + a; r^t_i(a) = −{K_t· δ(a) + k_t· a +Pi+a

j=0 p_j(t) · h_t· (i + a − j) +P∞

j=i+a+1 p_j(t) · q_t· (j − i − a)}.

7.1.2 Strategie¨en en optimaliteitscriteria

Strategie¨en

Een strategie R is een rij beslisregels: R = (π¹, π², . . . , π^t, . . . ) met π^t de beslisregel op tijdstip t, t = 1, 2, . . .. Zo’n beslisregel π^t mag afhangen van alle informatie die het systeem tot tijdstip t heeft verkregen, d.w.z. van de toestanden op de tijdstippen 1, 2, . . . , t en van de acties op de tijdstippen 1, 2, . . . , t − 1. De formele definitie van beslisregel π^t is als volgt.

Laat S × A = {(i, a) | i ∈ S, a ∈ A(i)} en laat H_t de verz. zijn van de mogelijke histories van het systeem, d.w.z.

Ht= {(i1, a1, i2, a2, . . . , it−1, at−1, it) | (i_k, a_k) ∈ S × A, 1 ≤ k ≤ t − 1; it∈ S}.

Een beslisregel π^t op tijdstip t geeft de kans, als functie van de historie naar de actieverz., om een bepaalde actie te kiezen:

πt

htat ≥ 0 voor alle a_t∈ A(i_t) en P

at πt

htat = 1 voor alle h_t∈ H_t.

Zij C de verz. van alle strategie¨en. Een strategie R = (π¹, π², . . .) heet een Markov strategie als de beslisregel π^tonafhankelijk is van (i1, a1, i2, a2, . . . , it−1, at−1) voor iedere t ∈ N : π^t hangt dus alleen af van de toestand i_t op tijdstip t. Vandaar dat we schrijven π_i^t_tat i.p.v. π_h^t

tat. De verz. van de Markov strategie¨en noteren we met C(M ). Indien tevens de lotingskansen gedegenereerd zijn, d.w.z. π^t_itat ∈ {0, 1} voor alle i_t en at, dan heet de beslisregel deterministisch. Zo’n deter-ministische beslisregel wordt volledig bepaald door de actie die in een toestand met kans 1 wordt gekozen; we noteren een dergelijke beslisregel dan ook met een functie ft: S → A, d.w.z. door de acties f_t(i), i ∈ S, die met kans 1 worden gekozen. Een strategie met uitsluitend deterministische beslisregels heet een deterministische strategie. Indien alle beslisregels identiek zijn, dan heet de strategie stationair. De verz. van alle stationaire strategie¨en noteren we met C(S). Een algemene

stationaire strategie R = (π, π, . . . ) heeft beslisregels π die alleen afhangen van de toestand i en de actie a, m.a.w. π: S × A → [0, 1], d.w.z. π_ia ≥ 0 voor alle i ∈ S en a ∈ A(i), en P

a π_ia = 1 voor alle i ∈ S. We noteren deze strategie met π^∞. Een stationaire deterministische strategie wordt volledig bepaald door een functie f : S → A, d.w.z. door de acties f (i), i ∈ S. Vandaar dat we zo’n strategie noteren met f^∞. De verz. van stationaire deterministische strategie¨en noteren we met C(D).

Voor een Markov strategie R = (π¹, π², . . . ) defini¨eren we de overgangsmatrix P (π^t) en de op-brengstvector r(πt) door

P (πt) _ij = ^X

a

p^t_ij(a)π^t_ia voor iedere (i, j) ∈ S × S en t ∈ N; (7.1)

r(πt) _i = ^X

a

r_i^t(a)π^t_ia voor iedere i ∈ S en t ∈ N. (7.2)

Laten de stochastische variabelen Xt en Yt de toestand en actie op tijdstip t aanduiden en zij Pβ,R{X_t = j, Y_t = a} de notatie voor de kans dat op tijdstip t de toestand j en de actie a is, gegeven dat strategie R wordt gebruikt en dat β de beginverdeling is, d.w.z. βi is de kans dat het systeem start in toestand i. Als β_i = 1 voor een i ∈ S, dan schrijven we Pi,R in plaats van Pβ,R.

Lemma 7.1

Voor Markov strategie R = (π¹, π², . . . ), beginverdeling β en t ∈ N, geldt: (1) _Pβ,R{X_t= j, Y_t= a} =P i β_i· {P (π1)P (π²) · · · P (π^t−1)}_ij· πt ja, (j, a) ∈ S × A; (2) _Eβ,R{rt Xt(Yt)} =P i βi· {P (π1)P (π²) · · · P (π^t−1)r(π^t)}i, met P (π¹)P (π²) · · · P (π^t−1) = I (de eenheidsmatrix) voor t = 1.

Bewijs

Met inductie naar t. Voor t = 1, geldt:

Pβ,R{X_t= j, Y_t= a} = β_j· π1 ja=P i β_i· {P (π1)P (π2) · · · P (πt−1)}_ij · πt ja en Eβ,R{rt Xt(Yt)} =P i,a βi· π1 iar¹_i(a) =P i βi· {P (π1)P (π²) · · · P (π^t−1)r(π^t)}i.

Neem aan dat de beweringen zijn aangetoond voor zekere t, dan zullen we laten zien dat ze ook gelden voor t + 1: Pβ,R{X_t+1= j, Yt+1 = a} = P k,bPβ,R{X_t= k, Yt= b} · p^t_kj(b) · π_ja^t+1 = P k,b,i β_i· {P (π1)P (π²) · · · P (π^t−1)}_ik· πt kb· pt kj(b) · π_ja^t+1 = P i βi·P k{P (π1)P (π²) · · · P (π^t−1)}_ik·P b π^t_kb· pt kj(b) · π_ja^t+1 = P i βi·P k{P (π1)P (π²) · · · P (π^t−1)}ik· {P (πt)}kj· π_ja^t+1 = P i β_i· {P (π1)P (π²) · · · P (π^t)}_ij· π_ja^t+1. Verder hebben we

Eβ,R{r_X^t+1 t+1(Y_t+1)} = P j,a Pβ,R{X_t+1= j, Y_t+1= a} · r^t+1_j (a) = P j,a,i βi· {P (π1)P (π²) · · · P (π^t)}ij· π^t+1_ja · r^t+1_j (a) = P i βi· {P (π1)P (π²) · · · P (π^t)}ij·P a π^t+1_ja · r^t+1_j (a) = P i β_i·P j{P (π1)P (π²) · · · P (π^t)}_ij · {r(πt+1)}_j = P i βi· {P (π1)P (π²) · · · P (π^t)r(π^t+1)}i.

De volgende stelling laat zien dat voor iedere beginverdeling β, iedere rij strategie¨en R1, R2, . . . en iedere convexe combinatie van de marginale verdelingen van Pβ,Rk, k ∈ N, er een Markov strategie R∗ bestaat met dezelfde marginale verdeling.

Stelling 7.1

Voor iedere beginverdeling β, iedere rij strategie¨en R₁, R₂, . . . en iedere rij niet-negatieve re¨ele getallen p1, p2, . . . met P

k pk= 1, bestaat er een Markov strategie R∗ zdd. Pβ,R∗{X_t= j, Y_t= a} =P

k p_k· Pβ,Rk{X_t= j, Y_t= a}, (j, a) ∈ S × A, t ∈ N. Proof

Definieer de Markov strategie R∗ = (π¹, π², . . . ) door

π_ja^t := P

k p_k· Pβ,Rk{X_t= j, Y_t= a} P

k p_k· Pβ,Rk{X_t= j} , t ∈ N, (j, a) ∈ S × A (7.3) (als de noemer 0 is, neem voor π_ja^t , a ∈ A(j) niet-negatieve getallen metP

a π_ja^t = 1, j ∈ S.) Neem (j, a) ∈ S × A. We bewijzen de stelling met inductie naar t. Voor t = 1 hebben we

Pβ,R∗{X₁ = j} = β_j and P

k p_k· Pβ,Rk{X₁= j} = β_j. Als β_j = 0, dan: Pβ,R∗{X₁= j, Y₁ = a} =P

k p_k· Pβ,Rk{X₁ = j, Y₁ = a} = 0. Als β_j 6= 0, dan volgt uit (7.3) dat

P

k p_k· Pβ,Rk{X₁ = j, Y₁ = a} = P

k p_k· Pβ,Rk{X₁ = j} · π_ja¹ = β_j· π1 ja

= Pβ,R∗{X₁ = j, Y1= a}.

Neem aan dat de bewering is aangetoond voor t, dan bewijzen we dat deze ook geldt voor t + 1. Pβ,R∗{X_t+1= j} = P l,b Pβ,R∗{X_t= l, Yb = b} · p^t_lj(b) = P l,b,k p_k· Pβ,Rk{X_t= l, Y_b= b} · p^t_lj(b) = P k p_k·P l,b Pβ,Rk{X_t= l, Y_b = b} · p^t_lj(b) = P k p_k· Pβ,Rk{X_t+1= j}. Als Pβ,R∗{X_t+1= j} = 0, dan P

k p_k· Pβ,Rk{X_t+1= j} = 0, waaruit volgt dat Pβ,R∗{X_t+1= j, Y_t+1= a} =P

k p_k· Pβ,Rk{X_t+1= j, Y_t+1= a} = 0. Als Pβ,R∗{X_t+1= j} 6= 0, dan geldt

Pβ,R∗{X_t+1= j, Yt+1= a} = Pβ,R∗{X_t+1 = j} · π^t+1_ja =P k pk· Pβ,R_k{X_t+1= j} · π_ja^t+1 = P k p_k· Pβ,Rk{X_t+1= j} · P k pk·P_β,Rk{X_t+1=j,Yt+1=a} P kpk·P_β,Rk{X_t+1=j} = P k p_k· Pβ,Rk{X_t+1= j, Y_t+1= a}. Gevolg 7.1

Voor iedere begintoestand i en iedere strategie R is er een Markov strategie R∗ zdd.

Pi,R∗{X_t= j, Y_t= a} = Pi,R{X_t= j, Y_t= a}, t ∈ N, (j, a) ∈ S × A, en

Ei,R∗{rt

Xt(Yt)} = Ei,R{rt

Optimaliteitscriteria

1. Totale verwachte opbrengsten over een eindige horizon

Beschouw een Markov beslissingsprobleem over een eindige horizon van T perioden. Voor een strategie R en begintoestand i ∈ S wordt de totale verwachte opbrengst over de planning horizon gedefinieerd door: v^T_i (R) =PT t=1Ei,R{rt Xt(Y_t)} =PT t=1 P

j,aPi,R{X_t= j, Y_t= a} · r^t_j(a), i ∈ S.

Zij v_i^T = sup_R∈Cv_i^T(R), i ∈ S, of in vectornotatie, v^T = sup_R∈Cv^T(R). De vector v^T heet de waardevector. Uit Gevolg 7.1 en Lemma 7.1 volgt dat

vT = sup_{R∈C(M )}vT(R) en

v^T(R) =PT

t=1 P (π¹)P (π²) · · · P (π^t−1)r(π^t), voor R = (π¹, π², · · · ) ∈ C(M ).

Een strategie R∗ heet een optimale strategie als v^T(R∗) = sup_R∈Cv^T(R). Het bestaan van een optimale strategie is niet-triviaal: het supremum moet worden aangenomen en ook nog tegelijk voor alle begintoestanden. We zullen aantonen dat er een optimale deterministische Markov strategie R∗ = (f_∗¹, f_∗², · · · , f_∗^T) bestaat.

De overige criteria betreffen een oneindige horizon. Voor modellen met een oneindige horizon werken we onder de volgende aanname.

Aanname 7.1

De directe opbrengsten en de overgangskansen zijn stationair. We noteren deze met r_i(a) resp. pij(a) voor alle i, j en a.

2. Totale verwachte verdisconteerde opbrengsten over een oneindige horizon

Een bedrag r dat verkregen wordt in periode 1 kan op de bank gezet worden tegen een rente ρ. Dan groeit het bedrag en is ´e´en periode later (1 + ρ) · r waard; in het algemeen is een bedrag r op tijdstip 1 vergelijkbaar met een bedrag (1 + ρ)t−1· r op tijdstip t, t = 1, 2, . . . .

Zij α = (1 + ρ)⁻¹, de verdisconteringsfactor. Merk op dat α ∈ (0, 1). Dan is omgekeerd een bedrag r dat op tijdstip t wordt verkregen equivalent met een bedrag α^t−1· r op tijdstip 1, de zogenaamde verdisconteerde waarde. Dus de opbrengst r_Xt(Y_t) op tijdstip t heeft op tijdstip 1 de verdisconteerde waarde αt−1· r_Xt(Y_t). De totale verwachte α-verdisconteerde opbrengst, gegeven begintoestand i en strategie R, wordt gedenoteerd als v^α_i(R) en gedefinieerd door

v_i^α(R) = ∞ X t=1 Ei,R{α^t−1· r_Xt(Yt)} = ∞ X t=1 α^t−1X j,a Pi,R{X_t= j, Yt= a} · rj(a). (7.4)

Dit is een goed gedefinieerd begrip, want als M := max_(i,a)|r_i(a)|, dan krijgen we in iedere periode minstens −M en hoogstens M , zodat |v^α_i(R)| ≤P∞

Zij R = (π¹, π², . . . ) ∈ C(M ), dan is v^α(R) =P∞

t=1α^t−1P (π¹)P (π²) · · · P (π^t−1)r(π^t) en voor een stationaire strategie π^∞ geldt

v^α(π^∞) =

∞

X

t=1

α^t−1P (π)^t−1r(π). (7.5)

Analoog aan het geval met de eindige horizon worden de waardevector v^αen een optimale strategie R∗ gedefinieerd door vα = sup_Rvα(R) en vα(R∗) = vα. We zullen aantonen dat er een optimale deterministische strategie f^∞ bestaat voor dit criterium.

3. Totale verwachte opbrengsten over een oneindige horizon

Voor dit criterium hanteren we ook nog de volgende aanname.

Aanname 7.2

(1) Het model is substochastisch, d.w.z. P

j pij(a) ≤ 1 voor alle (i, a) ∈ S × A. (2) Iedere strategie is transi¨ent, d.w.z. P∞

t=1Pi,R{X_t= j, Y_t= a} < ∞ voor alle i, j en a.

De totale verwachte opbrengsten, gegeven begintoestand i en strategie R, wordt gedenoteerd als vi(R) en gedefinieerd door v_i(R) = ∞ X t=1 Ei,R{r_Xt(Y_t)} = ∞ X t=1 X j,a Pi,R{X_t= j, Y_t= a} · r_j(a). (7.6)

Onder bovenstaande Aanname 7.2 is v(R) goed gedefinieerd voor alle strategie¨en R. De waarde-vector en het concept van een optimale strategie worden weer op de gebruikelijke manier gedefini-eerd. Ook kan weer worden aangetoond dat er een optimale stationaire deterministische strategie bestaat.

4. Gemiddelde opbrengsten over een oneindige horizon

Bij het criterium van de gemiddelde opbrengsten beschouwen de _T¹ PT

t=1r_Xt(Yt) voor T → ∞. Omdat lim_{T →∞T}¹ PT

t=1r_Xt(Y_t) niet hoeft te bestaan defini¨eren we φ_i(R), de gemiddelde op-brengst gegeven begintoestand i en strategie R, via de liminf :

φ_i(R) = liminf_{T →∞}¹ T T X t=1 Ei,R{r_Xt(Y_t)} = liminf_{T →∞}¹ T T X t=1 X j,a Pi,R{X_t= j, Y_t= a} · r_j(a). (7.7) De waardevector φ = supRφ(R) en R∗ is optimaal als φi(R∗) = φi, i ∈ S. Ook voor dit criterium bestaat er een optimale stationaire, deterministische strategie.

In document BESLISKUNDE 3 L.C.M. KALLENBERG UNIVERSITEIT LEIDEN versie november 2010 (pagina 168-174)