E´endimensionale optimalisatie

We bespreken in deze paragraaf eerst enkele methoden die alleen gebruik maken van functiewaar-den. Deze methoden zijn in het algemeen in twee klassen te verdelen:

(1) interval-reductie methoden; (2) functie-approximatie methoden.

We gaan er van uit dat we een interval kennen waarbinnen de optimale waarde van λ zich bevindt. We geven van elk van de klasse van deze methoden een voorbeeld.

Methode van de Gulden Snede

Bij deze methode9 wordt het optimum ingesloten in steeds kleinere intervallen. We hebben op ieder interval vier punten: op het k-de interval [a_k, b_k] naast de grenzen a_k en b_k ook de punten λ_k en µ_k met λ_k< µ_k. Het volgende lemma toont hoe een volgend interval verkregen wordt. Lemma 3.1

Zij φ : R → R strict quasi-concaaf op het interval [a, b] en laat a < λ < µ < b. (1) Als φ(λ) ≤ φ(µ), dan is φ(µ) > φ(x) voor alle x ∈ [a, λ);

(2) Als φ(λ) ≥ φ(µ), dan is φ(λ) > φ(x) voor alle x ∈ (µ, b]. Bewijs

(1) Neem een x ∈ [a, λ). Omdat λ kan worden geschreven als een echte convexe combinatie van x en µ, volgt uit de stricte quasi-concaviteit van φ dat φ(λ) > min{φ(x), φ(µ)}.

Omdat φ(λ) ≤ φ(µ) geldt: min{φ(x), φ(µ)} = φ(x) < φ(µ). (2) Dit onderdeel gaat analoog aan onderdeel (1).

Opmerkingen

1. In geval (1) kunnen we verder gaan op het interval [λ, b] en in geval (2) op het interval [a, µ]. 2. Het begrip strict quasi-concaaf is, indien de functie φ op het interval [a, b] een maximum heeft, equivalent met het begrip unimodaal, dat het volgende inhoudt: er is op dit interval een punt λ^∗ zdd. φ strict stijgend is tot λ^∗ en strict dalend na λ^∗; φ heeft op het interval dus een uniek maximum in het punt λ∗ (zie ook Opgave 3.4).

Neem nu aan dat de functie φ strict quasi-concaaf is op [a, b]. Bij de Gulden Snede methode werken we in de k-de iteratie met het interval [a_k, b_k]. We gaan daarna verder met ofwel het interval [a_k, µ_k], indien φ(λ_k) ≥ φ(µ_k), ofwel met het interval [λ_k, b_k], indien φ(λ_k) < φ(µ_k). q q q q ¾ L -¾ αL -¾ αL -¾ α2L -a_k λ_k µ_k b_k

We willen nu de λ_k’s en µ_k’s zo bepalen dat de lengte van het nieuwe interval in beide gevallen hetzelfde is en een vaste fractie, zeg α, van het oorspronkelijke interval. Dit betekent dat

µ_k− a_k= b_k− λ_k = α(b_k− a_k).

Verder willen we zo min mogelijk functie-evaluaties, d.w.z. als het volgende interval [λ_k, b_k] is, dan nemen we λ_k+1 = µ_k. Op deze wijze hoeven we in een nieuwe iteratie slechts ´e´en nieuwe functiewaarde te berekenen. Dit houdt in dat een interval volgend op het interval [λ_k, b_k] bijvoor-beeld het interval [λ_k+1, b_k+1] = [µ_k, b_k] kan zijn. Hieruit volgt (zie de figuur) dat α²+ α = 1, wat impliceert dat α = ¹₂(^√5 − 1) ≈ 0.618.

9De gulden snede geeft een verhouding weer die veelvuldig in de natuur, de klassieke architectuur en schilderkunst wordt aangetroffen. Voor meer informatie, zie bijvoorbeeld http://nl.wikipedia.org/wiki/Gulden snede.

Verder geldt λ_k= b_k− α(b_k− a_k); µ_k= a_k+ α(b_k− a_k). Als het interval na [a_k, b_k] het interval [a_k, µ_k] is, dan geeft dit:

a_k+1 = a_k, b_k+1 = µ_k, λ_k+1= b_k+1− α(b_k+1− a_k+1) en µ_k+1 = λ_k. Als na het interval [a_k, b_k] het interval [λ_k, b_k] komt, dan is:

a_k+1 = λ_k, b_k+1= b_k, λ_k+1= µ_k en µ_k+1 = a_k+1+ α(b_k+1− a_k+1).

Algoritme 3.2 Gulden Snede

Invoer: Een functie φ(λ) := f (xk+ λsk) en getallen a₀ en b₀ met a₀ < b₀ en zdd. φ(λ) strict quasi-concaaf is op [a₀, b₀].

Uitvoer: Een benadering λ van de optimale oplossing van het probleem max_λ>0 φ(λ). 1. k := 0; α := ¹₂(^√5 − 1); λ_k := b_k− α(b_k− a_k); µ_k:= a_k+ α(b_k− a_k).

2. Als |b_k− a_k| < ε: stop met λ := ¹₂(b_k+ a_k). Anders: ga naar stap 3.

3. Als φ(λ_k) ≥ φ(µ_k) : a_k+1:= a_k, b_k+1 := µ_k, λ_k+1 := b_k+1− α(b_k+1− a_k+1) en µ_k+1 := λ_k. Anders: a_k+1 := λ_k, b_k+1 := b_k, λ_k+1:= µ_k en µ_k+1:= a_k+1+ α(b_k+1− a_k+1).

4. k := k + 1 en ga naar stap 2.

Voorbeeld 3.4

Laat φ(λ) = 120 − 108λ − ¹²_λ op het interval [0, 1].

Deze functie is op dit interval strict quasi-concaaf (waarom?).

We voeren drie iteraties uit en de berekeningen doen we in drie decimalen. Start: a₀:= 0; b₀ := 1; λ₀:= 0.382; µ₀ := 0.618.

Iteratie 1: φ(λ₀) > φ(µ₀) : a₁ := 0; b₁:= 0.618; λ₁:= 0.236; µ₁:= 0.382. Iteratie 2: φ(λ₁) < φ(µ₁) : a₂ := 0.236; b₂:= 0.618; λ₂:= 0.382; µ₂ := 0.472. Iteratie 3: φ(λ₂) > φ(µ₂) : a₃ := 0.236; b₃:= 0.472; λ₃:= 0.326; µ₃ := 0.382.

Als we nu zouden stoppen dan is de benadering λ voor de optimale staplengte ¹₂(b₃+ a₃) = 0.354 (het werkelijke optimum ligt bij 0.333).

Opmerking:

Omdat de lengte van het interval in iedere iteratie met een vaste factor α = ¹₂(^√5 − 1) ≈ 0.618 wordt verkleind, is er sprake van lineaire convergentie met convergentiefactor ≈ 0.618.

Kwadratische interpolatie

Bij de methode van de kwadratische interpolatie willen we per iteratie ook slechts ´e´en nieuwe functie-evaluatie hebben. We gaan uit van een drietal punten λ₁, λ₂ en λ₃ met in λ₂ de hoogste functiewaarde van φ m.b.t. de drie λ’s. Door de drie punten (λ_i, φ(λ_i)), 1 ≤ i ≤ 3 leggen we een kwadratische functie

g(λ) = Aλ²+ Bλ + C

en van deze functie weten we waar het optimum ligt, namelijk in λ∗= −B 2A.

Omdat g(λ_i) = φ(λ_i), 1 ≤ i ≤ 3, zijn de onbekenden A, B en C te bepalen als oplossing van het

stelsel _       λ²₁A + λ₁B + C = φ(λ₁) λ2 2A + λ₂B + C = φ(λ₂) λ2 3A + λ₃B + C = φ(λ₃)

Met de regel van Cramer volgt de oplossing van dit stelsel, waaruit de waarde van λ∗ volgt: λ^∗ = ¹

2 ^·

φ(λ₁)(λ²₃− λ²₂) + φ(λ₂)(λ₁²− λ²₃) + φ(λ₃)(λ²₂− λ²₁) φ(λ₁)(λ₃− λ₂) + φ(λ₂)(λ₁− λ₃) + φ(λ₃)(λ₂− λ₁)^. Voor de volgende iteratie kiezen we op grond van Lemma 3.1 de volgende drie punten: Als λ∗< λ₂ : als φ(λ∗) ≥ φ(λ₂): neem de drie punten λ₁, λ∗ en λ₂;

als φ(λ∗) < φ(λ₂): neem de drie punten λ∗, λ₂ en λ₃; Als λ∗> λ₂ : als φ(λ∗) ≥ φ(λ₂): neem de drie punten λ₂, λ∗ en λ₃; als φ(λ∗) < φ(λ₂): neem de drie punten λ₁, λ₂ en λ∗.

Als φ unimodaal is, dan is de convergentie superlineair en wel van de orde ≈ 1.3.10 Algoritme 3.3 Kwadratische interpolatie

Invoer: Een functie φ(λ) := f (xk + λsk) en getallen λ₁, λ₂ en λ₃ zdd. λ₁ < λ₂ < λ₃ en φ(λ₂) > max{φ(λ₁), φ(λ₃)}.

Uitvoer: Een benadering λ van de optimale oplossing van het probleem max_λ>0 φ(λ). 1. Als |λ₃− λ₁| < ε: stop met als benaderende oplossing λ := ¹₂(λ₃+ λ₁).

Anders: ga naar stap 2. 2. Bepaal λ∗ = ¹₂ ·^φ(λ1)(λ2 3−λ2 2) + φ(λ2)(λ2 1−λ2 3) + φ(λ3)(λ2 2−λ2 1) φ(λ1)(λ3−λ2) + φ(λ2)(λ1−λ3) + φ(λ3)(λ2−λ1).

3. Als λ∗ < λ₂: als φ(λ∗) ≥ φ(λ₂): λ₃ := λ₂, λ₂ := λ∗ en ga naar stap 1. als φ(λ∗) < φ(λ₂): λ₁ := λ∗ en ga naar stap 1.

Als λ∗ > λ₂ : als φ(λ∗) ≥ φ(λ₂): λ₁:= λ₂, λ₂ := λ∗ en ga naar stap 1. als φ(λ∗) < φ(λ₂): λ₃ := λ∗ en ga naar stap 1.

Methode van Newton

De methode van Newton¹¹ is een iteratieve methode voor een nulpuntsbepaling. We nemen aan dat we de afgeleide en tweede afgeleide kennen. Het maximum van een unimodale functie komt dan overeen met de nulpuntsbepaling φ0(λ) = 0. Als we een iterand λ_k hebben, dan nemen we de eerste orde (lineaire) benadering van φ0(λ_k) en veronderstellen dat φ0(λ_k+1) = 0, d.w.z. we beschouwen de vergelijking 0 = φ0(λ_k+1) = φ0(λ_k) + φ00(λ_k)(λ_k+1− λ_k), ofwel

λ_k+1 = λ_k− ^φ 0(λ_k) φ00(λ_k)^. Algoritme 3.4 Methode van Newton

Invoer: Een unimodale functie φ(λ) := f (xk+ λsk) en een startwaarde λ₀ > 0.

Uitvoer: Een benadering λ van de optimale oplossing van het probleem max_λ>0 φ(λ). 1. k := 0

2. λ_k+1:= λ_k− ^φ0(λk) φ00(λk).

3. Als |λ_k+1− λ_k| < ε: stop met als benaderende oplossing λ := ¹₂(λ_k+1+ λ_k). Anders: k := k + 1 en ga naar stap 2.

Convergentie

De methode van Newton hoeft in het algemeen niet te convergeren. Onder bepaalde voorwaarden voor het gedrag van de functie en voor het startpunt is dit wel het geval. We geven hieronder twee voorbeelden.

Voorbeeld 3.5

Laat φ(λ) = ln (1 + λ) − λ. Dan is φ0(λ) = _1+λ^−λ en φ00(λ) = _(1+λ)⁻¹ 2.

Merk op dat φ0(λ_∗) = 0 d.e.s.d. als λ_∗ = 0. Omdat φ00(λ) < 0 voor alle λ is φ strict concaaf. λ_k+1= λ_k−^{λk/(λk+ 1)}

(1 + λ_k)−2 = λ_k− λ_k(1 + λ_k) = −λ²_k.

Hieruit volgt direct dat λ_k → λ_∗ = 0 d.e.s.d. als |λ₀| < 1 (als |λ₀| = 1, dan is λ_k = −1 voor k ≥ 1 en als |λ_k| > 1, dan is divergeren de λ_k’s naar −∞). Tevens is direct in te zien dat de convergentie kwadratisch is, want lim_k→∞^|λk+1−λ∗|

|λk−λ∗|2 = 1. Voorbeeld 3.6

Laat φ(λ) = −λm met m ≥ 2 en even. φ0(λ) = −mλm−1 en φ00(λ) = −m(m − 1)λm−2. φ⁰(λ_∗) = 0 d.e.s.d. als λ_∗= 0 en φ⁰⁰(λ) < 0 d.e.s.d. als λ 6= 0 (m is even).

λ_k+1= λ_k− ^mλ m−1 k m(m − 1)λ^m−2_k ^{= λk−} λ_k m − 1 ⁼ m − 2 m − 1^λk.

Hieruit volgt dat λ_k→ λ_∗ = 0 voor alle λ₀ en dat de convergentie lineair is met factor ^m−2_m−1.

11Deze methode wordt ook vaak de Newton-Raphson methode genoemd. Raphson publiceerde in 1691 een boek waarin de methode van Newton al wordt besproken. Newton (1643–1727) ontwikkelde deze methode in 1671, maar het werd pas in 1736, na zijn dood, gepubliceerd.

De volgende stelling geeft bepaalde voorwaarden waaronder de methode van Newton kwadratisch convergeert naar het gewenste optimum λ_∗.12

Stelling 3.6

Als de functie φ(λ) viermaal continu differentieerbaar is op een interval [a, b] met a < λ_∗ < b en φ⁰⁰(λ_∗) 6= 0, en λ_∗ is een enkelvoudig nulpunt van φ⁰(λ), dan is er een interval I = [λ_∗− δ, λ_∗+ δ] voor zekere δ > 0 zdd. als λ₀ ∈ I de methode van Newton naar λ_∗ convergeert, waarbij de convergentiesnelheid minstens kwadratisch is.

Vraag 3.6

Toon aan dat het aantal iteraties van algoritme 3.2 gelijk is aan l log{(b0−a0)/ε} log{2/(^√5−1)} m .

In document BESLISKUNDE 2 L.C.M. KALLENBERG UNIVERSITEIT LEIDEN (pagina 94-99)