5. Übungsblatt zur „Nichtlinearen Optimierung“

Fachbereich Mathematik Prof. Dr. Stefan Ulbrich M.Sc. Franziska Kartzow Dipl.-Math. Sebastian Pfaff

WS 2010/2011 26. November 2010

5. Übungsblatt zur

„Nichtlinearen Optimierung“

Gruppenübung

Aufgabe G1 (Verfahren der konjugierten Gradienten (CG-Verfahren))

Gegeben sei die streng konvexe quadratische Funktion q : Rⁿ −→ R, q(y) = c^Ty+ ¹₂y^TCy. Zur Bestimmung des eindeutigen globalen Minimums von q betrachten wir das

Verfahren der konjugierten Gradienten:

1. Wähley0 und berechneg0 :=c+Cy0. Fallsg0= 0: STOP mit Ergebnisy0. Sonst setze d₀ :=g₀ und k:= 0.

2. Berechneα_k:= ^gTkgk

d^T_kCdk und setze y_k+1:=y_k−α_kd_k sowieg_k+1 :=g_k−α_kCd_k. Falls gk+1 = 0: STOP mit Ergebnis yk+1.

3. Berechneβ_k:= ^g

T k+1g_k+1

g_k^Tgk und setze d_k+1:=g_k+1+β_kd_k. 4. Ersetzekdurch k+ 1und gehe zu 2.

Zeigen Sie:

a) Solangeg_k6= 0 ist, gilt:

i) d_k6= 0,

ii) V_k+1:= span{g₀, Cg0, . . . , C^kg0}= span{g₀, . . . , g_k}= span{d₀, . . . , d_k}, iii) Die Vektoren d₀, . . . d_k sind paarweiseC-konjugiert, d.h.

d^T_i Cdj = 0 für alle i6=j,0≤i, j≤k, iv) gk+1⊥V_k+1.

b) Es giltq(y_k+1) = miny∈V_k+1q(y0+y). Und das Verfahren berechnet in höchstensnSchritten das globale Minimum vonq.

Aufgabe G2 ( Konvergenz des Newtonverfahrens inR) Sei x^∗ einem-fache Nullstelle der Funktion F ∈C^m+1(R).

(a) Bestimmen Sie die Konvergenzordung des Newtonverfahrens xk+1=xk− F(xk)

F⁰(x_k).

in Anhängigkeit von m und im Falle linearer Konvergenz die Konvergenzrate.

(b) Betrachten Sie nun das folgende veränderte Newtonverfahren : xk+1 =xk−nF(xk)

F⁰(x_k) (n >1).

Für welche m konvergiert dieses Verfahren? Bestimmen Sie für die m, für die das Verfahren konvergiert, die Konvergenzordnung in Abhängigkeit von n.

Hinweis:Benutzen Sie die Taylorentwicklung vonF(x)undF⁰(x)mit Entwicklungspunktx^∗ und 1 +O(y)

1 +O(y) = 1 +O(y).

Hausübung

Aufgabe H1 (Modifiziertes Newton-Verfahren) (10 Punkte) Sei die Funktion f :R² → Rdefiniert durchf(x1, x2) :=x⁴₁−3x²₁+ 2 + 2x²₂. Wir betrachten das Newton-Verfahren zur Minimierung der Funktion f(x) mit der folgenden Modifikation: Falls die Hessematrix ∇²f(x_k) nicht positiv definit ist, so soll die modifizierte Newton-Richtung

s_k:=−(∇²f(x_k) +µ_kI)⁻¹∇f(x_k)

verwendet werden, wobeiI die Einheitsmatrix imR²bezeichnet. Hierbei sollµ_kso gewählt werden, dass die Matrix ∇²f(x_k) +µ_kI positiv definit ist. Hierzu wählen wirµ_k so, dass gilt:

µ_k ≥µ+ max{0,−λ_min(∇²f(x_k))}, mit einer Konstante µ >0.

(a) Berechnen Sie die ersten beiden Schritte dieses Verfahrens mit dem Startpunkt x0 = (¹₂,1)^T. Verwenden Sie zur Wahl von µ_k die Konstante µ = 1 und bestimmen Sie die Schrittweiten nach der Armijo-Regel mit den Parameternγ = ¹₄ und β= ¹₂ .

(b) Skizzieren Sie die Höhenlinien vonfund zeichnen Sie im Startpunktx0die klassische Newton- Richtung, den negativen Gradienten und die Richtungen aus Aufgabenteil (a) ein.

Aufgabe H2 (Inexaktes CG-Newton-Verfahren) (10 Punkte) Wir betrachten inexakte Newton-Verfahren zur Minimierung einer zweimal stetig differenzierbaren Funktion f :Rⁿ → R. Um eine inexakte Lösung der Newton-Gleichung zu berechnen, kann man das CG-Verfahren (siehe Gruppenübung) verwenden, welches für symmetrische, positiv definite Matrizen C ∈R^n×n, die Lösung eines GleichungssystemsCy =−c liefert. Hierbei wird in höchs- tens nSchritten die streng konvexe Funktionp(y) =c^Ty+¹₂y^TCyminimiert.

Die Idee ist nun, das CG-Verfahren auf die Funktion qk(s) :=∇f(xk)^Ts+¹₂s^T∇²f(xk)sanzuwen- den und abzubrechen, wenn das Residuumk∇f(x_k) +∇²f(x_k)sk₂ klein genug ist. Damit erhalten wir eine näherungsweise Lösung der Newton-Gleichung ∇²f(x_k)s=−∇f(x_k).

Im allgemeinen Abstiegsverfahren Algorithmus 3 verwenden wir also zur Berechnung der Suchrich- tungs_k das folgende modifizierte CG-Verfahren:

Inexaktes CG-Newton-Verfahren zur Bestimmung der Suchrichtung:

Seien α, ν∈(0,1)beliebig fest.

1. Wähley0= 0, setzeg0 =∇f(x_k) undd0:=∇f(x_k),j := 0

2. Fallskg_jk₂ ≤min{ν,k∇f(x_k)k₂}k∇f(x_k)k₂:(relatives Residuum klein genug) STOP mit sk=yj.

Falls d^T_j∇²f(x_k)d_j ≤0: (Richtung nichtpositiver Krümmung) STOP mit Ergebnissk=yj−sgn(∇f(xk)^Tdj)k∇f(xk)k_2kd^dj

jk2. Sonst: Berechne α_j = ^g

T jgj

d^T_j∇²f(xk)dj setze y_j+1=y_j −α_jd_j undg_j+1:=g_j−α_j∇²f(x_k)d_j. Falls −∇f(x_k)^Ty_j+1 < min{α,k∇f(x_k)k₂}k∇f(x_k)k₂ky_j+1k₂: (Abstiegsrichtung wird unzureichend)

STOP mit Ergebnissk=yj. 3. Berechneβ_j := ^g

T j+1gj+1

g_j^Tgj und setzed_j+1:=g_j+1+β_jd_j. 4. Setzej:=j+ 1und gehe nach 2.

Zur Bestimmung der Schrittweite werde die Armijo-Regel mit Parametern γ ∈ (0,¹₂) und β ∈(0,1)verwendet. Sei nun x0 ∈Rⁿ und die Niveaumenge N_f(x0) kompakt. Ausserdem dürfen Sie folgende Ungleichungen ohne Beweis verwenden:

−∇f(x_k)^Ts_k≥ k∇f(x_k)k²₂

1 + 2k∇²f(x_k)k₂ (1)

und

−∇f(x_k)^Ty_j ≥ k∇f(x_k)k²₂

1 + 2k∇²f(xk)k₂. (2)

Zeigen Sie:

(a) Es gilt:ks_kk₂ ≥δk∇f(x_k)k₂ undky_jk₂ ≥δk∇f(x_k)k₂ , mit einem δ >0.

Hinweis: Nutzen Sie die Kompaktheit der Niveaumenge N_f(x₀) und die Ungleichungen (1) und (2).

(b) Die erzeugten Suchrichtungen sind zulässig. (Zeigen Sie, dass die verallgemeinerte Winkelbe- dingung erfüllt ist.)

Hinweis: Nutzen Sie die Ergebnisse aus a).

(c) Die mit der Armijo-Regel erzeugten Schrittweiten σk sind zulässig.

(d) Ist∇²f(¯x) positiv definit und giltx_k → x, so konvergiert¯ x_k → x¯ Q-superlinear oder sogar Q-quadratisch, falls ∇²f(x) in einer Umgebung vonx¯ lokal Lipschitz-stetig ist .

Hinweis: Zeigen Sie, dass es ein K >0 gibt, so dass das inexakte Newton-CG-Verfahren in allen Iterationenk≥K des Abstiegsverfahrens nur abbricht, wenn das Residuum klein genug ist – mit Hilfe von Ungleichung (2). Zeigen Sie nun, dass die Voraussetzungen des Satzes 2.9.1 ii) bzw. iii) für F(x) =∇f(x) erfüllt sind.

(e) Führen Sie jeweils zwei Schritte des Abstiegsverfahrens mit der obigen Suchrichtungsbestim- mung für die Funktionen f₁(x) = x²₁ + 10x²₂ mit Startpunkt x₀ = (10,20) und f₂(x) = x⁴₁−2x²₂+x⁴₂, mit Startpunktx0= (¹₂,¹₂) durch.