Nichtlineare Optimierung 3. Rechnerübungsblatt

Nichtlineare Optimierung 3. Rechnerübungsblatt

Fachbereich Mathematik WS 2012/13

Prof. Dr. Irwin Yousept 13.12.2012

Hannes Meinlschmidt

Rechnerübung

Aufgabe R1 (Inexaktes CG-Newton-Verfahren)

(a) Implementieren Sie das allgemeine Abstiegsverfahren in der Version von Übungsblatt 7, Aufgabe G2 inmatlab, bestimmen Sie also die Suchrichtung mit dem inexakten Newton-CG-Verfahren und die Schrittweite nach der Armijo-Regel. Verwenden Sie als Konstanten

α=10⁻³ und ν=10⁻².

Nutzen Sie zur Bestimmung der Schrittweiten Ihre bereits programmierte Funktionarmijovon der ersten Rech- nerübung. Beachten Sie hierbei, dass die Schrittweiten-Bestimmung nach Armijo auch hier mitγ∈(0, 0.5)statt γ∈(0, 1)aufgerufen werden soll. Der Funktionskopf des Verfahrens sollte folgendermaßen aussehen:

function [xn] = cgnewt(x0,fgH,tol,maxit),

wobei wie immerx0der Startpunkt,fgHeine Funktion, die Funktionswert, Gradient und Hessematrix zurückliefert, toleine Abbruchtoleranz undmaxitdie maximale Anzahl durchzuführender Iterationen sein soll.

In jeder Iteration des Abstiegsverfahrens sollte die aktuelle Iteration, der Funktionswert, die Norm des Gradienten und die Schrittweite ausgegeben werden. Beim CG-Verfahren zur Bestimmung der Suchrichtung soll die Anzahl der benötigten Iterationen und das Restresiduum der Newtongleichung ausgegeben werden.

(b) Testen Sie Ihr Programm an den bereits bekannten Funktionen

• f₁(x₁,x₂) =x₁²+αx₂², mit verschiedenenα≥1(z.B. mitα=10und Startwertx⁰= (10, 20)),

• der Rosenbrock-Funktion f₂(x₁,x₂) =100(x₂−x²₁)²+ (1−x₁)²und verschiedenen Startwertenx⁰6= (1, 1), sowie der neuen Testfunktion

• f₅(x₁,x₂) =x₁⁴−2x₂²+x₂⁴mit Startwertx⁰= (0.5, 0.5).

Als weiterer Test ist zudem ein etwas komplizierteres Problem verfügbar, dasMinimalflächenproblem:

minz

Z

Ω

p1+k∇z(x)k²dx, z=z_bauf∂Ω.

Hier wird eine Funktionz:Ω→Rgesucht, die auf dem Rand∂Ωeines GebietesΩmit einer gegebenen Funktion z_bübereinstimmt.

Dieses Problem wird diskretisiert auf einem 100×100-Gitter berechnet. Um eine Lösung berechnen zu las- sen, laden Sie die Datei minsurf.zipvon der Veranstaltungshomepage herunter und kopieren Sie die Dateien runminsurfcgnewt.mund Fminsurf.min das Verzeichnis, in der auch die Funktioncgnewtliegt. Rufen Sie dort dannrunminsurfcgnewtinmatlabauf.

Zum Vergleich des CG- mit dem üblichen Newton-Verfahren, wie in der zweiten Rechnerübung implementiert, passen Sie den Funktionskopf Ihres dort programmierten Newton-Verfahrens auf folgendes an:

function [xn] = newt(x,fgH,tol,maxit).

Entpacken Sie auch die Datei runminsurfnewt.m aus dem Archiv minsurf.zip ins selbe Verzeichnis wie Ihr Newton-Verfahren, und rufen Sie die Funktion in Matlab auf.

(c) Vergleichen Sie die Ergebnisse, die Anzahl der Iterationen und die Laufzeit des Newton-CG-Verfahrens mit dem globalisierten Newton-Verfahren vom zweiten Rechnerübungsblatt.

Hinweis:Verwenden Sie hier diematlab-Befehletic,tocundcputime.

1

Algorithmus 1: Globalisiertes BFGS-Verfahren

Wähleγ∈(0, 0.5)undη∈(γ, 1). Wähle einen Startpunkt x⁰∈Rⁿund eine symmetrische, positiv definite Matrix

1

B₀=H₀⁻¹∈R^n×n; fork=0, 1, . . . :do

2

if∇f(x^k) =0then

3

STOP mit Ergebnisx^k;

4

end

5

Berechnes^k=−B_k∇f(x^k);

6

Bestimme eine Schrittweiteσk>0nach der Powell-Wolfe-Regel;

7

Setzex^k+1=x^k+σks^k;

8

BerechneB_k+1=H_k⁻¹₊₁nach dem inversen BFGS-Update

9

B_k+1=B_k+(d^k−B_ky^k)d^{k T}+d^k(d^k−B_ky^k)^T

y^{k T}d^k −(d^k−B_ky^k)^Ty^k (y^{k T}d^k)² d^kd^{k T}, mitd^k=x^k+1−x^kund y^k=∇f(x^k+1)− ∇f(x^k), vgl. Vorlesung;

end

10

Aufgabe R2 (Globalisiertes BFGS-Verfahren)

Implementieren Sie das globalisierte BFGS-Verfahren (Algorithmus 1) inmatlab.

Wählen Sie

γ=0.001, θ=0.9 und H⁻¹₀ =I,

und verwenden Sie im Algorithmus, wie in den vorigen Rechnerübungen gelernt, eine relaxierte Abbruchbedingung an die Norm des Gradienten. Verwenden Sie die Funktion zur Bestimmung der Powell-Wolfe-Schrittweite vom zweiten Rechnerübungsblatt.

Testen Sie Ihr Verfahren an den Funktionen f₁ und f₂ aus der vorigen Aufgabe. Vergleichen Sie auch die Anzahl der Iterationen und die Laufzeit des BFGS-Algorithmus mit dem globalisierten- und dem CG-Newton-Verfahren für diese Funktionen.

Hausübung

Aufgabe H1 (Trust-Region-Modelle) (4 Punkte)

Sei f :R²→Rgegeben durch einen kleinen Bruder der Rosenbrock-Funktion, nämlich f(x₁,x₂) =10(x₂−x²₁)²+ (1−x₁)².

Das quadratische Modell dieser Funktion ist gegeben durch

q(s):=f(x) +∇f(x)^Ts+1

2s^T∇²f(x)s.

Zeichnen Sie jeweils die Höhenlinien des quadratischen Modells im Punkt x₁ = (0,−1)^T und x₂= (0, 0.5)^T (z.B. mit matlab) und fügen Sie die Trust Regions, die durch∆∈ {0.5, 1, 1.5, 2}gegeben sind, ein. Geben Sie anhand der Bilder an, wo sich die Lösung des jeweiligen TR-Problems befindet. Vergleichen Sie auch die tatsächlichen Höhenlinien von f und die Trust Regions umx₂.

Aufgabe H2 (Cauchy-Punkt) (5 Punkte)

In der Vorlesung wurde der Cauchy-Punktals Näherungslösung für das Trust-Region-Problem eingeführt. Der Cauchy- Punkts^cim Punktx∈Rⁿsoll dabei das folgende Minimierungsproblem lösen:

minq(s):=∇f(x)^Ts+1

2s^THs s.t. s=−t ∇f(x)

k∇f(x)k, t∈[0,∆], mit∆>0, f :Rⁿ→Rzwei mal stetig differenzierbar undH∈R^n×nsymmetrisch.

2

(a) Wir betrachten zunächst die Funktion

φ:R→R:t7→αt+βt² mitα,β∈Rundα <0.

Zeigen Sie, dass das Problem

minφ(t) s.t. 0≤t≤τ

für jedesτ >0genau eine Lösungt^∗besitzt, und dass folgende Abschätzung gilt:

φ(t^∗)≤ α 2min

|α|

2|β|,τ

(1)

(dabei ist fürβ=0der erste Teil im Minimum als+∞zu lesen).

(b) Wenden Sie nun Aufgabenteil (a) nun mit einer geeigneten Funktionφund geeignetemτ >0an, um den Cauchy- Punkt zu berechnen. Zeigen Sie zudem:

q(s^c)≤ −k∇f(x)k

2 min

k∇f(x)k kHk ,∆

.

Aufgabe H3 (Lösen des Trust-Region-Problems) (6 Punkte)

SeiH∈R^n×nsymmetrisch undc∈Rⁿ. Für die quadratische Funktionq:Rⁿ→R,

q(s) =c^Ts+1 2s^THs,

betrachten wir für∆>0das Trust-Region-Problem

minq(s) s.t.ksk ≤∆. (TP)

In der nächsten Vorlesung werden wir folgende Charakterisierung der Lösung des Trust-Region-Problems beweisen:

Satz. Der Vektor¯sistgenau danneine Lösung des Trust-Region-Problems(TP), falls einλ≥0existiert, so dass die Bedin- gungen

(a) k¯sk ≤∆, (b) (H+λI)¯s=−c,

(c) (H+λI)positiv semidefinit, und

(d) (k¯sk −∆)λ=0, d.h. istλ >0, so mussk¯sk= ∆gelten bzw. istk¯sk<∆, dann ist schonλ=0 erfüllt sind.

Wir betrachten nun Problem TP mit den gegebenen Werten∆ =p 2, c=

1

−1

und H= 0 1

1 0

.

(a) Geben Sie die notwendigen und hinreichenden Optimalitätsbedingungen aus dem Satz konkret an.

(b) Berechnen Sies(λ):=−(H+λI)⁻¹c, wobeiλ >max{0,−λmin(H)}undp(λ):=ks(λ)k.

(c) Bestimmen Sie die Optimallösung des Trust-Region-Problems. Zeichen Sie die Funktionenp(λ)−∆und _p(λ)¹ −_∆¹ als Funktionen inλauf einem geeigneten Intervall. Was fällt Ihnen auf?

3