Prof. Dr. Irwin Yousept 6.12.2012

Nichtlineare Optimierung 7. Übungsblatt

Fachbereich Mathematik WS 2012/13

Prof. Dr. Irwin Yousept 6.12.2012

Hannes Meinlschmidt

Nächste Woche wieder Rechnerübung in S2|15 K313!

Gruppenübung

Aufgabe G1 (Verfahren der konjugierten Gradienten [Conjugated Gradient Method]) Gegeben sei die quadratische Funktion

q:Rⁿ→R:y7→c^Ty+1 2y^TC y

mitc∈RⁿundC∈R^n×nsymmetrisch positiv definit. Zur Bestimmung des (eindeutigen) globalen Minimums−C⁻¹cvon qbetrachten wir folgenden Algorithmus:

Algorithmus 1: Verfahren der konjugierten Gradienten Wähle y⁰und berechneg⁰:=c+C y⁰;

1

ifg⁰=0then

2

STOP mit Ergebnisy⁰.

3

else

4

Setzek←0undd⁰=g⁰;

5

end

6

Berechneαk:= ^{gk Tgk}

d^{k T}C d^k;

7

Setze y^k+1:=y^k−αkd^ksowie g^k+1:=g^k−αkC d^k;

8

ifg^k+1=0then

9

STOP mit Ergebnisy^k+1.

10

end

11

Berechneβk:= ^gk+1Tgk+1

g^{k T}g^k ;

12

Setzed^k+1:=g^k+1+βkd^k;

13

Setzek←k+1und gehe zu 7.

14

SeiV_k+1definiert alsSpan{g⁰,C g⁰, . . . ,C^kg⁰}. Folgende Aussagen dürfen Sie als gegeben annehmen: Solangeg^k6=0ist, gilt:

(a) d^k6=0,

(b) V_k+1=Span{g⁰, . . . ,g^k}=Span{d⁰, . . . ,d^k},

(c) die Vektorend⁰, . . .d^ksindpaarweiseC-konjugiert, d.h.

d^{i T}C d^j=0 für allei,j∈ {0, . . . ,k}miti6=j, (d) g^k+1ist orthogonal zum UnterraumV_k+1, also g^k+1⊥V_k+1.

Zeigen Sie damit: Es giltq(y^k+1) =min_y∈Vk+1q(y⁰+y)und das Verfahren berechnet in höchstensnSchritten das globale Minimum vonq.

Hinweis:Interpretieren Sie(d⁰, . . . ,d^k)als Basis vonV_k+1und formulieren Sie das Minimierungsproblem auf dem Unter- raum um in ein Minimierungsproblem aufR^m für ein geeignetesm. Nutzen Sie dann die Konstruktion der y^k aus dem Algorithmus und die in (a) bewiesenen Eigenschaften.

1

Aufgabe G2 (Inexaktes CG-Newton-Verfahren)

In der Vorlesung wurden inexakte Newton-Verfahren zur Minimierung einer zweimal stetig differenzierbaren Funktion f :Rⁿ→Rvorgestellt. Um nun eine inexakte Lösung der Newton-Gleichung zu berechnen, kann man das CG-Verfahren aus Aufgabe G1 verwenden. Die Idee ist dabei, das CG-Verfahren auf die Funktionq_k(s):= ¹₂s^T∇²f(x^k)s+∇f(x^k)^Ts loszulassen und den Algorithmus abzubrechen, wenn das Residuumk∇f(x^k) +∇²f(x^k)skklein genug ist. Damit erhält man eine näherungsweise Lösung der Newton-Gleichung∇²f(x^k)s=−∇f(x^k).

Im allgemeinen Abstiegsverfahren verwenden wir also zur Berechnung der Suchrichtungs^k das folgende, leicht modifi- zierte CG-Verfahren:

Algorithmus 2: Inexaktes CG-Newton-Verfahren zur Bestimmung der Suchrichtung

Input:α,ν∈(0, 1)beliebig, aber fest, aktuelle Iteriertex^kdes allgemeinen Abstiegsverfahrens Wähle y⁰=0, setzeg⁰=∇f(x^k)undd⁰:=∇f(x^k), sowiej:=0;

1

if kg^jk ≤min{ν,k∇f(x^k)k}k∇f(x^k)kthen(relatives Residuum klein genug)

2

STOP mits^k=y^j.

3

end

4

ifd^{j T}∇²f(x^k)d^j≤0then(Richtung nichtpositiver Krümmung)

5

STOP mit Ergebniss^k=y^j−sign(∇f(x^k)^Td^j)k∇f(x^k)k_k^d_d^jjk.

6

end

7

Berechneαj= ^{gj Tgj}

d^{j T}∇²f(x^k)d^j;

8

Setze y^j+1=y^j−αjd^jsowieg^j+1:=g^j−αj∇²f(x^k)d^j;

9

if−∇f(x^k)^Ty^j+1<min{α,k∇f(x^k)k}k∇f(x^k)kky^j+1kthen(Abstiegsrichtung wird unzureichend)

10

STOP mit Ergebniss^k=y^j.

11

end

12

Berechneβj:= ^gj+1Tgj+1

g^{j T}g^j und setzed^j+1:=g^j+1+βjd^j;

13

Setze j← j+1und gehe nach 2;

14

Zur Bestimmung der Schrittweite im inexakten Newton-Verfahren werde die Armijo-Regel mit Parameternγ∈(0, 1/2) undβ∈(0, 1)verwendet. Seix₀∈Rⁿund die NiveaumengeN_f(x₀)kompakt. Zeigen Sie:

(a) Es giltks^kk ≥δk∇f(x^k)kundky^jk ≥δk∇f(x^k)kmit einemδ >0.

(b) Die erzeugten Suchrichtungens^ksind zulässig.

(c) Die mit der Armijo-Regel erzeugten Schrittweitenσksind zulässig.

(d) Ist∇²f(¯x)positiv definit und giltx^k→x, so konvergiert¯ x^k→¯x q-superlinear bzw. sogarq-quadratisch, falls∇²f in¯xlokal Lipschitz-stetig ist.

Hinweis:Zeigen Sie, dass es einK∈Ngibt, so dass das inexakte CG-Verfahren in allen Iterationenk≥K des Ab- stiegsverfahrens nur deshalb abbricht, weil das Residuum klein genug ist. Zeigen Sie nun, dass die Voraussetzungen des Konvergenzsatzes über Inexakte Newton-Verfahren fürF(x) =∇f(x)erfüllt sind.

Hinweis:Die beiden Ungleichungen

−∇f(x^k)^Ts^k≥ k∇f(x^k)k²

1+2k∇²f(x^k)k und − ∇f(x^k)^Ty^j≥ k∇f(x^k)k²

1+2k∇²f(x^k)k (1)

dürfen ohne weiteren Beweis verwendet werden.

2

Hausübung

Aufgabe H1 (Rang-1-Updates für Quasi-Newton-Verfahren) (4 Punkte)

(a) SeiH∈R^n×nregulär undu,v∈Rⁿgegeben. Zeigen Sie: Die MatrixH+uv^T ist regulär, wenn1+^vTH⁻¹u6=0ist, und es gilt die sogenannteSherman-Morrison-Formel

(H+uv^T)⁻¹=

‚

I− H⁻¹uv^T 1+^vTH⁻¹u

Œ H⁻¹.

(b) In der Vorlesung haben wir gesehen, dass der Ansatz eines symmetrischen Rang-1 Quasi-Newton Updates zum Update

H_k+1=H_k+(y^k−H_kd^k)(y^k−H_kd^k)^T

(y^k−H_kd^k)^Td^k . (SR1)

führt. Leiten Sie mit der Sherman-Morrison-Formel die zur Formel (SR1) gehörige inverse Aufdatierungsformel B_k+1=B_k+(d^k−B_ky^k)(d^k−B_ky^k)^T

(d^k−B_ky^k)^Ty her.

Aufgabe H2 (BFGS-Aufdatierung) (5 Punkte)

(a) Zeigen Sie, dass die inverse BFGS-Aufdatierung auch in der Form B^{BF GS}_k+1 =V_k^TB_kV_k+ρkd^kd^{k T} geschrieben werden kann, wobeiV_k=I−ρky^kd^{k T} undρk= ¹

d^{k T}y^k.

(b) Sei B₀ ∈ R^n×n gegeben. Zur Berechnung der Suchrichtung im Schritt k eines BFGS-Verfahrens, d.h. s^k =

−B_k∇f(x^k), ist ein rekursives Verfahren in Funktion bfgsrek(k,w) angegeben. Zeigen Sie, dass der Aufruf v=bfgsrek(k,w)das Ergebnisv =B_kwliefert, wobeiB_kdiek-te inverse BFGS-Matrix ist.

Funktionbfgsrek(k,w) ifk=0then

1

returnB₀w;

2

end

3

Berechneρ= ¹

d^k−1Ty^k−1 undα=ρd^k−1Tw;

4

Setzew₁=w−αy^k−1;

5

Berechnew₂=bfgsrek(k−1,w₁);

6

returnw₂+ (α−ρy^k−1Tw₂)d^k−1

7

Aufgabe H3 (DFP und BFGS) (6 Punkte)

Sei H_k symmetrisch und invertierbar. Zeigen Sie, dass die DFP- und BFGS-Updates jeweils durch gegenseitige inverse Updates erzeugt werden können:

(a) Gilty^{k T}d^k6=0,d^{k T}H_kd^k6=0undy^{k T}H⁻¹_k y^k6=0, so sindH_k+1^{DF P} sowieH_k+1^{BF GS}invertierbar und es gilt (H_k+1^{DF P})⁻¹= Φ^{BF GS}(H_k⁻¹,y^k,d^k)

und

(H_k+1^{BF GS})⁻¹= Φ^{DF P}(H_k⁻¹,y^k,d^k).

Hinweis:Wegen y^{k T}d^k 6=0lässt sich jeder Vektorv ∈Rⁿschreiben alsv =u+λd^k, wobeiu⊥ y^k(orthogonale Zerlegung). Berechnen Sie zunächstH_k+1^{DF P}v, um die erste Gleichung zu zeigen. Benutzen Sie weiter, dassH_k+1^{DF P} die Quasi-Newton-Gleichung erfüllt.

(b) Ist H_k symmetrisch positiv definit und y^{k T}d^k > 0, dann sindH_k+1^{DF P},H_k+1^{BF GS} und H^B,λ_k+1für alle λ∈[0, 1] wieder positiv definit.

3