Einf¨ uhrung in die Optimierung

Einf¨ uhrung in die Optimierung

Fr¨uhjahrsemester 2011 Prof. Dr. H. Harbrecht

Ubungsblatt 5. ¨

Aufgabe 1. (Quasi-Newton-Gleichung)

Verifizieren Sie die Quasi-Newton-Gleichung (Satz 4.2) H_k+1q_k=p_k. Dabei seiHk wie in der Vorlesung durch die Rekursion

H_k+1:= Φ(H_k,p_k,q_k, γ_k, ν_k) gegeben.

(4 Punkte) Aufgabe 2. (Sherman-Morrison-Woodbury-Formel)

a) Seien U,V ∈ R^m×n. Die Matrizen A ∈ R^m×m und S ∈ R^n×n seien regul¨ar. Zeigen Sie, dass die Matrix

M:=A+USV^T genau dann invertierbar ist, falls

W:=S⁻¹+V^TA⁻¹U

invertierbar ist und dass im Falle der Existenz vonM⁻¹ die folgende Formel gilt:

M⁻¹ =A⁻¹−A⁻¹UW⁻¹V^TA⁻¹. Hinweis: Multiplizieren Sie die Formel mitM.

b) ¨Ubertragen Sie das Resultat auf den Fall einer Rang-1-ModifikationM =A+uv^T mit invertierbarer MatrixA∈R^n×n und Vektoren u,v∈Rⁿ, um zu zeigen:

Mist genau dann invertierbar, wenn 1 +v^TA⁻¹u6= 0 gilt. In diesem Fall ist dann M⁻¹ = I− A⁻¹uv^T

1 +v^TA⁻¹u

! A⁻¹.

(4 Punkte)

Aufgabe 3. (BFGS-Verfahren)

a) Zeigen Sie, dass sich f¨ur die Wahl γk ≡ 1 und νk ≡ 1 die Rekursionsformel Φ f¨ur H_k+1 vereinfacht zu

Φ(Hk,pk,qk) =V^T_kHkVk+ρkpkp^T_k wobeiV_k=I−ρ_kq_kp^T_k und ρ_k= 1/(p^T_kq_k) gilt.

b) Betrachten Sie folgenden Algorithmus zur Bestimmung der Suchrichtungen d_k: Algorithmus v=bfgsrek(k,w)

1. Fallsk= 0 gilt, setzev=H₀w.

2. Berechneρ= 1/(p^T_k−1qk−1),α=ρp^T_k−1wund w1 =w−αqk−1. 3. Berechnew2 =bfgsrek(k−1,w1).

4. Berechnev=w₂+ (α−ρq^T_k−1w₂)pk−1. Zeigen Sie, dass die Rekursion v=H_kwliefert.

(4 Punkte) Aufgabe 4. (Zusammenhang DFP/BFGS-Verfahren)

F¨ur die Wahl γk ≡1 und νk ≡ 0 erh¨alt man das DFP-Verfahren. Zeigen Sie, dass f¨ur die Rekursionsformel Φ^DFP gilt:

[Φ^DFP(Hk,pk,qk)]⁻¹= Φ^BFGS(H⁻¹_k ,qk,pk), k= 0,1,2, . . . .

(4 Punkte)