L¨osungsvorschlag zur Vorlesung

Technische Universit¨at Darmstadt Fachbereich Mathematik

Prof. Dr. S. Ulbrich

Wintersemester 2009/10 Blatt 5

L¨osungsvorschlag zur Vorlesung

Nichtglatte Optimierung und Anwendungen

G13. Subdifferential des gr¨oßten Eigenwerts SeiS_n={A∈R^n,n : A=A^T}und

λmax :A∈Sn7→ max

kvk=1v^TAv der gr¨oßte Eigenwert.

Unser Ziel ist der Nachweis, dass

∂λmax(A) ={W ∈Sn : W 0, spur(W) = 1, W •A=λmax(A)}.

Bemerkung:Es gilt spur(B⁻¹AB) =spur(A)undA•B =spur(AB^T).

Zeigen Sie:

a) SeiW ∈∂λmax(A). Dann muss geltenW •A=λmax(A).

Tip:λ_max(tA) =tλ_max(A)f¨ur allet≥0.

Die Subgradientenungleichung lautet

λ_max(B)−λ_max(A)≥W •(B−A) ∀B ∈S_n. F¨urB=tA,t≥0ergibt sich

λ_max(tA)−λ_max(A) = (t−1)λ_max(A)≥(t−1)W •A ∀t≥0.

Einsetzen vont= 2undt= 0liefertλmax(A) =W •A.

b) SeiW ∈∂λ_max(A). Dann gilt spur(W) = 1.Tip:BetrachteB=A+tI.

F¨urB=A+tIergibt sich

λmax(A+tI)−λmax(A) =t≥tW •I =tspur(W) ∀t.

Dies zeigt spur(W) = 1.

c) SeiW ∈ ∂λmax(A). Dann giltW •B ≤ λmax(B)f¨ur alleB ∈ Sn. Folgern Sie, dass W 0gelten muss.

Wegen a) liefert die Subgradientenungleichung

λ_max(B)≥W •B ∀B ∈S_n.

W¨areW nicht positiv definit, dann existiertv ∈ Rⁿ mitv^TW v = W •(vv^T) < 0. Die WahlB =−vv^T ergibt nun den Widerspruch

0 =λ_max(−vv^T)≥ −v^TW v >0.

d) Sei umgekehrtW ∈ SnmitW 0, spur(W) = 1, W •A = λmax(A). Zeigen Sie dass dann giltW •B ≤λ_max(B)f¨ur alleB ∈S_nund folgern SieW ∈∂λ_max(A).Tip:

Nutzen SieW•B =spur(W B)Transformieren SieBauf Diagonalform und nutzen Sie die Eigenschaften der Spur.

Die Subgradientenungleichung ist ¨aquivalent zu

λ_max(B)≥W •B ∀B ∈S_n.

Sei nunQorthogonal mitQ^TBQ=D=diag(λ1, λn). und setzeQ^TW Q= (mij)Dann giltm_ii≥0, daQ^TW Q0, und

spur(W) =spur(Q^TW Q) =X

i

m_ii= 1.

Weiter gilt

W •B =spur(W B) =spur(Q^TW QQ^TBQ) =spur(Q^TW QD)

=X

i

m_iiλ_i ≤λ_max(B)X

i

m_ii=λ_max(B).

G14. Optimalit¨atsbedingungen f ¨ur nichtglatte restringierte Probleme Seif :Rⁿ→Rkonvex undC⊂Rⁿnichtleer, abgeschlossen und konvex.

Der Tangentialkegel vonCinxist definiert als

T_C(x) :={s∈Rⁿ : ∃t >0 :x+ts∈C}.

Wir betrachten das Optimierungsproblem

minf(x) s.t. x∈C. (P)

Wir definieren die Indikatorfunktion χ_C(x) =

(0, x∈C

∞, x /∈C

F¨urx∈Cdefinieren wir analog wie bisher zuR-wertigen Funktionen

∂χ_C(x) ={g∈Rⁿ : χ_C(y)−χ_C(x)≥g^T(y−x) ∀y∈C}.

Zeigen Sie:

a) (P) is ¨aquivalent zu

minf(x) +χ_C(x).

b) Seix∈C. Dann gilt:

∂χC(x) ={g∈Rⁿ : g^Ts≤0 ∀s∈TC(x)}.

⊂: Seig∈∂χ_C(x). Dann gilt

0≥g^T(y−x) ∀y∈C.

Sei nuns∈Rⁿmitx+ts∈Cf¨ur eint >0. Dann folgt0≥g^T(ts), alsog^Ts≤0. Aus Steigfkeitsgr¨unden gilt dies auch f¨ur den AbschlussTC(x)dieser Richtungen.

⊂: Seig^Ts≤0 ∀s∈T_C(x). F¨ury /∈C ist die Subgradientenungleichung trivial. F¨ur y∈Cists=y−x∈T_C(x)und daher gilt

g^T(y−x)≤0 =χ_C(y)−χ_C(x).

c) Istx¯∈Coptimale L¨osung von (P), dann gilt:

∃g∈∂f(¯x) : g^Ts≥0 ∀s∈TC(¯x).

Bemerkung:Sie d¨urfen verwenden, dass inx¯die Summenregel f¨ur Subdifferentiale an- gewendet werden darf.

Es gilt

0∈∂(f +χC)(¯x) =∂f(¯x) +∂χC(¯x).

Es gibt alsog∈∂f(¯x)mit−g∈∂χC(¯x). b) ergibt nun die Behauptung.

In der Nichtlinearen Optimierung lautet die Optimalit¨atsbedingung v¨ollig analog:

¯

x∈C und ∇f(¯x)^Ts≥0 ∀s∈T_C(¯x).

d) Sei nunC := {x∈Rⁿ : c_i(x)≤0, i= 1, . . . , m}mit stetig differenzierbaren konve- xen Funktionen ci : Rⁿ → R. Kann man unter einer Constraint Qualification aus c) analog zur Nichtlinearen Optimierung KKT-Bedingungen ableiten. Wie sehen sie aus?

Unter einer Constraint Qualification stimmen wie in der Nichtlinearen Optimierung der TangentialkegelT_C(¯x)und der Linearisierungskegel

TL(¯x, c) =

s∈Rⁿ : ∇c_i(¯x)^Ts≤0 ∀i∈ A(¯x)

¨uberein, wobeiA(¯x)die aktive Indexmenge bezeichnet. Anwendung des Farkas Lemmas liefert nun die KKT-Bedingungen: Es gibtg∈∂f(¯x)und¯λ∈R^mmit

c(¯x)≤0, g+∇c(¯x)¯λ= 0,

¯λ≥0, c(¯x)^Tλ¯= 0.