Ubungen zur Vorlesung ¨

Technische Universit¨at Darmstadt Fachbereich Mathematik

Prof. Dr. S. Ulbrich

Wintersemester 2009/10 Blatt 1

Ubungen zur Vorlesung ¨

Nichtglatte Optimierung und Anwendungen

G1. Versagen der exakten Schrittweitensuche bei nichtglatten Problemen Gegeben sei das Problem

x∈minRⁿ

f(x)

mitf :Rⁿ→Rkonvex und stetig differenzierbar. Wir betrachten das Verfahren des steilsten Abstiegs mit exakter Schrittweitensuche:

W¨ahlex⁰ ∈Rⁿ. F¨urk= 0,1,2, . . .:

1. Setzes^k=−∇f(x^k)(Richtung des steilsten Abstiegs).

2. Ermittle die optimale Schrittweiteσk ≥0entlangs^k: f(x^k+σks^k) = min

σ≥0f(x^k+σs^k).

3. Setzex^k+1=x^k+σ_ks^k.

Zeigen Sie:

a) Das Verfahren erzeugt f¨ur die konvexe Funktionf1(x) =x²₁+ 2x²₂ zum Startpunktx⁰= (2,1)^T die Folge

x^2k= 9^−kx⁰, x^2k+1 = 9^−kx¹,

konvergiert also gegen das Minimum vonf₁. Skizzieren Sie die H¨ohenlinien vonf₁ und die Iteriertenx^k.

b) Das Verfahren produziert f¨ur die nichtglatte konvexe Zielfunktion f₂(x) :=p

f₁(x)

dieselbe Folgex^k, konvergiert also gegen das Minimum vonf2.

c) Das Verfahren erzeugt auch f¨ur die nichtglatte, stetige, konvexe (kein Nachweis!) Ziel- funktion

f₃(x) :=

(f2(x) x1≥ |x₂|,

√1

3(x₁+ 2|x₂|) x₁<|x₂|,

dieselbe Folgex^k, aberx^kkonvergiert nicht gegen ein Minimum vonf3. Skizzieren Sie die H¨ohenlinien vonf3und die Iteriertenx^k.

d) Warum ist es also hoffnungslos, das Verfahren des steilsten Abstiegs mit exakter Schritt- weitensuche auf nichtglatte Probleme erweitern zu wollen?

Bitte wenden!

G2. Berechnen Sie die folgenden Subdifferentiale:

a) ∂f(0)f¨urf :R→R, f(x) =

(x² x <0 x x≥0. Veranschaulichen Sie sich Ihr Ergebnis grafisch.

b) ∂f(0)f¨urf :Rⁿ→R, f(x) =kxk₂ =

√ x^Tx.

G3. Epigraph und Subgradienten

SeiX⊂Rⁿundf :X→Reine Funktion. Der Epigraph vonf ist definiert gem¨aß epi(f) =

x α

; x∈X, α∈R, α≥f(x)

.

a) Zeigen Sie, dassXundf genau dann konvex sind, wenn epi(f)konvex ist.

b) SeiX⊂Rⁿkonvex und offen undf :X →Rsei konvex. Zeigen Sie, dassg∈Rⁿgenau dann ein Subgradient vonfim Punktx∈Xist, wenn der Vektorv= (g^T,−1)^T ∈Rⁿ⁺¹ im Punkt(x^T, f(x))^T senkrecht aus epi(f)herauszeigt, genauer:

(g^T,−1)

z− x

f(x)

≤0 ∀z∈epi(f). (∗)

c) Begr¨unden Sie, dass man (∗) im folgenden Sinne interpretieren kann:

Die Hyperebene

H ={z∈Rⁿ⁺¹ : (g^T,−1)z=g^Tx−f(x)} ⊂Rⁿ⁺¹

durch den Punkt(x^T, f(x))^T mit Normalev = (g^T,−1)^T verl¨auft ¨uberall auf oder un- ter dem Graphen vonf (man sagt: H st¨utzt den Graphen von f (und gleichzeitig den Epigraphen vonf) im Punkt(x^T, f(x))^T von unten).

Hausaufgaben:

H1. Negative Subgradienten sind nicht immer Abstiegsrichtungen Betrachte die Funktion

f(x) = x²₁

2 + 2|x₂|.

Zeige: Es giltg= ¹₂

∈∂f ¹₀

, abers=−gist keine Abstiegsrichtung vonfinx= ¹₀ .

H2. Richtungsableitung des Maximums von Funktionen

SeiU ⊂ Rⁿ eine offene Menge und seienfi : U → R, i = 1, . . . , m, stetige Funktionen.

Wir betrachten die Funktionf : U → R, f(x) = max1≤i≤mfi(x). Sei nun x ∈ U und I(x) ={i; f_i(x) =f(x)}.

Zeigen Sie: Sind die Funktionenfi,i∈I(x), richtungsdifferenzierbar inx, dann istf eben- falls richtungsdifferenzierbar inxund es gilt

f⁰(x, s) = max

i∈I(x)f_i⁰(x, s) ∀s∈Rⁿ.