Aufgabe 1. (Stochastischer Koordinatenabstieg) Wir betrachten das Minimierungsproblem

(1)

Einf¨ uhrung in die Numerische Mathematik

Sommersemester 2020 Prof. Dr. Jochen Garcke

Christopher Kacwin

Ubungsblatt 4. ¨ Abgabe am Dienstag, 26.5.20 bis 10:00 Uhr.

Aufgabe 1. (Stochastischer Koordinatenabstieg) Wir betrachten das Minimierungsproblem

w

^∗

= argmin

w∈R^d

(f (w))

mit f (w) =

¹₂

w

^>

Aw − w

^>

b, A ∈ R

^d×d

symmetrisch positiv definit und b ∈ R

^d

. a) Es sei e

_i

∈ R der i-te Einheitsvektor. Zeigen Sie:

∂f

∂w

i

(w) = e

^>_i

A(w − w

^∗

) Wir betrachten die Iterationsfolge

w

^k+1

= w

^k

− α

_i

∂f

∂w

_i

(w

^k

)e

_i

,

wobei α

_i

= 1/A

_ii

und i in jedem Schritt zuf¨ allig aus {1, . . . , d} gezogen wird, verteilt nach den Gewichten i ∼ A

ii

/ Tr(A). Definiere kwk

²_A

= w

^>

Aw.

b) Zeigen Sie, dass mit Π

i

=

^eⁱ^e

>

iA Aii

gilt:

kw

^k+1

− w

^∗

k

²_A

= k(I

_d

− Π

i

)(w

^k

− w

^∗

)k

²_A

c) Definiere r

^k

= A

^1/2

(w

^k

− w

^∗

). Zeigen Sie:

kr

^k+1

k

²₂

= kr

^k

k

²₂

− (r

^k

)

^>

A

^1/2

e

_i

e

^>_i

A

^1/2

A

_ii

r

^k

d) Zeigen Sie schliesslich, dass die Iterationsfolge konvergiert:

E h

kw

^k+1

− w

^∗

k

²_A

i

≤

1 − λ

min

(A) Tr(A)

E

h

kw

^k

− w

^∗

k

²_A

i

(10 Punkte) Aufgabe 2. (Kegel)

Es sei K ⊂ R

^d

ein Kegel und K

^p

= {y ∈ R

^d

| ∀x ∈ K : x

^>

y ≤ 0} der polare Kegel zu K.

Zeigen Sie:

a) K ist konvex genau dann, wenn K + K = {x + x

⁰

| x, x

⁰

∈ K} ⊂ K.

b) K

^p

ist konvex und abgeschlossen.

c) Falls K konvex und abgeschlossen ist, so gilt (K

^p

)

^p

= K.

Hinweis: sie d¨ urfen benutzen, dass f¨ ur konvexe, abgeschlossene Mengen C der Projekti- onsoperator P

_C

(y) = argmin

_x∈C

kx − yk

²₂

existiert und eindeutig ist.

(5 Punkte)

1

(2)

Programmieraufgabe 1. (Stochastischer Koordinatenabstieg)

a) Implementieren Sie die Iterationsfolge aus Aufgabe 1. Schreiben sie eine Routine, die als Eingabe eine symmetrisch positiv definite Matrix A ∈ R

^d×d

, einen Vektor b ∈ R

^d

, einen Startvektor w

⁰

∈ R

^d

sowie ein Iterationslimit k erh¨ alt und als Ausgabe die Folge w

¹

, . . . , w

^k

erzeugt.

b) Erzeugen Sie 200 Zufallszahlen x

₁

, . . . , x

₂₀₀

, unabh¨ angig identisch gleichverteilt auf [0, 1]. Wir betrachten die sogenannte Kernfunktion

K (x, y) =

( (1 − y)x x ≤ y (1 − x)y y ≤ x und integrierte Kernfunktion

B (x) = Z

1

0

K(x, y)dy = 1 2 x

³

+ 1

2 (1 − x)x

²

− x

²

+ 1 2 x . Wir wollen l¨ osen:

w

^∗

= argmin

w∈R²⁰⁰





200

X

i,j=1

w

i

K (x

i

, x

j

)w

j

− 2

200

X

i=1

w

i

B(x

i

)



 .

Stellen Sie die zugeh¨ orige Matrix A und Vektor b zu diesem Problem auf und wenden Sie die Routine aus a) an. Visualisieren Sie die Punkte {(x

_i

, w

_i^∗

)}. Was f¨ allt auf?

(10 Punkte) Die Programmieraufgabe kann bis zum 2.6.20 abgegeben werden. Es muss der Code, die ausf¨ uhrbare Datei und die Ausgabe in einer ersichtlichen Form beigelegt werden.

Sie d¨ urfen die Programmiersprache frei w¨ ahlen, wir empfehlen allerdings Python oder C++.

2