Vorlesung Einf¨uhrung in die Mathematische Optimierung (Wintersemester 2019/20)

Vorlesung Einf¨ uhrung

in die

Mathematische Optimierung (Wintersemester 2019/20)

Kapitel 3: Optimalit¨atsbedingungen f¨ur konvexe Optimierungsprobleme

Volker Kaibel

Otto-von-Guericke Universit¨at Magdeburg

(Version vom 21. Dezember 2019)

Gliederung

Konvexe Optimierungsprobleme

Radial- und Normalenkegel

Karush-Kuhn-Tucker Bedingungen

Verallgemeinerungen

Das Setup

I Konvexes Optimierungsproblem:

min{f(x) : x∈X}

I f :Rⁿ→Rdifferenzierbare konvexe Zielfunktion

I Zul¨assige L¨osungen:

X =

x ∈X⁽⁰⁾ : g⁽ⁱ⁾(x)≤0 f¨ur alle i ∈[m]

h⁽ⁱ⁾(x) = 0 f¨ur alle i ∈[p]

I X⁽⁰⁾ ⊆Rⁿ abgeschlossene konvexe Menge (einfache Struktur)

I g⁽¹⁾, . . . ,g^(m):Rⁿ→Rdifferenzierbare konvexe Funktionen

I h⁽¹⁾, . . . ,h^(p):Rⁿ→Raffine Funktionen

I Also: X abgeschlossene konvexe Menge

Radialkegel

Definition 3.1

F¨ur eine konvexe MengeX ⊆Rⁿ undx^? ∈X heißt

Kx^?(X) := cone(X − {x^?})

derRadialkegel (Kegel der zul¨assigen Richtungen) von X in x.

Beobachtung 3.2

Istx^? ein innerer Punkt von X, so giltK_x^?(X) =Rⁿ.

Normalenkegel

Definition 3.3

F¨ur eine konvexe MengeX ⊆Rⁿ undx ∈X heißt

N_x^?(X) := K_x^?(X)^◦ derNormalenkegel von X in x^?.

Beobachtung 3.4

Istx^? ein innerer Punkt von X, so giltNx^?(X) ={On}.

Radial- und Normalenkegel an Polyeder

F¨ur A∈R^m×n, b ∈R^m undx^? ∈Rⁿ mit Ax^? ≤b:

Eq_Ax≤b(x^?) :={i ∈[m]| hA_i,?,x^?i=b_i} ⊆[m]

Bemerkung 3.5

F¨urx^? ∈P^≤(A,b) ={x ∈Rⁿ|Ax ≤b}(mit A∈R^m×n und b∈R^m) gilt:

K_x^?(P^≤(A,b)) = {y ∈Rⁿ| hA_i,?,yi ≤0 f¨ur alle i ∈Eq_Ax≤b(x^?)}

Nx^?(P^≤(A,b)) = ccone{A_i,?|i ∈Eq_Ax≤b(x^?)}

Insbesondere sind also Radial- und Normalenkegel an Polyeder polyedrisch.

Differenzierbare Optimierung ¨ uber konvexen Mengen

Satz 3.6

Seif :X →Reine differenzierbare Funktion auf einer konvexen MengeX ⊆Rⁿ.

1. Nimmt f in x^? ∈X ein lokales Minimum ¨uberX an, so ist

−grad_x?f ∈N_x^?(X).

2. Istf konvex und gilt −grad_x?f ∈Nx^?(X), so gilt

f(x^?) = min{f(x)|x ∈X}.

Differenzierbare Optimierung ¨ uber konvexen Mengen

Satz 3.6 f¨ ur konvexe Zielfunktionen

Korollar 3.7

Die differenzierbare konvexe Funktionf nimmt inx^? ∈X genau dann ihr (globales) Minimum ¨uber der konvexen MengeX an, wenn

−grad_x?f ∈ Nx^?(X) gilt.

Einige Normalenkegel

Lemma 3.8

F¨ur konvexe KegelK ⊆Rⁿ und x^?∈K ist

N_x^?(K) ={y ∈K^◦| hx^?,yi= 0}.

Bemerkung 3.9

1. F¨ur allex^?∈Rⁿ₊ ist

Nx^?(Rⁿ₊) ={y ∈Rⁿ−|yi = 0 f¨ur alle i∈[n] mit x_i^? >0}.

2. F¨ur alleX^?∈S^k₊ ist

N_X^?(S^k+) ={Y ∈S^k−| hX^?,Yi= 0}.

Bemerkung 3.10

F¨ur konvexe KegelKi ⊆Rⁿⁱ (i ∈[r]) und (x⁽¹⁾, . . . ,x^(r))∈K₁× · · · ×K_r gilt

N_(x(1),...,x^(r))(K₁× · · · ×K_r) = N_x(1)(K₁)× · · · ×N_x(r)(K_r).

Das Setup

(X₀,(g_i)_i∈[m],(h_i)i∈[p])(f¨urm,p≥0) erf¨ulle:

I X0 ⊆Rⁿ konvex

I gi :Rⁿ→Rkonvex und differenzierbar (f¨uri ∈[m]).

I hi :Rⁿ→Raffin (f¨uri ∈[p]).

Menge der zul¨assigen L¨osungen:

X ={x∈X₀|g_i(x)≤0 f¨ur alle i ∈[m],h_i(x) = 0 f¨ur alle i ∈[p]}

MitG_i :=g_i⁻¹(R⁻)⊆Rⁿ und H_i :=h⁻¹_i ({0})⊆Rⁿ: X =X₀∩T

i∈[m]G_i ∩T

i∈[p]H_i

Der Normalenkegel f¨ ur regul¨ are Tripel

Lemma 3.11

Falls(X₀,(g_i)_i∈[m],(h_i)_i∈[p])regul¨ar ist:

Nx^?(X) = Nx^?(X0) +P

i∈[m]Nx^?(Gi) +P

i∈[p]Nx^?(Hi)

(X₀,(g_i)_i∈[m],(h_i)_i∈[p])regul¨ar, falls:

1. Die Menge X₀ ist ein Polyeder und die Funktioneng₁, . . . ,g_m sind affin oder

2. Die Menge X∩int(X₀)ist nicht leer, und die Funktionen g1, . . . ,gm sind affin oder

3. Es gibt ein x^(s)∈X mitx^(s)∈int(X0) fallsp 6= 0, f¨ur das g_i(x^(s))<0 f¨ur alle i ∈[m] gilt (Slater-Bedingung).

Eine differenzierbare konvexe Nebenbedingung

Satz 3.12

Istg :Rⁿ→Rdifferenzierbar und konvex und gibt es ein x^(s) ∈Rⁿ mitg(x^(s))<0, so ist f¨ur alle x^?∈Rⁿ mit g(x^?)≤0

N_x^?(g⁻¹(R−)) =

(cone{grad_x?g} falls g(x^?) = 0 {On} falls g(x^?)<0 .

-2 -1

0 1

2-2 -1 0 1 2

0 1 2 3 4

-2 -1

0 1

2

Karush-Kuhn-Tucker (differenzierbar, konvex) . . .

Voraussetzungen:

I f,g1, . . . ,gm:Rⁿ→R konvex und differenzierbar

I h1, . . . ,hp:Rⁿ→Raffin

I X₀ ⊆Rⁿ konvex

I (X₀,(g_i)_i∈[m],(h_i)_i∈[p]) regul¨ares Tripel

I X ⊆Rⁿ sei die Menge aller x∈X0 mit

I gi(x)≤0 f¨ur allei ∈[m]und

I h_i(x) = 0 f¨ur allei∈[p].

. . . Karush-Kuhn-Tucker (differenzierbar, konvex)

Satz 3.13

Ein Punktx^? ∈X ist genau dann Optimall¨osung von min{f(x)|x ∈X},

wenn es Multipliziererλ₁, . . . λ_m ∈R+ und µ₁, . . . , µ_p∈Rmit

grad_x?f +

m

X

i=1

λ_igrad_x?g_i +

p

X

i=1

µ_igrad_x?h_i ∈ −N_x^?(X₀) (1)

und

λ_i = 0 f¨ur alle i ∈[m]mit g_i(x^?)<0 (2) gibt.

KKT f¨ ur LP (1. Variante)

Satz 3.14 (Satz vom komplement¨aren Schlupf I)

SeienA∈R^p×n,b ∈R^p und c ∈Rⁿ. Ein Punktx^? ∈Rⁿ₊ mit Ax^? =b ist genau dann Optimall¨osung von

min{hc,xi |Ax =b,x ∈Rⁿ+}, wenn esµ∈R^p gibt mitµ^TA≤c^T und

µ^TA_?,j =c_j f¨ur alle j ∈[n]mit x_j^?>0.

KKT f¨ ur LP (2. Variante)

Satz 3.15 (Satz vom komplement¨aren Schlupf II)

SeienA∈R^m×n,b ∈R^m undc ∈Rⁿ. Ein Punkt x^?∈Rⁿ mit Ax^? ≤b ist genau dann Optimall¨osung von

max{hc,xi |Ax ≤b,x ∈Rⁿ}, wenn es einen Vektorλ∈R^m+ gibt mitλ^TA=c^T und

λ_i = 0 f¨ur alle i ∈[m] mithA_i,?,x^?i<b_i.

KKT f¨ ur SDP

Satz 3.16

SeienA⁽¹⁾, . . . ,A^(p)∈S^k,b ∈R^k und C ∈R^k×k, und gebe es eine positiv definite symmetrische MatrixX^(s)∈S^k mit

hA⁽ⁱ⁾,X^(s)i=b_i f¨ur alle i ∈[p].

Eine MatrixX^? ∈S^k₊ mithA⁽ⁱ⁾,X^?i=bi f¨ur alle i ∈[p]ist genau dann Optimall¨osung von

min{hC,Xi | hA⁽ⁱ⁾,Xi=bi f¨ur alle i ∈[p],X ∈S^k+}, wenn es einen Vektorµ∈R^p gibt mit

Y :=C −

p

X

i=1

µiA⁽ⁱ⁾∈S^k+ und hX^?,Yi= 0.

Konvexe nicht-differenzierbare Probleme

I Sind f,g⁽¹⁾, . . . ,g^(m):Rⁿ→Rzwar konvex, aber (vielleicht) nicht differenzierbar, so gilt ein mit Hilfe von Subgradienten formulierbares Analogon von Satz 3.13.

I Z.B.: [Ruszczy´nski, Thm. 3.34]

I y ∈Rⁿ Subgradientvonf inx^? ∈Rⁿ(d.h. y ∈SGRADx^?(f)):

f(x) ≥ f(x^?) +hy,x−x^?i f¨ur allex ∈Rⁿ

Karush-Kuhn-Tucker (konvex) . . .

Voraussetzungen:

I f :Rⁿ→R∪ {∞}konvex

I g₁, . . . ,g_m :Rⁿ→Rkonvex

I h₁, . . . ,h_p:Rⁿ→Raffin

I X0 ⊆Rⁿ konvex

I (X0,(gi)i∈[m],(hi)i∈[p]) regul¨ares Tripel

I X ⊆Rⁿ sei die Menge aller x∈X₀ mit

I gi(x)≤0 f¨ur allei ∈[m]und

I hi(x) = 0 f¨ur allei∈[p].

I f stetig in wenigstens einem Punkt von X

. . . Karush-Kuhn-Tucker (konvex)

Satz 3.17

Ein Punktx^? ∈X ist genau dann Optimall¨osung von min{f(x)|x ∈X},

wenn es Multipliziererλ₁, . . . λ_m ∈R+ und µ₁, . . . , µ_p∈Rmit

SGRADx^?(f) +

m

X

i=1

λiSGRADx^?(gi) +

p

X

i=1

µigrad_x^?hi

∩(−N_x^?(X₀))6=∅

und

λ_i = 0 f¨ur alle i ∈[m]mit g_i(x^?)<0 gibt.

Differenzierbare nicht-konvexe Probleme

I Sind f,g⁽¹⁾, . . . ,g^(m),h⁽¹⁾, . . . ,h^(p):Rⁿ→Rzwar stetig differenzierbar, aber (vielleicht) nicht konvex, so sind (unter geeigneten Regularit¨atsbedingungen) die KKT-Bedingungen in Satz 3.13notwendig f¨ur das Vorliegen eines lokalen

Minimums.

I Z.B.: [Ruszczy´nski, Thm. 3.25]

I Herleitung: Tangentialkegelstatt Radialkegel