i
ie g
Eif

Einführung in die Optimierung

Skript zur Vorlesung

von

PD Dr. habil. Ralf Borndörfer

Prof. Dr. Mirjam Dür

Prof. Dr. Alexander Martin

Prof. Dr. Stefan Ulbrih

Wintersemester 2010/2011

TU Darmstadt

Überarbeitete Version vom 18.Oktober2010

Das vorliegendeSkript fasstden Stoder VorlesungOptimierung I(d.h. der

Einführung in dieOptimierung) des Wintersemesters2010/2011 zusammen.

Teiledes Skripts (Kapitel3 bis 5)gehen auf die Vorlesungen Diskrete Opti-

mierung I und II von Prof. Dr. Alexander Martin zurük, die er an der TU

Darmstadtinden Jahren2000 bis2003 hielt,sowie aufdieLineare Optimie-

rungvonProf.MartinGrötshel,dieerimWintersemester1984/1985ander

Universität Augsburghielt.

Kapitel 6 ist dem Buh von Grötshel, Lovasz, und Shrijver [GLS88℄ ent-

nommen bzw. beruht teilweise auf einemSkript von Prof. M. Grötshel zur

VorlesungLineare Optimierung vom Wintersemester 2003/2004.

Die Kapitel 7 und 8 orientieren sih an den Bühern von R. Horst [Ho79℄,

C.GeigerundC.Kanzow[GK99,GK00℄,J.NoedalundS.J.Wright[NW99℄

und anVorlesungen zur Optimierung,die S.Ulbrih inden Jahren 2000 bis

2004 an der TU Münhen gehalten hat.

Besonderer Dank beider Verfassungdes Skripts gilt Thorsten Materne, der

groÿe Teiledavongeshrieben hat, sowieMarkus Möller, derdas Skript Kor-

rekturgelesenhat.DennohistdasSkriptnohnihtvollständigüberarbeitet

und esist siherlihniht frei von Fehlern.Für Hinweise auf solhe sind wir

immer dankbar.

Darmstadt, imWintersemester 2010

PD Dr.habil. Ralf Borndörfer

Prof. Dr. MirjamDür

Prof. Dr. Alexander Martin

Prof. Dr. Stefan Ulbrih

1 Einleitung 7

2 Konvexe Mengen und Funktionen 15

2.1 Konvexe Mengen . . . 15

2.2 Extrempunkte und Extremrihtungen . . . 19

2.3 Trennungssätze . . . 22

2.4 Stützeigenshaften . . . 27

2.5 Konvexe Funktionen . . . 28

2.6 Dierenzierbare konvexe Funktionen . . . 31

2.7 Optimalitätsresultatefür konvexe Optimierungsprobleme . . . 33

3 Polytope und Polyeder 37 3.1 Seitenähen vonPolyedern . . . 40

3.2 Eken, Faetten, Redundanz . . . 44

3.3 Dimensionsformel und Darstellung von Seitenähen . . . 48

4 Grundlagen der Linearen Optimierung 53 4.1 Duales Problemund shwaher Dualitätssatz . . . 54

4.2 Das Farkas-Lemma . . . 62

4.3 Optimalitätsbedingungenund der starke Dualitätssatzder Linearen Optimierung 65 5 Der Simplex-Algorithmus 77 5.1 Basen, Basislösungen und Degeneriertheit . . . 77

5.2 Die Grundversiondes Simplex-Verfahrens. . . 81

5.3 Phase I des Simplex-Algorithmus . . . 92

5.4 Implementierung des Simplex-Verfahrens . . . 96

5.5 Varianten des Simplex-Algorithmus . . . 101

5.5.1 Der duale Simplex-Algorithmus . . . 101

5.5.2 Obere und untere Shranken . . . 108

5.6 Sensitivitätsanalyse . . . 117

6 Die Ellipsoidmethode und Polynomialität für rationale LPs123 6.1 PolynomialeAlgorithmen. . . 123

6.2 Reduktion vonLPs auf Zulässigkeitsprobleme . . . 127

6.3 Die Ellipsoidmethode . . . 134

6.4 Laufzeit der Ellipsoidmethode . . . 143

6.5 Separieren und Optimieren . . . 146

7 Optimalitätsbedingungen für nihtlineare Probleme 151 7.1 Optimalitätsbedingungen. . . 152

7.1.1 Tangentialkegel und Linearisierungskegel . . . 152

7.1.2 Karush-Kuhn-Tuker-Bedingungen . . . 155

8 Quadratishe Probleme 159 8.1 Probleme mitGleihheitsrestriktionen. . . 159

8.2 Strategie der aktiven Menge für Ungleihungen. . . 162

Literaturverzeihnis i

Index ii

Einleitung

Optimierung beshäftigt sih damit,Minima oder Maximaeiner Funktion

f

über einer Menge

X

eine stetige Funktion über einer kompakten Menge ihr Minimum und ihr

MaximuminPunkten

x min

x max

Existenzsatz. Er sagt nihts darüber aus, wie man diese Punkte

x _min

x max

Die Funktion, deren Minimum oder Maximum gefunden werden soll, wird

Zielfunktiongenannt,dieMenge

X

x ∈ X

heiÿen zulässige Punkte oder zulässige Lösungen. Die zulässige Menge kann

der ganze Raum

R ⁿ

des Raumessein, die durh sogenannte Nebenbedingungen beshrieben wird.

In diesem Skript werden zwei vershiedene Shreibweisen für ein Minimie-

rungsproblem verwendet:

min { f (x) : x ∈ X } ,

min f (x)

s.t.

x ∈ X .

Beidesbedeutet dasselbe:Wirsuhen dasMinimumder Funktion

f

Menge

X

bedeutet wie unter den Nebenbedingungen.

Oft ist diezulässige Menge durh Gleihungen und Ungleihungen beshrie-

ben, also

X = { x ∈ R ⁿ : h(x) = 0, g(x) ≤ 0 }

mit Funktionen

h : R ⁿ → R ^k

g : R ⁿ → R ^m

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 0

2 4 6 8 10 12 14 16 18

x 1 x 2

f

Abbildung1.1: Funktion

f (x) = x ³ − 7.5x ² + 18x − 10.5

[1, 5]

Die Menge der Punkte aus

X

bezeihnen wir mit

Argmin(f, X )

α = min { f (x) : x ∈ X } ⇐⇒ Argmin(f, X ) = { x ∈ X : f (x) = α } .

Beispiel 1.1 (Optimierungsproblem) Wir suhen das Minimum der

Funktion

f (x) = x ³ − 7.5x ² + 18x − 10.5

folgende zwei Nebenbedingungen erfüllen:

x − 1 ≥ 0

x ² − 5x ≤ 0

DieZielfunktionin diesemBeispiel ist alsodieFunktion

f (x) = x ³ − 7.5x ² + 18x − 10.5

X = { x ∈ R : x − 1 ≥ 0, x ² − 5x ≤ 0 } = [1, 5]

min { x ³ − 7.5x ² + 18x − 10.5 : x − 1 ≥ 0, x ² − 5x ≤ 0 } ,

oder auh

min x ³ − 7.5x ² + 18x − 10.5

s.t.

x − 1 ≥ 0 x ² − 5x ≤ 0.

Siehe Abbildung 1.1 für eine Skizze. Das Minimum wird im Punkt

x = 1

angenommen, d.h.

Argmin(f, X ) = { 1 }

f(1) = 1

In der Graphik isteinPhänomen gut zu sehen, das sehr oft beobahtet wer-

den kann: Es gibt einsogenanntes lokales Minimum im Punkt

x = 3

Beobahtung führt uns zur folgenden Denition:

Denition 1.2 (Minimalpunkt) Ein Punkt

x ¯ ∈ X

punkt der Funktion

f

X

U (¯ x)

von

x ¯

f(¯ x) ≤ f (x) ∀ x ∈ U (¯ x) ∩ X .

Der Punkt

x ¯ ∈ X

f

ge

X

f (¯ x) ≤ f (x) ∀ x ∈ X .

Lokale und globale Maximalpunkte sindanalog deniert.

Eine einfaheBeobahtungistdie,dass jedesMaximierungsproblemauhals

Minimierungsproblem geshrieben werden kann. Dabei verwendet man die

Relation

max { f(x) : x ∈ X } = − min {− f (x) : x ∈ X } .

Statt also ein Maximierungsproblem

max { f(x) : x ∈ X }

man das Minimierungsproblem

min {− f(x) : x ∈ X }

korrekten Wert des Maximums zu erhalten, muss die Lösung des Minimie-

rungsproblems nohmit

( − 1)

Beispiel 1.3 (Fortsetzung von Beispiel 1.1) Suhen wir nun das Ma-

ximum der Funktion

f(x) = x ³ − 7.5x ² + 18x − 10.5

X = { x ∈ R : x − 1 ≥ 0, x ² − 5x ≤ 0 } = [1, 5]

sieht, wird das Maximumim Punkt

x = 5

f (5) = 17

Umweg des Minimierungsproblems:

max { x ³ − 7.5x ² + 18x − 10.5x : x − 1 ≥ 0, x ² − 5x ≤ 0 } =

− min {− (x ³ − 7.5x ² + 18x − 10.5) : x − 1 ≥ 0, x ² − 5x ≤ 0 } ,

Graphish ist dies in Abbildung 1.3 dargestellt. Das Minimum von

− f

[1, 5]

x = 5

f (5) = − 17

( − 17)

( − 1)

Je nahdem, welhe Form die Zielfunktion und die zulässige Menge haben,

isteinOptimierungsproblemvershiedenshwerzu lösen.DerfolgendeÜber-

blik soll eine grobeEinteilung von Optimierungsproblemenbieten.

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5

−18

−16

−14

−12

−10

−8

−6

−4

−2 0

x ₁ x 2

− f

Abbildung 1.2: Funktion

− f (x) = − (x ³ − 7.5x ² + 18x − 10.5)

[1, 5]

Lineare Optimierungsprobleme

VoneinemlinearenOptimierungsproblem,auhlinearesProgrammoderlineares

Problem (LP) genannt, spriht man, wenn sowohl die Zielfunktion als auh

die Nebenbedingungen lineare Funktionen vom

R ⁿ

R

sihdenken kann, istdiesdieeinfahsteKlasse vonOptimierungsproblemen.

Es gibt eine Reihe von Algorithmen zur Lösung von LPs, am bekanntesten

istwohl der Simplex-Algorithmus.

Einlineares Optimierungsproblemin Standardform ist von der Gestalt:

min c ^T x

Ax = b, x ≥ 0

mit

c ∈ R ⁿ

b ∈ R ^m

A ∈ R ^m,n

x ∈ R ⁿ

Beispiel 1.4 (Transportproblem) EinChemieunternehmenhat

m

ken

F 1 , . . . , m

r

V 1 , . . . , V r

F i

a i

a i

der Fabrik

F _i

V _j

b j

von Fabrik

F i

V j

c ij

Problemstellung: Welhe Menge des Produkts muss man von jeder Fabrik

zu jeder Verkaufsstelle transportieren, so dass die Kapazitäten der Fabriken

eingehalten, der Bedarf aller Verkaufsstellen gedekt und die Kosten hierbei

minimal sind?

Modellierung als Optimierungsproblem: Sei

x ij ≥ 0

1 ≤ i ≤ m

1 ≤ j ≤ r

F i

V j

min X m

i=1

X r

j=1

c ij x ij

s.t.

X r

j=1

x ij ≤ a i , i = 1, . . . , m,

X m

i=1

x ij ≥ b j , j = 1, . . . , r,

x ij ≥ 0, i = 1, . . . , m, j = 1, . . . , r.

OensihtlihhandeltessihumeinLinearesOptimierungsproblem.Inprak-

tishen Anwendungen kommen oft noh Produktions- und Lagerhaltungsko-

sten dazu.

Diskrete Optimierungsprobleme

Ein diskretes Optimierungsproblem ist sehr oft ein lineares Programm, bei

dem diezulässigeMenge zusätzlih durh so genannteGanzzahligkeitsbedin-

gungen eingeshränkt ist,d.h.Bedingungen der Art

x _i ∈ Z

x _i ∈ { 0, 1 }

solhe Optimierungsprobleme heissengeminsht-ganzzahligeProgramme oder

gemisht-gannzahlige Probleme (english Integer Program oder kurz IP) Das

klingt im ersten Moment leihter, shlieÿlih hat ein solhes Problem ja nur

endlih viele zulässige Punkte. Man könnte alsoeinfah alle durhprobieren

und würde so das Optimum ganz einfah nden. Der Grund, weshalb das

niht möglih ist, liegt am meistens exponentiellen Wahstum der Anzahl

der zulässigen Punkte, sobald die Dimension des Problems groÿ wird. Man

brauht daher spezielleLösungstehniken für diskrete Probleme.

Kontinuierlihe Optimierungsprobleme

sind Optimierungsprobleme, bei denen keine Ganzzahligkeitsbedingungen

auftreten.

Konvexe Optimierungsprobleme

Hiertauht zum ersten Malder Begrider Konvexität auf,der inKapitel 2

ausführlihbehandelt wird. Die wihtige Eigenshaft konvexer Optimierungs-

probleme ist, dass jedes lokale Optimum bereits das globale Optimum ist.

Es ist also möglih, Algorithmen zu entwikeln, die auf lokaler Information

basieren, wie zum Beispiel den Gradienten von Zielfunktion und Nebenbe-

dingungen.

Globale Optimierungsprobleme

BeiglobalenOptimierungsproblementretenlokaleMinimaauf,dienihtgleih

dem globalen Minimum sind. Hier genügt es niht mehr, lokale Informatio-

nen, wie Gradienten, zu betrahten. Es müssen spezielle globale Optimie-

rungstehniken entwikelt werden.

Quadratishes Optimierungsprobleme

EinquadratishesOptimierungsproblemisteinlinearsProgrammmitquadrati-

sherZielfunktion.Einquadratishes OptimierungsprobleminStandardform

istvonder Gestalt:

min x ^T Qx

Ax = b, x ≥ 0

mit

Q ∈ R ^n,n

b ∈ R ^m

A ∈ R ^m,n

x ∈ R ⁿ

dieZielfunktion genau dann konvex ist, wenn alle Eigenwerte der Matrix

Q

niht-negativ sind.Eine solhe Matrix heisst positiv semidenit.

Beispiel 1.5 (Portfoliooptimierung) Ein Investor möhte einen Betrag

B > 0

n

ρ

r _i

i

Aktie nah einem Jahr (dies ist eine Zufallsvariable) und

x ∈ R ⁿ

X n

i=1

x i = 1, x ≥ 0,

die Anteile der Aktien am Portfolio (der Anleger investiert

x i B

i

dann ist die Rendite des Portfolios

R(x) = r ^T x, r = (r ₁ , . . . , r _n ) ^T .

Wir nehmenan,dass derZufallsvektor

r = (r 1 , . . . , r n ) ^T

µ ∈ R ⁿ

Σ ∈ R ^n,n

Rendite des Portfolios

E(R(x)) = µ ^T x

und seine Varianz

V (R(x)) = x ^T Σx.

Suhen wir nun das Portfolio mit erwarteter Rendite

≥ ρ

Varianz hat, so führt dies auf das Optimierungsproblem

min x ^T Σx

X n

i=1

x i = 1, x ≥ 0, µ ^T x ≥ ρ.

Dies ist ein konvexes quadratishes Optimierungsproblem. Suhen wir alter-

nativ das Portfolio mit Varianz

≤ ν

hat, so erhalten wir das Optimierungsproblem

max µ ^T x

X n

i=1

x i = 1, x ≥ 0, x ^T Σx ≤ ν.

Dies ist ein konvexes Optimierungsproblem mit linearen und quadratishen

Nebenbedingungen.

***

Diese Vorlesung soll Grundlagen vermitteln, die sowohl für die diskrete als

auhfürdiekontinuierlihe Optimierunggebrauhtwerden.Auf dieserBasis

ist später eine Spezialisierungin dieeine oder andereRihtung möglih.

Konvexe Mengen und Funktionen

Ein grundlegender Begri für die gesamte Optimierung ist der Begri der

Konvexität. Wie bereits angedeutet, ist das Vorhandensein oder Nihtvor-

handensein von Konvexität mitentsheidend dafür, wie shwierig ein Opti-

mierungsproblem ist.Der Begri konvex wird sowohl auf Mengenals auh

auf Funktionen angewendet. Wirbeginnen mitkonvexen Mengen.

2.1 Konvexe Mengen

Denition 2.1 Eine Menge

C ⊂ R ⁿ

aus

C

C

d.h. wenn aus

x 1 , x 2 ∈ C

λ ∈ [0, 1]

λx 1 + (1 − λ)x 2 ∈ C .

Beispiel 2.2 FolgendeMengen sind konvex (Übung):

a) die leere Menge; die Menge, die nur aus einem einzigen Element

x ∈ R ⁿ

besteht; der ganze Raum

R ⁿ

b) jede Hyperebene

H

H = { x ∈ R ⁿ : a ^T x = α } ,

wobei

a ∈ R ⁿ , a 6 = 0

α ∈ R

a

H

) jeder von einer Hyperebene

H

H ^a = { x ∈ R ⁿ : a ^T x ≥ α } ,

und jeder dazu gehörende oene Halbraum

H ^o = { x ∈ R ⁿ : a ^T x > α } ;

d) die Lösungsmenge eines linearen Gleihungssystems

Ax = b

A ∈ R ^{m × n}

b ∈ R ^m

e) jede abgeshlossene (und auh jede oene) Kugel um einen gegebenen

Punkt

x 0 ∈ R ⁿ

α > 0

B α (x 0 ) = { x ∈ R ⁿ : k x − x 0 k ≤ α } .

Den Punkt

z = λx 1 + (1 − λ)x 2

λ ∈ [0, 1]

x 1

x 2

Punktepaarebeshränken, man kann allgemeinKonvexkombinationen von

p

Punkten betrahten:

Denition 2.3 Gegeben seien Punkte

x 1 , . . . , x p ∈ R ⁿ

λ ₁ , . . . , λ _p ∈ R ₊

P p

i=1 λ _i = 1

z = λ 1 x 1 + . . . + λ p x p

eineKonvexkombination der Punkte

x 1 , . . . , x p

0 < λ i < 1

alle

λ i

z

x 1 , . . . , x p

Satz 2.4 EineMenge

C ⊂ R ⁿ

Zahl

p ∈ N

p

x ₁ , . . . , x _p

C

in

C

Beweis. (

= ⇒

C

p

Für

p = 1

für

p > 1

x 1 , . . . , x p+1 ∈ C

λ 1 , . . . , λ p+1 ∈ R +

P p+1

i=1 λ i = 1

x = λ 1 x 1 + . . . + λ p x p + λ p+1 x p+1 .

OhneBeshränkungderAllgemeinheitkönnenwir

λ _p+1 6 = 1

wäre bereits

x = x p+1 ∈ C

z = λ ₁

1 − λ p+1

x ₁ + . . . + λ _p 1 − λ p+1

x _p

können wir

x

x = (1 − λ p+1 )z + λ p+1 x p+1 .

Es gilt

λ 1

1 − λ p+1 ≥ 0, . . . , λ p

1 − λ p+1 ≥ 0

X p

i=1

λ i

1 − λ p+1

= 1,

daher ist, laut Induktionsannahme,

z ∈ C

C

x ∈ C

(

⇐ =

p

C

in

C

p = 2

C

Menge nah Denition 2.1.

2

Eine einfahe und leiht zu beweisende geometrishe Eigenshaft konvexer

Mengen beshreibt der folgende Satz.

Satz 2.5 Der Durhshnitt einer beliebigen Familie konvexer Mengen ist

wieder eine konvexe Menge.

Beweis. Übung.

2

Esistleihtzu sehen,dassdieVereinigungkonvexerMengenimAllgemeinen

nihtkonvex ist.

DieSummekonvexer MengenundderenskalareVielfahesindkonvexeMen-

gen:

Satz 2.6 Seien

C

D

R ⁿ

α ∈ R

die Mengen

C + D := { x + y : x ∈ C , y ∈ D}

sowie

α C := { αx : x ∈ C}

konvex.

Beweis. Übung.

2

Betrahtet maneinenihtkonvexeMenge

M ⊂ R ⁿ

xizieren, indemman konvexe Obermengen von

M

shnitt alldieser Mengen istdiekleinste konvexe Menge, die

M

Denition 2.7 Der Durhshnitt aller konvexen Mengen, die

M

heiÿt diekonvexe Hülle von

M

M

Der folgendeSatz zeigt, dass diekonvexe Hülleeiner Menge

M

wie dieMenge aller Konvexkombinationen von Punkten aus

M

Satz 2.8 Die konvexe Hülle einer Menge

M

kombinationen von Punkten aus

M

Beweis. Übung.

2

Jeder Punkt inonv

M

M

Der folgende Satz sagt, dass man für diese Darstellung höhstens

(n + 1)

Punkte benötigt,wobei

n

Satz 2.9 (Satz von Carathéodory) Die konvexe Hülle einer Menge

M ⊂ R ⁿ

(n + 1)

M

Beweis. Sei

x ¯ ∈

M

x 1 , . . . , x p ∈ M

¯ x =

X p

i=1

λ _i x _i ,

X p

i=1

λ _i = 1, λ _i ≥ 0 ∀ i.

Wenn bereits

p ≤ n + 1

p > n + 1

dannzeigen wir, dass man für dieDarstellungvon

x

p

verzihten kann:

Betrahten wir dazudie

(p − 1)

y i = x i − x p (i = 1, . . . , p − 1)

p > n + 1

y i

α 1 , . . . , α p − 1

dieniht allevershwinden, so dass

p − 1

X

i=1

α i y i = 0.

Anders gesagt,

p − 1

X

i=1

α i (x i − x p ) = 0

oder

p − 1

X

i=1

α i x i + −

p − 1

X

i=1

α i

!

x p = 0.

Mit der Denition

α p = − P p − 1 i=1 α i

haben wir also

X p

i=1

α i x i = 0,

X p

i=1

α i = 0.

Wegen

(α 1 , . . . , α p ) 6 = (0, . . . , 0)

α i > 0

Sei nun

i ₀

λ i 0

α i 0

= min λ i

α i

: α i > 0

.

Dann gilt

λ i − λ i 0

α i 0

α i ≥ 0 ∀ i,

X p

i=1

λ i − λ i 0

α i 0

α i

= 1.

Somit ist

¯ x =

X p

i=1

λ i x i = X p

i=1

λ i − λ i 0

α i 0

α i

x i =

X p

i = 1 i 6= i 0

λ i − λ i 0

α i 0

α i

x i

eine Darstellung von

x ¯

p

Punkten aus

M

2

2.2 Extrempunkte und Extremrihtungen

Denition 2.10 Sei

C 6 = ∅

R ⁿ

x

Extrempunkt von

C

C

x = λx 1 + (1 − λ)x 2

x 1 , x 2 ∈ C

λ ∈ (0, 1)

x = x 1 = x 2

C

nur endlih viele Extrempunkte, so nenntman diese auh Eken.

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 0

1 2 3 4 5 6

x 1 x 2

C

Abbildung2.1: Konvexe Menge zu Beispiel2.12

Beispiel 2.11 BetrahtediekonvexeMenge

C = { (x, y ) ∈ R ² : x ² +y ² ≤ 1 }

Die Menge ihrer Extrempunkteist

{ (x, y) ∈ R ² : x ² + y ² = 1 }

Beispiel 2.12 Betrahte die konvexe Menge aus Abbildung 2.1. Ihre fünf

Extrempunkte sind dieEken

(0, 2)

(1, 0)

(5, 1)

(4, 4)

(0.5, 6)

Konvexe Mengen, die nur endlih viele Extrempunkte besitzen, nennt man

Polyeder bzw. Polytope. Sie spielen eine wihtige Rolle in der linearen Opti-

mierungundwerdendaherineinemeigenenKapitel(Kapitel3)ausführliher

behandelt.

IndenobigenbeidenBeispielenkannmanzeigen,dassjederPunktderMenge

als Konvexkombination der Extrempunkte darstellbar ist. Tatsählih gilt

folgenderSatz, den wir ohne Beweisanführen:

Satz 2.13 Sei

C 6 = ∅

R ⁿ

C

konvexe Hülle ihrer Extrempunkte.

Beweis. Siehe, z.B. Rokafellar[Ro70℄.

2

DieserSatz giltjedohnurfürkompaktekonvexeMengen.Bei unbeshränk-

ten konvexen MengengenügendieExtrempunktenihtmehrzurDarstellung

der gesamten Menge, wie man amfolgendenBeispiel sieht:

Beispiel 2.14 Betrahte die abgeshlossene konvexe Menge

C = { (x, y) ∈ R ² : y ≥ | x |}

tes.

Um auh unbeshränkte konvexe Mengen beshreiben zu können, benötigt

man den Begrider Extremrihtung.

Denition 2.15 Sei

C 6 = ∅

R ⁿ

Vektor

d ∈ R ⁿ

d 6 = 0

C

x ∈ C

x + αd ∈ C

α > 0

Zwei Rihtungen

d ₁ , d ₂

C

d ₁ 6 = βd ₂

β > 0

Eine Rihtung

d

C

d

als positiveLinearkombination vonzwei vershiedenenRihtungen;d.h. falls

d = β 1 d 1 + β 2 d 2

β 1 , β 2 > 0

d 1 = γd 2

γ > 0

Beispiel 2.16 (Fortsetzung von Beispiel 2.14.)

Betrahten wir nohmals die Menge

C = { (x, y) ∈ R ² : y ≥ | x |}

−4 −3 −2 −1 0 1 2 3 4

0 0.5 1 1.5 2 2.5 3 3.5 4

x ₁ x 2

C

Abbildung2.2: Konvexe Menge zu Beispiel 2.16

von

C

(0, 1) ^T

≤ 45 ^◦

einshlie´ÿen. Die Extremrihtungen sind genau die Vektoren

d 1 = ( − 1, 1) ^T

und

d ₂ = (1, 1) ^T

C

d 1

d 2

Mehr überExtrempunkte und Extremrihtungen gibt es imKapitel3.

2.3 Trennungssätze

Trennungssätze beshreiben den anshaulih einleuhtenden Sahverhalt,

dass es möglihist, zwishen zwei disjunkte konvexe Mengen

C ¹

C ²

Hyperebene zu legen,die diebeiden Mengen trennt, d.h. die den Raum so

inzweiHalbräumeteilt,dass

C 1

C 2

Manuntersheidetdabei zwishen Trennung und strikter Trennung:

Denition 2.17 Seien

M ¹

M ²

R ⁿ

ebene

H

M 1

M 2

M 1

M 2

H

Die Trennung heiÿt strikt, wenn das Entsprehende für die von

H

oenenHalbräume gilt.

Wir beweisen zunähst eine Proposition, die zum Beweis des strikten Tren-

nungssatzes (Satz 2.19) benötigt wird.

Proposition 2.18 Sei

C

R ⁿ

C

Beweis. Sei

B ^α

B α = { x ∈ R ⁿ : k x k ≤ α } ,

so, dass

C ∩ B α 6 = ∅

nimmt die stetige Funktion

k x k

C ∩ B ^α

¯

x ∈ C ∩ B α

0 ∈ C /

k x k > 0

x ∈ C

k x ¯ k > 0

Nunsei

x

C

C

λ ∈ [0, 1]

(λx + (1 − λ)¯ x) ∈ C

k λx + (1 − λ)¯ x k ² ≥ k x ¯ k ² ,

da

x ¯

0

(λx + (1 − λ)¯ x) ^T (λx + (1 − λ)¯ x) ≥ x ¯ ^T x ¯ ∀ λ ∈ [0, 1],

oder

λ ² (x − x) ¯ ^T (x − x) + 2λ¯ ¯ x ^T (x − x) ¯ ≥ 0 ∀ λ ∈ [0, 1].

Wir zeigen jetzt, dass

x ¯ ^T (x − x) ¯ ≥ 0

x ¯ ^T (x − x) = ¯

− ε < 0

λ ∈ (0, 1)

2ε > λ(x − x) ¯ ^T (x − x) ¯ > 0.

Dann würde folgen, dass

2λ¯ x ^T (x − x) ¯ < − λ ² (x − x) ¯ ^T (x − x), ¯

ein Widerspruh zu (2.1).Daher muss für jedes

x ∈ C

¯

x ^T (x − x) ¯ ≥ 0

sein, das heiÿt

¯

x ^T x ≥ x ¯ ^T x > ¯ 0 ∀ x ∈ C .

Sei

β = ¹ ₂ x ¯ ^T x ¯

H = { x ∈ R ⁿ : ¯ x ^T x = β }

strikt dieMenge

C

2

Mit Hilfe dieser Proposition können wir den eigentlihen Trennungssatz für

abgeshlossene Mengen beweisen.

Satz 2.19 (Strikter Trennungssatz) Seien

C ¹

C ²

nihtleere,abgeshlossene,konvexeMengenim

R ⁿ

C ²

existiert eine Hyperebene, die

C 1

C 2

Beweis. Da

C 2

C 1 − C 2

C 1

C 2

C 1 −C 2

enthalten. Nah Proposition 2.18 existiert alsoeine Hyperebene

H C ¹ −C ² = { x ∈ R ⁿ : ¯ x ^T x = α }

die den Ursprung strikt von

C ¹ − C ²

x ¯ ∈ C ¹ − C ²

dieDistanz von

C 1 − C 2

α = ¹ ₂ x ¯ ^T x ¯

Für jedes

x ∈ C 1 − C 2

¯

x ^T x > α > 0.

Für alle

u ∈ C ¹ , v ∈ C ²

x = u − v ∈ C ¹ − C ²

¯

x ^T (u − v ) > α > 0.

Daher

¯

x ^T u > x ¯ ^T v + α > x ¯ ^T v ∀ u ∈ C 1 , v ∈ C 2 .

Esfolgt, dass

u inf ∈C ¹ x ¯ ^T u ≥ sup

v ∈C ²

¯

x ^T v + α > sup

v ∈C ²

¯ x ^T v.

Esexistiert daher eine Zahl

β

u inf ∈C ¹ x ¯ ^T u > β > sup

v ∈C ²

¯ x ^T v.

Damittrennt die Hyperebene

{ x ∈ R ⁿ : ¯ x ^T x = β }

C ¹

C ²

2

Fürstrikte Trennbarkeit istdieVoraussetzung, dass eineder beidenMengen

kompakt ist, unverzihtbar, wie man an folgendemBeispielsieht:

Beispiel 2.20 Sei

C ¹ := { (x, y) ∈ R ² : y ≤ 0 }

C ² := { (x, y) ∈ R ² : y ≥ e ^x }

C ¹

C ²

H = { (x, y) ∈ R ² : y = 0 }

Indiesen beiden Sätzenwares wihtig,dass dievorkommenden Mengenab-

geshlossenwaren,deshalbwardiestrikteTrennungmöglih.Verzihtetman

auf dieAbgeshlossenheit der Mengen, so muss man auh auf die Striktheit

derTrennung verzihten. Diesbeshreiben diefolgendePropositionbzw.der

nähste Satz.

Proposition 2.21 Sei

C

R ⁿ

Ursprung niht enthält. Dann existiert eine Hyperebene, die

C

sprung trennt.

Beweis. Für jedes

x ∈ C

Y (x) = { y ∈ R ⁿ : y ^T y = 1, y ^T x ≥ 0 } .

Y (x)

x 1 , . . . , x k

aus

C

C

x

x = X k

i=1

α _i x _i

X k

i=1

α _i = 1, α _i ≥ 0

eine konvexe Teilmengevon

C

y ¯ 6 = 0

¯

y ^T x i > 0 ∀ i = 1, . . . , k.

O.B.d.A. nehmen wir

y ¯ ^T y ¯ = 1

y ¯

Y (x _i )

enthalten, und daher

\ k

i=1

Y (x i ) 6 = ∅ .

Die Mengen

Y (x)

Y = { y ∈ R ⁿ : y ^T y = 1 }

shnittseigenshaft 1

folgt daher:

\

x ∈C

Y (x) 6 = ∅ .

Wähle nun ein beliebiges

y ˆ ∈ T

x ∈C Y (x)

y ˆ ^T x ≥ 0

x ∈ C

Daher trennt dieHyperebene

{ x ∈ R ⁿ : ˆ y ^T x = 0 }

die Menge

C

Einanderer,elementarerBeweis:MitderMenge

C

C = C ∪ ∂ C

1

DieendliheDurhshnittseigenshaftisteintopologisherBegriundbesagtFolgen-

des:BetrahteeinekompakteMenge

Y

S

Y

S

S

Nahzulesenistdiesz.B.inH.Heuser:LehrbuhderAnalysis,Teil2([He03℄).

1.Fall:

0 ∈ C /

DannliefertProposition2.18eineHyperebene,die

C

0

erst reht

C

0

2.Fall:

0 ∈ C

0 ∈ ∂ C

0 ∈ C /

Wegen

0 ∈ ∂ C

(x k ) k ∈ N

x k ∈ C /

k

lim k →∞ x k = 0

Nah Satz 2.19 existieren Hyperebenen

H ^k = { x : a ^T _k x = α k }

C

x k

k a k k = 1

wählen. Esgiltalso

a ^T _k x > α k > a ^T _k x k ∀ x ∈ C .

Wegen

0 ∈ C

0 = a ^T _k 0 > α k > a ^T _k x k → 0

k → ∞ ,

wobeiwir

| a ^T _k x k | ≤ k a k kk x k k = k x k k → 0

k lim →∞ α k = 0.

Nun liegt

(a k )

{ y ∈ R ⁿ : k y k = 1 }

konvergente Teilfolge

(a _k ) _{k ∈ K} ⊂ (a _k )

k ∈ lim K →∞ a k = a, k a k = 1.

Grenzübergang

k ∈ K → ∞

a ^T _k x > α _k ∀ x ∈ C

liefertnun

a ^T x = lim

k ∈ K →∞ a ^T _k x ≥ lim

k →∞ α _k = 0 ∀ x ∈ C .

Damittrennt

H = { x : a ^T x = 0 }

C

0

C

0

2

WiederkönnenwirmitdieserPropositioneinenTrennungssatzfürzweiMen-

gen zeigen.

Satz 2.22 Seien

C ¹

C ²

R ⁿ

C 1

C 2

Beweis. Die Menge

C ¹ − C ²

y ˆ

x ∈ C 1 − C 2

y ˆ ^T x ≥ 0

Dies ist äquivalentdazu, dass aus

u ∈ C 1 , v ∈ C 2

y ˆ ^T (u − v) ≥ 0

existiert eine Zahl

β

u inf ∈C ¹ y ˆ ^T u ≥ β ≥ sup

v ∈C ²

ˆ y ^T v.

Die Hyperebene

{ x ∈ R ⁿ : ˆ y ^T x = β }

C 1

C 2

2

2.4 Stützeigenshaften

Bisher haben wir eine konvexe Menge durh eine innere Eigenshaft be-

shrieben,nämlihdurhKonvexkombinationenvonihrenElementen.Esgibt

eine zweite, äquivalente Beshreibung durh äuÿere Eigenshaften:

Denition 2.23 Sei

C 6 = ∅

R ⁿ

Hyperebene

H = { x ∈ R ⁿ : a ^T x = α }

C

C ∩ H 6 = ∅

C ⊆ H ⁺

C ⊆ H ⁻ ,

wobei

H ⁺ = { x ∈ R ⁿ : a ^T x ≥ α }

H ⁻ = { x ∈ R ⁿ : a ^T x ≤ α }

die beiden von

H

H ⁺

H ⁻

heiÿen dann Stützhalbraum von

C

C ⊆ H ⁺

− a

H

C ⊆ H ⁻

a

Satz 2.24 Sei

C 6 = ∅

a ∈ R ⁿ \{ 0 }

existiert eine Stützhyperebene von

C

a

Beweis. Da

C 6 = ∅

f : R ⁿ → R

f(y) = a ^T y

stetig ist, existiert

α = max y ∈C a ^T y

H = { x ∈ R ⁿ : a ^T x = α }

die gesuhte Stützhyperebene.

2

Satz 2.25 Jede nihtleere, abgeshlossene, konvexe Menge

C

R ⁿ

Durhshnitt ihrer Stützhalbräume.

Beweis. Bezeihnen wir mit

H ⁺

T H ⁺

Durhshnitt aller Stützhalbräume. Da

C ⊆ H ⁺

C ⊆ \ H ⁺ .

Angenommen,

C ( T

H ⁺

x ¯ ∈ T

H ⁺ \ C

Wegen Satz 2.19 existiert eine Hyperebene

G = { x : a ^T x = α }

C

{ x ¯ }

C ⊆ G ⁺ = { x : a ^T x ≥ α }

x ¯ 6∈ G ⁺

α ˜ = min x ∈C a ^T x

gilt

α ˜ ≥ α

H = { x : a ^T x = ˜ α }

C

C ⊆ H ⁺

(Parallelvershiebung der Hyperbene

G

H

x ¯ 6∈ G ⁺

gilt jedoh

a ^T x < α ¯ ≤ α ˜

x ¯ 6∈ H ⁺

x ¯ 6∈ T

H ⁺

Widerspruh zu

x ¯ ∈ T

H ⁺

Daher muss

T H ⁺ \ C = ∅

T

H ⁺ = C

2

2.5 Konvexe Funktionen

Denition 2.26 Sei

C ⊂ R ⁿ

f : C → R

wennfür alle

x 1 , x 2 ∈ C

λ ∈ [0, 1]

f

λx ₁ + (1 − λ)x ₂

≤ λf (x ₁ ) + (1 − λ)f (x ₂ ).

Sie heiÿt strikt konvex, wenn für

x 1 6 = x 2

λ ∈ (0, 1)

strikt ist. Die Funktion

f

− f

Bemerkung 2.27 Äquivalent dazu ist folgende Denition:

f : C → R

konvex, wenn für Punkte

x 1 , . . . , x p ∈ C

λ 1 , . . . , λ p ≥ 0

P p

i=1 λ i = 1

gilt:

f X p

i=1

λ i x i

!

≤ X p

i=1

λ i f(x i ).

Übung: Zeigen Sie, dass diese beiden Denitionenäquivalent sind.

Anshaulih bedeutet Konvexität einer Funktion, dass für je zwei Punkte

auf dem Funktionsgraphen die Verbindungsstreke nirgends unterhalb der

Funktion liegt (nirgends oberhalb bei einer konkaven Funktion).

Lineare Funktionen

c ^T x + γ

−1.5 −1 −0.5 0 0.5 1 1.5 2

−0.5 0 0.5 1 1.5 2 2.5 3 3.5 4

x ₁ x 2

−1 −0.5 0 0.5 1 1.5 2 2.5 3 3.5 4

−0.5 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

x ₁ x 2

Abbildung2.3: Links:strikt konvexe Funktion; Rehts:konvexe Funktion.

−1 0 1 2 3 4 5

−0.5 0 0.5 1 1.5 2 2.5 3 3.5 4

x 1 x 2

−5 0 5 10

−4

−2 0 2 4 6 8

x 1 x 2

Abbildung2.4: Links:konkaveFunktion;Rehts:weder konvex nohkonkav.

Es ist leiht,sih folgende Eigenshaften zu überlegen:

Satz 2.28 Sei

C ⊂ R ⁿ

f 1 , f 2 : C → R

sei

α > 0

αf 1

f 1 + f 2

max[f 1 , f 2 ]

C

Beweis. Übung.

2

Dierenz, Produkt undMinimum konvexer FunktionensindimAllgemeinen

niht konvex.

Zujeder Funktion lassen sih zwei sieharakterisierende Mengen denieren.

Ist dieFunktion konvex, sind diese Mengen ihrerseits konvex:

Denition 2.29 Sei

C ⊂ R ⁿ

f : C → R

Menge

E (f ) = { (x, α) ∈ C × R : f (x) ≤ α }

der Epigraph von

f

β ∈ R

L (f, β ) = { x ∈ C : f (x) ≤ β }

(untere) Niveaumenge von

f

β

Satz 2.30 Sei

f : R ⁿ → R

(a)

f

⇐⇒ E (f )

(b)

f

= ⇒ L (f, β )

β ∈ R

Die Umkehrung gilt niht.

Beweis. Übung.

2

Funktionen,derenNiveaumengen

L (f, β)

β

sikonvex. Jede konvexe Funktion istalsoquasikonvex, aberniht umgekehrt.

Konvexe Funktionensind (bis auf Randpunkte) stetig. Siesind jedohniht

notwendigerweisedierenzierbar,wiemanleihtamBeispiel

f(x) = | x |

Satz 2.31 Sei

C 6 = ∅

R ⁿ

f : C → R

Dann ist

f

C

Beweis. siehe Rokafellar[Ro70℄.

2

2.6 Dierenzierbare konvexe Funktionen

Hier beshäftigen wir uns mitzwei harakteristishen Eigenshaften für dif-

ferenzierbare konvexe Funktionen.

Satz 2.32 Sei

f : R ⁿ → R

f ∈ C ¹

(a)

f

C ⊆ R ⁿ

x 1 , x 2 ∈ C

f (x 2 ) ≥ f (x 1 ) + (x 2 − x 1 ) ^T ∇ f (x 1 ).

(b)

f

⇐⇒

x 1 6 = x 2 ∈ C

Beweis. (a,

⇐ =

x 1 , x 2 ∈ C

beliebige Punkte

x, y ∈ C

λ ∈ (0, 1)

C

dann auh

z = λx + (1 − λ)y

in

C

x, z ∈ C

f(x) ≥ f(z) + (x − z) ^T ∇ f(z),

und aus demselben Grund gilt

f(y) ≥ f(z) + (y − z) ^T ∇ f (z).

Multiplizieren wir nun (2.4) mit

λ

(1 − λ)

beiden Ungleihungen, soerhalten wir

λf (x) + (1 − λ)f (y) ≥ f(z) + [λ(x − z) + (1 − λ)(y − z)] ^T ∇ f(z).

Wegen (2.3)vershwindetdieekige Klammer,und dieKonvexität von

f

gezeigt.

(a,

= ⇒

f

x, y ∈ C

h : R → R

h(λ) = (1 − λ)f (x) + λf (y) − f

(1 − λ)x + λy .

Wegen der Konvexität von

f

x 6 = y

0 < λ < 1

h(λ) ≥ 0

Ausserdem ist

h(0) = 0

h

λ = 0

dh dλ

λ=0

= − f(x) + f(y) − (y − x) ^T ∇ f(x) ≥ 0,

und damit giltauh (2.2).

(b): analog,nurjeweils

≥

>

2

Ist eine Funktion zwei mal stetig dierenzierbar, so lässt sih mit Hilfe der

HesseMatrix feststellen,obsie konvex ist oder niht:

Satz 2.33 Sei

f : R ⁿ → R

f ∈ C ²

f

HesseMatrix

∇ ² f(x)

x ∈ R ⁿ

Beweis. (

⇐ =

∇ ² f(x)

Nah demSatz von Taylor giltfür alle

x, y ∈ R ⁿ f(y) = f (x) + (y − x) ^T ∇ f (x) + ¹ ₂ (y − x) ^T ∇ ² f

x + t(y − x)

(y − x)

wobei

t

0 ≤ t ≤ 1

∇ ² f(x)

ist,ist der letzteSummand in (2.6) nihtnegativ, daher

f (y) ≥ f (x) + (y − x) ^T ∇ f (x).

AusSatz 2.32 folgt nun, dass

f

(

= ⇒

f

R ⁿ

x ∈ R ⁿ

demdieHesseMatrixniht positivsemidenitist.Dannmuss esein

y ∈ R ⁿ

geben, sodass

(y − x) ^T ∇ ² f (x)(y − x) < 0.

Wegender Stetigkeitvon

∇ ² f

y

t

0 ≤ t ≤ 1

(y − x) ^T ∇ ² f

x + t(y − x)

(y − x) < 0

ist.Mit(2.6) folgt,dassfür diese

x, y

f

alsoniht konvex über

R ⁿ

2

Zusatz: Man kann durh eine leihte Modikation des ersten Teils des Be-

weises zeigen,dass zudemgilt

∇ ² f(x)

∀ x ∈ R ⁿ = ⇒ f : R ⁿ → R

.

Ahtung:DieUmkehrunggiltimAllgemeinenniht,wiedasBeispiel

f(x) =

x ⁴

Beispiel 2.34 Betrahten wir eine quadratishe Funktion

f (x) = α + c ^T x +

1

2 x ^T Qx

Q ∈ R ^{n × n} symmetrisch, c ∈ R ⁿ

α ∈ R

∇ ² f (x) = Q.

Daher:

f

⇐⇒ Q

f

⇐⇒ Q

Zudem gelten bei quadratishen Funktionen auh dieÄquivalenzen

f

⇐⇒ Q

f

⇐⇒ Q

Es gibt aber auh quadratishe Funktionen von

R ⁿ

R

n ≥ 2

die weder konvex noh konkav sind, zum Beispiel die Funktion

f (x 1 , x 2 ) = x ² ₁ + x ² ₂ − 4x 1 x 2

∇ ² f (x) =

2 − 4

− 4 2

,

die die Eigenwerte

− 2

6

2.7 Optimalitätsresultate für konvexe Optimie-

rungsprobleme

Satz 2.35 Sei

C ⊆ R ⁿ

f : C → R

Funktion. Dann ist jedes lokale Minimum von

f

C

Minimum.

Beweis. Sei

x ¯ ∈ C

x ^∗ ∈ C

f (x ^∗ ) < f (¯ x)

f

f(¯ x + λ(x ^∗ − x)) ¯ ≤ λf (x ^∗ ) + (1 − λ)f (¯ x) < f (¯ x)

für alle

λ ∈ (0, 1)

x ¯

daein

¯ λ > 0

f(¯ x+λ(x ^∗ − x)) ¯ ≥ f(¯ x)

0 < λ < λ ¯

2

Satz 2.36 Sei

f : R ⁿ → R

C ⊆ R ⁿ

Menge. Dann ist

Argmin(f, C )

f

mum über

C

Beweis. Übung.

2

Korollar 2.37 Sei

f : R ⁿ → R

C ⊆ R ⁿ

konvexe Menge. Wenn das Minimum von

f

C

in einem eindeutigen Punkt.

Beweis. Angenommen, das Minimum wird anzwei vershiedenen Punkten

x 1 , x 2 ∈ C

α ¯ = f (x 1 ) = f(x 2 )

f(λx ₁ + (1 − λ)x ₂ ) = ¯ α

λ ∈ (0, 1)

zur strikten Konvexität von

f

2

Der nähste Satz gibt Auskunft darüber, wie das Minimum einer dieren-

zierbarenkonvexen Funktionüberdem

R ⁿ

Satz 2.38 Sei

f : R ⁿ → R

x ¯ ∈ R ⁿ

f

R ⁿ

∇ f(¯ x) = 0

Beweis. Ist

x ¯ ∈ R ⁿ

f

∇ f(¯ x) = 0

f

(Zur Erinnerung: Ineinem lokalen Minimum

x ¯

v ∈ R ⁿ 0 ≤ lim

t ց 0

f (¯ x + tv) − f (¯ x)

t = ∇ f(¯ x) ^T v,

also

∇ f(¯ x) ^T v ≥ 0

v

∇ f(¯ x) = 0

Sei nun umgekehrt

∇ f (¯ x) = 0

f

dass

f (x) − f (¯ x) ≥ (x − x) ¯ ^T ∇ f(¯ x) = 0 ∀ x ∈ R ⁿ ,

und somit

f (x) − f (¯ x) ≥ 0 ∀ x ∈ R ⁿ .

Daher ist

x ¯

f

R ⁿ

2

EntsprehendeResultategeltennihtfürdasMaximumeinerkonvexenFunk-

tion, wie man anAbbildung2.5 sieht.

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2 2.5 3

0 1 2 3 4 5 6 7 8 9

x 1 x 2

lok.Max.

glob.Max.

Abbildung2.5: Lokales und globalesMaximum einer konvexen Funktion.

IndiesemBeispielwirddasMaximumineinemRandpunkt,genauer:ineinem

Extrempunkt angenommen. Dies giltimmer, wie der nähste Satz zeigt.

Satz 2.39 Sei

f : R ⁿ → R

C ⊆ R ⁿ

konvexe Menge. Dann nimmt

f

C

Beweis. Sei

x

C

E

C

x

E

dargestellt werden, nahSatz 2.9sind dazu höhstens

(n + 1)

notwendig. Es existieren also

v 0 , v 1 , . . . , v n ∈ E

λ 0 , λ 1 , . . . , λ n ≥ 0

P n

i=0 λ _i = 1

x = X n

i=0

λ i v i .