Vorlesung Einf¨uhrung in die Mathematische Optimierung (Wintersemester 2019/20)

Vorlesung Einf¨ uhrung

in die

Mathematische Optimierung (Wintersemester 2019/20)

Kapitel 7: Polynomiale Algorithmen f¨ur Konvexe Optimierungsprobleme

Volker Kaibel

Otto-von-Guericke Universit¨at Magdeburg

(Version vom 30. Januar 2020)

Gliederung

Die Ellipsoid-Methode Ellipsoide

Die Methode

Komplexit¨atsresultate

Innere-Punkte Verfahren

Grundidee und zentrale Fragen

Selbst-konkordante Barrier-Funktionen Der zentrale Pfad

Die Short-Step Barrier Methode Erweiterungen

Wiederholung: Ellipsoide

Definition

IstQ ∈R^n×n symmetrisch und positiv definit, und istz ∈Rⁿ, so heißtEll(z,Q) :={x ∈Rⁿ : (x−z)^TQ⁻¹(x−z)≤1} ein Ellipsoid(mit Zentrum z). F¨ur!∈R,!>0, heißt

B(z,!) := Ell(z,!²In) der Ballum z mit Radius!.

Affine Transformationen von Einheitsb¨allen

IstC eine Matrix, deren Spalten bis auf Skalierung mit den Quadratwurzeln der jeweiligen Eigenwerte eine aus Eigenvektoren vonQ bestehende Orthonormalbasis vonRⁿ bilden, so ist

Ell(z,Q) = C ·B(On,1) +z .

Das L¨owner-John Ellipsoid eines konvexen K¨orpers

Definition 7.1

Einkonvexer K¨orper in Rⁿ ist eine kompakte konvexe Teilmenge vonRⁿ, die einen Ball (mit Radius !>0) enth¨alt.

Satz 7.2

f¨ur jeden konvexen K¨orperK ⊆Rⁿ gibt es ein eindeutig

bestimmtes Ellipsoid (dasL¨owner-John-EllipsoidLoew(K)⊆Rⁿ vonK) minimalen Volumens unter allen Ellipsoiden, die K

enthalten. Es gilt:

z+¹_n(Loew(K)−z) ⊆ K ⊆ Loew(K), wobeiz der Mittelpunkt vonLoew(K) sei.

Beweis z.B. in: Danzer, Gr¨unbaum, Klee,Helly’s theorem and relatives, in: V. Klee,Convexity. AMS 1963, S. 101–180.

L¨owner-John Ellipsoide abgeschnittener Ellipsoide

Satz 7.3

SeienQ ∈R^n×n symmetrisch und positiv definit,z ∈Rⁿ und a∈Rⁿ\Oⁿ}. Dann ist

Loew!

Ell(z,Q)∩H^≤(a,〈a,z〉)"

= Ell(z^′,Q^′) mit

z^′ = z−_n+1¹ b und Q^′ = _n2ⁿ−²1

!Q−_n+1² bb^T"

, wobeib= √¹

a^TQaQa ist.

Beweis: Abschnitt nach Theorem 3.1.9 in [Gr¨otschel, Lovasz, Schrijver]

Volumenreduktion

Satz 7.4

SindQ ∈R^n×n symmetrisch und positiv definit,z ∈Rⁿ und a∈Rⁿ\ {On}, so ist

Vol! Loew!

Ell(z,Q)∩H^≤(a,〈a,z〉)""

Vol!

Ell(z,Q)" < _e1/(2n)¹ < 1.

Beweis: Lemma 3.1.34 in [Gr¨otschel, Lovasz, Schrijver]

Die “ideale” Ellipsoid-Methode

◮ Seien K ⊆Rⁿ ein konvexer K¨orper undz⁽⁰⁾ ∈Rⁿ,R>0 mit K ⊆E⁽⁰⁾ := B(z,R) sowie ε>0.

◮ Definiere rekursiv eine (endliche) Folge E⁽¹⁾, . . . ,E^(k)⊆Rⁿ von Ellipsoiden mit Zentren z⁽¹⁾, . . . ,z^(k) wie folgt:

1. Fallsz⁽ⁱ⁾∈K oder volE⁽ⁱ⁾<ε: Setzek :=i (Stop) 2. Sonst: W¨ahle ein beliebiges a∈Rⁿ mitK ⊆H^≤(a,〈a,z⁽ⁱ⁾〉)

(existiert nach Satz 2.15) und definiere E⁽ⁱ⁺¹⁾ := Loew!

E⁽ⁱ⁾∩H^≤(a,〈a,z⁽ⁱ⁾〉)"

.

◮ Wegen Satz 7.4 istvolE⁽ⁱ⁾ ≤e⁻²ⁿⁱ volE⁽⁰⁾ ≤ e⁻²ⁿⁱ (2R)ⁿ

◮ Also ist die Folge in der Tat endlich mit

k ≤ 2 ln(2R)n²+ (2 ln¹_ε)n+ 1.

Bin¨arsuche

◮ Ein Zul¨assigkeitsproblem ist die Aufgabe, zu entscheiden, ob eine gegebene Menge X ∈Rⁿ leer ist, und falls X ∕=∅ ein beliebiges x ∈X zu bestimmen.

◮ Sind X ⊆Rⁿ,f :X →Rund L,U ∈R mit L ≤ min{f(x) : x ∈X} ≤ U gegeben, so kann man mit Hilfe einer Folge von Zul¨assigkeitsproblemen das Optimierungsproblem approximativ l¨osen.

◮ Solange U−L noch nicht klein genug ist:

{x ∈Rⁿ : x∈X,f(x)≤ ^L+U₂ }

#=∅ :L←(L+U)/2

∕=∅ :U ←(L+U)/2

◮ “Ideale” Ellipsoid-Methode: Approximative L¨osung konvexer Zul¨assigkeitsprobleme

Algorithmische Repr¨asentation konvexer K¨orper

Definition 7.5

Ein(starkes) Separationsorakel f¨ur eine konvexe MengeX ⊆Rⁿ ist ein Algorithmus, der f¨ur jedesy∈Qⁿentscheidet, oby ∈X ist, und fallsy ∕∈X eina∈Qⁿ und β ∈Q bestimmt mit:

X ⊆ H^≤(a,β) aber 〈a,y〉>β

◮ P ={x ∈Rⁿ : Ax ≤b} Polyeder mit explizit gegebener Matrix A∈Q^m×n und Vektorb∈Q^m: Implementation eines Separationsorakels mittels Ausrechnen vonAy und Vergleich mit b.

Algorithmische Repr¨asentation konvexer K¨orper

Definition 7.6

F¨ur eine konvexe MengeX ⊆Rⁿ undε>0 definiere X^[ε] := {y∈Rⁿ : ||y−x||≤εf¨ur ein x∈X} und

X^[−ε] := {x ∈X : x+ B(Oⁿ,ε)⊆X} .

Definition 7.7

Einschwaches Separationsorakelf¨ur eine konvexe

MengeX ⊆Rⁿ ist ein Algorithmus, der f¨ury ∈Qⁿ und ε∈Q (ε>0) feststellt, dassy ∈X^[ε] ist oder eina∈Qⁿ mit,a,∞= 1 bestimmt, f¨ur dasX^[−ε]⊆H^≤(a,〈a,y〉+ε) ist.

Das schwache Optimierungsproblem

Definition 7.8

Dasschwache (konvexe) Optimierungproblem ist die Aufgabe, f¨ur einen konvexen K¨orperK ⊆Rⁿ,c ∈Qⁿ und ε∈Q(ε>0) einen Punktx^" ∈Qⁿ zu bestimmen mit x^"∈K^[ε] und

〈c,x〉 ≤ 〈c,x^"〉+ε f¨ur alle x∈K^[−ε], oderK^[−ε]=∅festzustellen.

◮ x^" ist also fast inK und maximiert〈c,x〉 fast ¨uberK^[−ε].

◮ Minimieren von〈c,x〉 via Maximieren von〈−c,x〉

◮ Konvexe Zielfunktionf:

K˜ :={(x,ζ)∈Rⁿ⁺¹ : x ∈K,f(x)≤ζ} ist konvex mit min{f(x) : x ∈K} = min{ζ : (x,ζ)∈K˜} .

Kodierungsl¨angen

Definition 7.9

Wir definieren folgendeKodierungsl¨angen 〈·〉 f¨ur rationale Zahlen, Vektoren und Matrizen:

◮ F¨ur n∈Z:〈n〉:= 1 +⌈log₂(|n|+ 1)⌉

◮ F¨ur r ∈Q:〈r〉:=〈p〉+〈q〉, wobei r = ^p_q mitp,q∈Z teilerfremd,q >0

◮ F¨ur a∈Qⁿ:〈a〉:=$n i=1〈ai〉

◮ F¨ur A= (aij)∈Q^m×n:〈A〉:=$m i=1

$n j=1〈aij〉

Komplexit¨atsresultate f¨ur konvexe Minimierung

Satz 7.10

Es gibt einen Algorithmus und eine Polynomfunktionp, der das schwache Optimierungsproblem f¨ur durch schwache

Separationsorakel gegebene konvexe K¨orper mit h¨ochstens

p(〈c〉+〈ε〉+〈R〉) Orakelaufrufen und Rechenschritten l¨ost. Dabei istK ⊆Rⁿ und R∈Qeine positive Zahl mit K ⊂B(On,R), die dem Algorithmus ¨ubergeben werden muss;c ∈Qⁿ und ε>0 sind wie in Def. 7.8.

◮ Corollary 4.2.7 in [Gr¨otschel, Lovasz, Schrijver]

◮ “Vern¨unftig gestellte” konvexe Minimierungsprobleme (konvexe Zielfunktion ¨uber konvexer Menge) k¨onnen also in polynomialer Zeit approximativ gel¨ost werden.

◮ Insbesondere: Semidefinite Optimierungsprobleme

(Trennhyperebene f¨ur nicht positiv-semidefinite symmetrische Matrizen aus Eigenvektor zu negativem Eigenwert)

Komplexit¨atsresultate f¨ur lineare Optimierung

Satz 7.11

Es gibt einen Algorithmus und eine Polynomfunktionq, der lineare Optimierungsprobleme

max{〈c,x〉 : Ax ≤b} (LP) f¨ur gegebeneA∈Q^m×n,b∈Q^m und c ∈Qⁿ in durch

q(〈A〉+〈b〉+〈c〉) beschr¨ankter Laufzeitexakt l¨ost, d.h., eine Optimall¨osungx^"∈Qⁿ von (LP) bestimmt oder feststellt, dass (und ob) (LP) unzul¨assig oder unbeschr¨ankt ist.

◮ Theorem 6.4.9 in [Gr¨otschel, Lovasz, Schrijver]

◮ Der Beweis (Exakte L¨osung!) braucht Strukturresultate ¨uber Polyeder aus Kap. 5.

◮ Insbesondere: Lineare Optimierungsprobleme haben rationale Optimall¨osungen (wenn sie nicht unbeschr¨ankt oder

unzul¨assig sind).

Bemerkungen zur Ellipsoid-Methode

Bemerkung 7.12

Sind die UngleichungssystemeAx ≤b nicht explizit gegeben, sondern hat man f¨ur eine Klasse von linearen

Optimierungsproblemen nur (starke) Separationsorakel f¨ur die Polyeder der zul¨assigen L¨osungen, so kann man die LPs trotzdem in polynomialer Laufzeit l¨osen, sofern die Separationsorakel polynomiale Laufzeit haben (bez¨uglich der Kodierungsl¨angen der relevanten Problemdaten).

◮ Die Ellipsoid-Methode liefert f¨ur die komplexit¨atstheoretische Klassifikation von Optimierungsproblemen eminent wichtige Ergebnisse. . .

◮ . . . jedoch keine praktisch brauchbaren Algorithmen f¨ur die lineare oder konvexe Optimierung

◮ Technische Bedingung an die Orakel f¨ur Satz 7.10 und

Bem. 7.12: Die Kodierungsl¨ange der Ausgabe muss polynomial beschr¨ankt sein in der Kodierungsl¨ange der Eingabe.

Das Setup

◮ min{〈c,x〉 : x∈X}

◮ X ∈Rⁿ: konvexe Menge,c ∈Rⁿ

◮ (Konvexe Zielfunktion f :Rⁿ→R:min{t : f(x)≤t,x ∈X})

0.2 0.4

0.6

0.8

0.2 0.4

0.6 0.8

0 2 4 6

0.2 0.4

0.6

0.8

0 0.2 0.4 0.6 0.8 1

0 0.2 0.4 0.6 0.8 1

Beispiel: min{〈c,x〉 : x ∈X},X = [0,1]²,c = (5,2)

Beispiel

◮ F¨ur η>0definiere fη : int(X)→R mittels:

fη(x) = η·〈c,x〉+!

−lnx1−lnx2−ln(1−x1)−ln(1−x2)"

0.2 0.4

0.6

0.8

0.2 0.4

0.6 0.8

20 40 60 80 100

0.2 0.4

0.6

0.8 ^{0 0.2 0.4 0.6 0.8 1}

0 0.2 0.4 0.6 0.8 1

◮ fη streng konvex, Minimum eindeutig in z(η)∈int(X)

◮ F¨ur großes η:z(η) in der N¨ahe einer Optimall¨osung von min{〈c,x〉 : x∈X}.

◮ Newton-Verfahren f¨ur fη zur Approximation vonz(η)

Verschiedene η

η= 0.1 η= 1 η= 10

◮ Wichtig f¨ur Newton-Verfahren: Start nah beiz(η)

◮ Ansatz: Folge η₁<η₂< . . .

◮ Bestimmeη0und Punktx⁽⁰⁾ ∈int(X)in der N¨ahe vonz(η0).

◮ F¨urk >0: Bestimmeηk >η_k−1 und mache einen Newton-Schritt f¨urfη_k vonx^(k−1) zux^(k)∈int(X).

Fragen

1. Welche Funktionen k¨onnen i.A. die Rolle von

−lnx1−lnx2−ln(1−x1)−ln(1−x2) spielen? (⇝ (selbstkonkordante) Barrier-Funktionen) 2. Konvergiert z(η)f¨ur η→ ∞ gegen eine Optimall¨osung?

3. Wie findet manη₀ und x⁽⁰⁾?

4. Wie erreicht man, dass x^(k) in int(X)ist? Wie groß darf η_k −η_k−1 sein, damit x^(k) ebenfalls nah anz(ηk) ist (vorausgesetzt, dassx^(k−1) nah anz(ηk−1) ist)?

5. Was heißt “nah”?

6. Wie groß muss k sein, damit (f¨ur vorgegebenes ε>0)

〈c,x^(k)〉 −min{〈c,x〉 : x∈X}<ε ist?

7. Welche arithmetischen Operationen m¨ussen durchgef¨uhrt werden?

Intrinsische Skalarprodukte

Generalvoraussetzungen von jetzt an:

◮ D ⊆Rⁿ offen und konvex

◮ f :D →Rzweimal stetig differenzierbar

◮ hessxf positiv definit f¨ur allex ∈D (f streng konvex) Definition 7.13

F¨ur jedesx ∈D sei 〈·,·〉x :Rⁿ×Rⁿ →R das durch

〈v,w〉x = 〈v,(hessxf)w〉=〈(hessxf)v,w〉=v^T(hessxf)w definierte Skalarprodukt aufRⁿ. Die von diesem Skalarprodukt induzierte Norm bezeichnen wir mit,·,x :Rⁿ→R:

,v,x = %

〈v,v〉x

Deroffene Ball vom Radius!>0 bzgl. ,·,x um v ist Bx(v,!) = {w ∈Rⁿ : ,w −v,x <!} .

Beispiele

Selbstkonkordante Funktionen

◮ D → ⁿ,x 2→hessxf ist stetig

◮ F¨ur allev ∈Rⁿ\ {Oⁿ} und f¨ur jedesx ∈D undε>0gibt es eine UmgebungU ⊆D von x mit:

1−ε ≤ ,v,x

,v,y ≤ 1 +ε f¨ur alle y ∈U

Definition 7.14

Die Funktionf heißt selbstkonkordant, wenn f¨ur alle x∈D gilt:

◮ Bx(x,1)⊆D und

◮ F¨ur alley ∈Bx(x,1)ist 1−,y−x,x ≤ ,v,x

,v,y ≤ 1

1− ,y−x,x f¨ur alle v ∈Rⁿ\{Oⁿ} (Literatur:strongly non-degenerateself-concordant function)

In der N¨ahe des Randes

Satz 7.15

Sindf selbstkonkordant und(x^(k))k∈N eine Folge inD mit

klim→∞x^(k)∈bd(D) ,

(mitbd(D) = cl(D)\D) so gelten

k→∞lim f(x^(k)) =∞

und

klim→∞||grad_x(k)f||=∞ .

Beweis: [Renegar, Thm. 2.2.9]

James Renegar, A Mathemtical View of Interior-Point Me- thods in Convex Optimization. MPS-SIAM Series on Op- timization , SIAM 2001.

Newton-Schritte

Definition 7.16 Wir bezeichnen mit

newx(f) := −(hessxf)⁻¹grad_xf ∈ Rⁿ denNewton-Schritt f¨urf in x ∈D.

◮ Wir haben: newx(f) =On ⇔ grad_xf =On

◮ Also wegen der Konvexit¨at von f:

Beobachtung 7.17

Ein Punktx∈D ist genau dann der Minimierer vonf (¨uberD), wennnewx(f) =Ongilt.

Absch¨atzungen f¨ur selbstkonkordante Funktionen

Satz 7.18

Sindf selbstkonkordant undx ∈D mitγ :=,newx(f),x <1, so istx^′ =x+ newx(f)∈D und es gilt:

,newx^′(f),x^′ ≤ ! _γ

1−γ

"2

.

Beweis: [Renegar, Thm. 2.2.4]

Satz 7.19

Sindf selbstkonkordant undx ∈D mitγ :=,newx(f),x ≤ ¹₄, so hatf einen eindeutigen Minimierer z ∈D, und es gilt

,x−z,x ≤ γ+ _(1−γ)^3γ23 . Beweis: [Renegar, Thm. 2.2.5]

Barrier-Funktionen

Definition 7.20

Die Funktionf :D→R ist eine Barrier-Funktion, wenn sie selbstkonkordant ist und ihrKomplexit¨atswert

ϑ_f := sup{,newx(f),x : x∈D} < ∞ endlich ist.

Satz 7.21

Istf eine Barrier-Funktion mit Komplexit¨atsparameterϑ_f, so gilt

〈gradxf,y−x〉<ϑ_f f¨ur allex,y ∈D.

Beweis: [Renegar, Thm. 2.2.3]

Addition von Barrier-Funktionen

Satz 7.22

Sindf1 :Df1 →Rund f2 :Df2→R Barrier-Funktionen mit D:=Df1∩Df2 ∕=∅und Komplexit¨atsparametern ϑ1 bzw. ϑ2, so istf1+f2 :D→R eine Barrier-Funktion mitϑ_f ≤ϑ₁+ϑ₂. Beweis: [Renegar, Thm. 2.2.6 und 2.3.1]

Bemerkung 7.23

Durchf(x) :=−lnx wird eine Barrierfunktion auf

++:={x ∈R : x >0} definiert mitϑ_f = 1.

Korollar 7.24 Durchf(x) :=−$n

i=1lnxi ist eine Barrier-Funktion auf ⁿ₊₊ mit ϑ_f ≤n definiert.

Barrier-Funktionen f¨ur Polyeder

Satz 7.25

Istf : ++⊆Reine Barrierfunktion und sind a∈Rⁿ\ {Oⁿ}, β∈R, so ist auch

fa,β : {x ∈Rⁿ : 〈a,x〉<β}→R mit fa,β(x) =f(β− 〈a,x〉) eine Barrier-Funktion mitϑ_fa,β ≤ϑ_f.

Beweis: [Renegar, Theoreme 2.2.7 und 2.3.2]

Korollar 7.26

SindA∈R^m×n und b∈R^m so, dass

{x ∈Rⁿ : Ax <b}= int(P^≤(A,b)) ∕= ∅ ist, so istf : int(P^≤(A,b))→Rmit

f(x) = −

&m i=1

ln(bi −Ai,"x) eine Barrier-Funktion mitϑ_f ≤m.

Affine Unterr¨aume

◮ Sei A⊆Rⁿ affiner Unterraum.

◮ Affiner Isomorphismus A↔R^p liefert

Differenzierbarkeitsbegrifff¨ur Funktionen auf A

◮ ⇝ Begriffder Selbstkonkordanzvon auf (relativ offenen) Teilmengen von Adefinierten Funktionen

◮ Unabh¨angig von Wahl des Ismorphismus A↔R^p Bemerkung 7.27

Sindf eine Barrier-Funktion undA⊆Rⁿ ein affiner Unterraum mitD∩A∕=∅, so ist die Einschr¨ankungf|A von f auf Aeine Barrier-Funktion aufD∩Amit ϑ_f|A ≤ϑ_f.

(Siehe [Renegar, Abschn. 2.2.1 und 2.3.1]) Korollar 7.28

SindA∈R^m×n und b∈R^m so, dass es ein x˜∈ ⁿ++ gibt mit A˜x =b, so ist durchf(x) :=−$n

i=1lnxi eine Barrier-Funktion aufrelint{x∈ ⁿ+ : Ax =b}mit ϑ_f ≤n definiert

Eine Barrier-Funktion f¨ur

^k₊

Satz 7.29

Die Funktionf : relint( ^k₊)→R mitf(X) =−ln(detX) ist eine Barrier-Funktion mitϑ_f =k.

Beweis: [Renegar, Abschn. 2.2.1]

Korollar 7.30

SindA⁽¹⁾, . . . ,A^(m) ∈ ^k,b∈R^m so, dass es eine positiv definite MatrixX˜ ∈ ^k gibt mit〈A⁽ⁱ⁾,X˜〉=bi f¨ur alle i ∈[m], so definiert f(X) =−ln(det(X))eine Barrier-Funktion auf

relint{X ∈ ^k+ : 〈A⁽ⁱ⁾,X〉=bi f¨ur alle i ∈[m]}

mitϑf ≤k.

Der zentrale Pfad

Generalvoraussetzungen von jetzt an:

◮ D ⊆Rⁿ offen und konvex

◮ f :D →RBarrier-Funktion

◮ A⊆Rⁿ affiner Unterraum (A=Rⁿ m¨oglich)

◮ D^′ =D∩A∕=∅ beschr¨ankt,X = cl(D^′)

◮ c ∈Rⁿ,ω := min{〈c,x〉 : x∈X} Definition 7.31

F¨urη ∈ + definiere streng konvexe Funktionenfη :D^′ →R durch fη(x) := η〈c,x〉+f(x)

f¨ur allex ∈D^′. Der Minimierer vonfη sei z(η)∈D^′. Derzentrale Pfadvon(fη)η∈ + ist{z(η) : η∈ +}.

Beobachtung 7.32

Die intrinsischen Skaparprodukte bzgl. der Funktionenfη sind die intrinsischen Skalarprodukte bzgl.f; insbesondere sind allefη

selbstkonkordant.

Auf dem zentralen Pfad

◮ Es gilt: grad_z(η)fη =Oⁿ f¨ur alleη ∈ +

◮ Andererseits:grad_z(η)fη =ηc + grad_z(η)f

◮ Also: grad_z(η)f =−ηc

◮ Wegen Satz 7.21 f¨ur alle y ∈D^′:〈grad_z(η)f,y−z(η)〉<ϑ_f

◮ Also f¨ur alle y ∈D^′:〈c,z(η)〉 − 〈c,y〉< ^ϑ_η^f Bemerkung 7.33

F¨ur alleη∈ +gilt〈c,z(η)〉 ≤ ω+¹_ηϑ_f. Insbesondere (Frage 2):

ηlim→∞〈c,z(η)〉=ω

Außerdem gilt f¨ur alley ∈Rⁿ:

〈c,y〉 ≤ω+¹_ηϑ_f(1 +,y−z(η),z(η)) (Beweis: [Renegar, Abschnitt 2.4.1])

Der Short-Step Barrier Algorithmus

1. Bestimme eine IterationszahlK.

2. Bestimme η₀ >0 und x⁽⁰⁾∈D^′ mit ,new_x(0)(fη0),x⁽⁰⁾ ≤ ¹₉. 3. F¨ur k = 1, . . . ,K:

3.1 Setzeηk := (1 +₈^√1_ϑ

f)η_k−1. 3.2 Berechnenew_x(k−1)(fη_k)

3.3 Setzex^(k) :=x^(k−1)+ new_x(k−1)(fη_k)

Lemma 7.34 F¨ur allek gilt:

1. ,newx^(k−1)(fη_k),x^(k−1) <1(also x^(k)∈D^′ f¨ur alle k) 2. ,new_x(k)(fη_k),x^(k) ≤ ¹₉

Beweis: [Renegar, Abschnitt 2.4.2] (Fragen 4,5)

Analyse

◮ Nach Satz 7.19 also:

,x^(k)−z(ηk),x^(k) ≤

1

9(⁸₉)³+ 3(¹₉)² (⁸₉)³ ≤ 1

6 .

◮ Definition der Selbstkonkordanz (mit x =x^(k),y =z(η), v =x−y):

,x^(k)−z(ηk),x^(k)

,x^(k)−z(ηk),z(ηk) ≥ 5 6

◮ Also f¨ur alle k:,x^(k)−z(ηk),z(ηk)≤ ¹₅

◮ Nach Bem 7.33 also:〈c,x^(k)〉 ≤ω+_η¹_k^6ϑ₅^f

Lemma 7.35

F¨urε>0und K ≥10√

ϑ_f ln_5η^6ϑ₀^f_ε ist x^(K)∈D^′ mit

〈c,x^(K)〉 ≤ω+ε.

(Frage 6)

Die Bestimmung von η

0

und x

⁽⁰⁾

◮ (Frage 3)

◮ newx(fη) =−η(hessxf)⁻¹c+ newx(f)

◮ Ziel: Finde einx˜∈D^′ mit,new˜x(f),x˜≤ ¹₆ (Z)

◮ (newx˜(f) =On⇔ x˜ minimiertf ¨uber D^′)

◮ Dann setze:

η₀ := 1

12,(hessx˜f)⁻¹c,x˜

◮ Dann ist ,newx˜(fη0),x˜ ≤ ₁₂¹ +¹₆ = ¹₄

◮ F¨ur

x⁽⁰⁾ := ˜x+ newx˜(fη) gilt dann wegen Satz 7.18 (mitγ = ¹₄):

,new_x(0)(fη0),x⁽⁰⁾ ≤ '1/4 3/4

(2

= 1 9

Erreichen des Ziels (Z)

◮ Gegeben: Ein beliebiger Punkt x˜⁽⁰⁾ ∈D^′

◮ Sei g :=−grad_x˜(0)f

◮ F¨ur 0<ν ≤1:

◮ Definieref˜ν:D^′ →Rviaf˜ν(x) :=ν〈g,x〉+f(x)

◮ Der Minimierer vonf˜ν seiz˜(ν)

◮ grad_x˜(0)f˜1=g+ grad_˜x(0)f =On

◮ Also: z(1) = ˜˜ x⁽⁰⁾ und new_x˜⁽⁰⁾( ˜f1) =Oⁿ

◮ Algorithmus:

1. ℓ:= 0,ν₀:= 1

2. Solange'new_˜x(ℓ)(f)'˜x^(ℓ) > ¹₆ ist:

2.1 Inkrementiereℓ 2.2 Setzeνℓ:= (1−₈√¹

ϑ_f)νℓ−1

2.3 Berechnenew_x˜(ℓ−1)(fνℓ)

2.4 Setzex˜^(ℓ):= ˜x^(ℓ−1)+ new_˜x(ℓ−1)(fνℓ)

◮ Analog zu Lemma 7.34 zeigt man f¨ur alle ℓ:

◮ 'new_x˜(ℓ−1)( ˜fνℓ)'x˜^(ℓ−1) <1 (alsox˜^(ℓ)∈D^′ f¨ur alleℓ)

◮ 'new_x˜(ℓ)( ˜fνℓ)'x˜^(ℓ)≤ ¹₉

Wie klein muss ν

ℓ

werden?

◮ Gilt: new_x˜(ℓ)( ˜fνℓ) =−ν_ℓ(hess_x˜(ℓ)f)⁻¹g + new_x˜(ℓ)(f)

◮ Also (wegen ,new_x˜(ℓ)( ˜fνℓ),x˜^(ℓ) ≤ ¹₉):

,new_˜x(ℓ)(f),x˜^(ℓ) ≤ ¹₉ +ν_ℓ,(hess_x˜(ℓ)f)⁻¹grad_x˜(0)f,x˜^(ℓ)

= ¹₉ +ν_ℓ )

grad_x˜(0)f^T(hess_x˜(ℓ)f)⁻¹grad_x˜(0)f

Satz 7.36

Istf :D^′ →Reine Barrier-Funktion, so gilt f¨ur allex,y ∈D^′: )

grad_xf^T(hessyf)⁻¹grad_xf ≤ '

1 + 1

sym(x,D) (

ϑf

Beweis: [Renegar, Proposition 2.3.7]

Die Symmetrie von D

Definition 7.37

F¨urx ∈D^′ sei L(x,D^′)die Menge aller affinen Geraden L⊆Amit x∈L. F¨ur L∈L(x,D^′) ist L∩D^′ eine (offene) Strecke, die vonx in zwei Teile der L¨angenλ₁,λ₂ >0 geteilt wird; sei

r(L) := min{^λ_λ¹₂,^λ_λ²

1}. DieSymmetrie von D bzgl. x ist sym(x,D) := inf{r(L) : L∈L(x,D)}.

Zur¨uck zu ν

ℓ

◮ Also mit Satz 7.36:

,new_x˜(ℓ)(f),x˜^(ℓ) ≤ ¹₉ +νℓ

'1 + 1

sym(˜x⁽⁰⁾,D) (

ϑf

◮ Daher gilt ,new_x˜(ℓ)(f),x˜^(ℓ)≤ ¹₆, sobald ν_ℓ≥'

18ϑf(1 + 1

sym(˜x⁽⁰⁾,D))(₋₁ ist.

◮ Mit Ω:= sup{〈c,x〉 : x ∈D^′} kann man zeigen:

,(hessxf)⁻¹c,x ≤Ω−ω f¨ur alle x ∈D^′ [Renegar, Abschnitt 2.4.1]

◮ Also

η0= 1

12,(hess˜xf)⁻¹c,x˜ ≥ 1 12(Ω−ω)

Das Ergebnis

Satz 7.38

F¨ur einen gegebenen Startpunktx˜⁽⁰⁾∈D^′ und 0<ε<1 berechnet der Short-Step Barrier Algorithmus in

O(%

ϑ_f ln_εsym(˜^ϑ_x^f(0),D^′))

Newton-Iterationen einen Punktx^(K)∈D^′ mit

〈c,x^(K)〉−ω

Ω−ω ≤ ε.

Arithmetischer Aufwand

◮ (Frage 7)

◮ Ein Newton-Schritt erfordert dabei die Berechnung von newx(fη) bzw. newx( ˜fν).

◮ Dahessxfη = hessxf˜ν = hessxf ist, muss in jedem Schritt f¨ur eing ∈Rⁿ die L¨osungv ∈Rⁿ eines linearen

Gleichungssystems(hessxf)v =g gefunden werden.

◮ Beispiel f(x) =−$_m

i=1ln(bi− 〈Ai,",x〉),D= int(P^≤(A,b)):

◮ Sei∆(x)∈R^m×m die Diagonalmatrix mit

∆_i,i= (b_i− 〈A_i,%,x〉)⁻¹

◮ Dann isthessxf =∆(x)A^TA∆(x).

◮ A^TApositiv semidefinit, also gibt es Cholesky-Zerlegung A^TA=CC^Tmit oberer Dreiecksmatrix C.

◮ Hat man die Cholesky-Zerlegung einmal berechnet, kann man danach in jeder Iteration das Gleichungssystem

(∆(x)C)(∆(x)C)^T·z =g inO(n²)arithmetischen

Operationen l¨osen, um den Newton-Schrittz zu bestimmen.

Primal-duale Methoden f¨ur konische Probleme

◮ F¨ur f :D →Rdefiniertf^"(u) =−inf{〈u,x〉+f(x) : x ∈D} die zuf konjugierte Funktion aufRⁿ.

◮ Sind K ⊆Rⁿ ein konvexer Kegel,D = int(K) und f eine Barrier-Funktion, so ist f^" eine Barrier Funktion f¨urint(K^◦).

◮ Primal-duale Methoden verfolgen die zentralen Pfade f¨ur primales und duales Problem simultan.

◮ Geschickte Schrittwahl (nicht Newton) durch Ausnutzen der dualen Informationen (z.B. Nesterov-Todd Richtungen)

◮ Sehr erfolgreich in der Praxis.

◮ Insbesondere: Stets aktuelle G¨utegarantie ¨uber dual zul¨assige L¨osung.

Komplexit¨atsresultate

◮ Lineare Optimierungsprobleme k¨onnen mit Barrier-Methoden in polynomialer Zeit exakt gel¨ost werden.

◮ F¨ur min{〈c,x〉 : Ax ≤b} h¨angt die Laufzeit polynomial von

〈A〉+〈b〉+〈c〉ab.

◮ Schwierigkeiten:

◮ Wie findet man ¨uberhaupt einen zul¨assigen Punkt?

◮ Wie findet man eine exakte L¨osung?

◮ Semidefinite Optimierungsprobleme (unter

Regularit¨atsannahmen) k¨onnen in polynomialer Zeit (approximativ) gel¨ost werden.

◮ Geeignete Varianten von Innere-Punkte Methoden sind (im Gegensatz zur Ellipsoid-Methode) praktisch effizient.