Grundlagen der Optimierung Lineare Optimierung

(1)

Grundlagen der Optimierung Lineare Optimierung

Dualit¨at

Primales Problem

max c ^T x

Ax ≤ b (P)

¨aquivalent: (z ∈ )

maxz z − c ^T x ≤ 0 Ax ≤ b

P z :=

x ∈ ⁿ :

− c ^T A

x ≤

− z b

– 145 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Lemma E.9 (Farkas-Lemma)

Sei A ∈ ^m ^× ⁿ , b ∈ ^m . Dann gilt entweder

∃ x ∈ ⁿ : Ax ≤ b oder

∃ u ∈ ^m : u ≥ 0, u ^T A = 0, u ^T b < 0.

– 146 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

max{c ^T x : Ax ≤ b}

= max{z : z − c ^T x ≤ 0, Ax ≤ b}

= max { z : P z 6 = {}}

≤ min { z : P z = {}}

= min { z : ∃ u ≥ 0, λ ≥ 0 : − λc ^T + u ^T A = 0, − λz +u ^T b < 0 } Wenn L¨osung mit λ = 0 existiert, ist P z = {} ∀ z.

Wenn L¨osung mit λ > 0 existiert:

= min{z : ∃u ≥ 0 : u ^T A = c ^T , u ^T b < z}

= min { u ^T b : u ^T A = c ^T , u ≥ 0 }

– 147 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Resultat: das Maximum von Problem (P) ist kleinergleich als das Minimum von Problem

min u ^T b u ^T A = c ^T u ≥ 0

(D)

(u ∈ ^m )

(D) heißt das zu (P) geh¨orende duale Problem.

(2)

Folgerung E.10

1. (P) ist unbeschr¨ankt = ⇒ (D) ist unzul¨assig.

2. (D) ist unbeschr¨ankt = ⇒ (P) ist unzul¨assig.

Schwache Dualit¨at:

x zulässig für (P), u zulässig für (D). Dann gilt c ^T x = u ^T Ax ≤ u ^T b

– 149 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Satz E.11 (Dualit¨atssatz)

Die beiden linearen Programme (P) und (D) haben optimale Lösungen mit dem gleichen Zielfunktionswert genau dann, wenn beide zulässige Lösungen haben.

(Beweis mit Farkas-Lemma) Folgerungen:

1. (P) hat endliches Optimum ⇐⇒ (D) hat endliches Optimum, beide haben den gleichen Zielfunktionswert.

2. (P) ist unbeschr¨ankt = ⇒ (D) ist unzul¨assig.

3. (D) ist unbeschr¨ankt = ⇒ (P) ist unzul¨assig.

4. (P) ist unzulässig = ⇒ (D) ist unzulässig oder unbeschränkt.

5. (D) ist unzulässig = ⇒ (P) ist unzulässig oder unbeschränkt.

– 150 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Komplementarit¨at

Im Optimum gilt:

1. Primale Zul¨assigkeit: Ax ≤ b 2. Duale Zul¨assigkeit: u ^T A = c ^T , u ≥ 0 3. ZF-Werte sind gleich: c ^T x = u ^T b

0 = u ^T b − c ^T x = u ^T b − u ^T Ax = u ^T (b − Ax) = X m

i=1

u i · (b − Ax) i

Wegen u i ≥ 0 und (b − Ax) i ≥ 0 gilt also:

1. Wenn u i 6 = 0, ist (b − Ax) i = 0.

2. Wenn (b − Ax) i 6 = 0. ist u i = 0.

Dies bezeichnet man mit Komplementarit¨ at.

– 151 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Im Simplex-Algorithmus, Schritt 1:

berechne Dualvariable:

u ^T := c ^T A ⁻¹ B

Teste, ob

u ≥ 0

= ⇒ duale Zul¨assigkeit + primale Zul¨assigkeit

= ⇒ Optimalit¨at

Wir sind also immer primal zul¨assig und im L¨osungspunkt auch dual

zul¨assig.

(3)

Grundlagen der Optimierung Lineare Optimierung

Variante: Starte mit dualer Zulässigkeit, iteriere, bis auch primale Zulässigkeit erfüllt ist.

→ Dualer Simplex-Algorithmus

Anwendung: Re-Optimierung mit Warm-Start, Vermeidung erneuter Phase I

d. h. nach erfolgter Optimierung: modifiziere Problem, optimiere erneut

I zusätzliche Variablen: setze zugehörige x-Werte auf 0, bleibt primal zulässig → weiter mit primalem Simplex

I zusätzliche Nebenbedingungen: setze zugehörige u-Werte auf 0, bleibt dual zulässig → weiter mit dualem Simplex (wichtig für Schnittebenenverfahren)

– 153 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Simplex-Software

Kommerziell:

I CPLEX (ILOG)

I Xpress (Dash)

I . . . Akademisch:

I SoPlex (ZIB Berlin)

I lpsolve

I . . .

– 154 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Lineare ganzzahlige Optimierung

Alle oder einige der Variablen müssen eine zusätzliche Ganzzahligkeitsbedingung erfüllen, typischerweise

x i ∈ { 0; 1 } oder x i ∈ oder . . . Modellierung von: Anzahlen, Entscheidungen, usw.

Durch die Ganzzahligkeitsbedingung erhalten wir Kombinatorische Optimierungsprobleme.

– 155 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Traveling Salesman Problem (TSP)

gegeben: Graph (V,E) mit Ecken V (Städten) und Kanten E ⊂ V × V (Straßen) und Kantengewichten c e (Streckenlängen) gesucht: die kürzeste Rundreise, d. h. die ge- schlossene Tour mit kürzester Länge durch alle Knoten

ordne jeder Kante e ∈ E eine 0-1-Variable zu:

x e =

1 Kante e geh¨ort zur Tour 0 sonst

(x: Inzidenzvektor)

(4)

Zielfunktion:

min X

e ∈ E

c e x e

Nebenbedingungen:

1. zu jedem Knoten gehen zwei Kanten der Tour X

e ∈δ(v)

x e = 2 ∀ v ∈ V

mit δ(v) := {e ∈ E : ∃v 6= u : e = uv ∨ e = vu}

(Degree Equation)

2. auf geschlossenen Strecken (Kreisen) mit Länge < |V| dürfen nicht alle Kanten zur Tour gehören

X

e ∈ C

x e ≤ | C | − 1 ∀ Kreise C ⊂ E, | C | < | V | (Subcircle Elimination Constraint)

– 157 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

0-1-LP f¨ur das TSP

min X

e∈E

c e x e

X

e ∈δ(v)

x e = 2 ∀ v ∈ V X

e∈C

x e ≤ | C | − 1 ∀ Kreise C ⊂ E, | C | < | V | x e ∈ { 0; 1 } ∀ e ∈ E

– 158 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Allgemeines Mixed-Integer-LP (MILP)

min c ^T x Ax ≤ b

x j ganzzahlig, j ∈ J ⊂ { 1, . . . ,n }

!

""

##

$$

%%

&&

''

((

))

*

*+,-./

001

22345

66

77

88

99

::

;;

<<

=

=>?@AB

BCC

D

DEFGHIJKLM

NN

NNOO

PPQ

RRS

TT

UU

VV

WW

XX

YY

Z[\]

^

^_`a

bb

bbcc

defg

hhi

jjkllmm

no

pp

qq

rr

ss

tt

u

uvwxyz

z{{

|}~

¡¡¡

¢¢¢£££

¤¤

¥¥

¦¦

¦¦§§§

¨¨

¨¨©©©

ªª

««

¬¬

®®

®®¯¯

°°±±

²²³³

´´

´´µµ

¶¶··

¸¸¸¹¹¹

ººº»»»¼¼½½

¾¾¿¿

ÀÀÁÁ

ÂÂ

ÂÂÃÃ

ÄÄ

ÅÅ

ÆÆ

ÇÇ

ÈÈÉÉ

ÊÊËË

ÌÌ

ÍÍ

ÎÎÏÏ

ÐÐÑÑ

ÒÒ

ÓÓ

ÔÔ

ÕÕ

ÖÖ

××

ØØ

ØØÙÙ

ÚÚ

ÛÛ

ÜÜÝÝ

ÞÞ

ÞÞßßß

àààááá

ââ

ãã

ää

ääåå

ææçç

èè

éé

êêëë

ìì

ììíí

îî

ïï

ððññ

òòòóóó

ôôõõ

öö÷÷

øøøùùù

úú

úúûûû

üüüýýý

þþ

ÿÿ

!!

""

##

$$

%%&'

(()

**

++

,,

--./

00123

44

55

67

88

99:

:;;

<<=>?@AB

BCC

DDE

FFGHIJKLM

NN

NNOO

PPQRS

T

TUVWXYZ

Z[[

\\

\\]]

^_`a

bb

ccd

dee

fg

hh

iijk

ll

mm

nn

oo

pp

ppqq

rr

ss

ttu

vv

wwx

xyy

z{|

|}}

~~

¡

¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢

£££££££££££££££££££££££££

¤¤¤

¥¥¥

¦¦

§§

¨¨¨

©©

ªªª

«««

¬¬¬

®®®¯¯

°°

±±

²²²

³³

´´´µµ

¶¶¶··

¸¸

¹¹

ºº

»»

¼¼

½½

¾¾

¿¿

ÀÀÀ

ÁÁÁ

ÂÂ

ÃÃ

ÄÄ

ÅÅ

ÆÆÆÇÇ

ÈÈ

ÉÉ

ÊÊÊËË

ÌÌ

ÍÍ

ÎÎÎ

ÏÏÏ

ÐÐÐ

ÑÑÑ

ÒÒ

ÓÓ

ÔÔÔ

ÕÕÕÖÖ

××

ØØ

ÙÙ

ÚÚ

ÛÛ

ÜÜ

ÝÝ

ÞÞ

ßß

àààáá

âââ

ããã

äää

ååå

ææ

çç

èèè

ééé

êê

ëë

ìì

íí

îî

ïï

ðð

ññ

òò

óó

ôô

õõ

ööö

÷÷÷

øø

ùù

úú

ûû

üüü

ýýý

þþ

ÿÿ

!!

""

##

$$$

%%%

&&

''

((

))

**

++

,,,--....

....

////

//// 000

11

22

33

44

55

66677

88

99

:::

;;

<<<

==

>>>

??

@@

AA

BBB

CCC

DDDEE

FF

GG

HHH

II

JJJ

KK

LLLMM

NN

OO

PP

QQ

RR

SS

TT

UU

VV

WW

XX

YY

ZZZ[[

\\\

]]

^^

__

```

aaa

bbb

ccc

dd

ee

ff

gg

hh

ii

jj

kk

lllmm

nn

oo

ppp

qqq

rrr

ssstt

uu

vvv

www

xxx

yyy

zz

{{

||

}}

~~

¡¡

¢¢

££

¤¤

¥¥

¦¦¦

§§§

¨¨¨

©©©

ªªª

«««¬¬

®®®¯¯

°°°±± ²²²

³³³

´´´

µµ

¶¶¶··

¸¸¸¹¹

ººººººººººººººº

»»»»»»»»»»»»»»»

¼¼½½

¾¾

¾¾¿¿ÀÀÁÁ

ÂÂ

ÃÃ

ÄÄ

ÅÅ

ÆÆ

ÇÇ

ÈÈ

ÈÈÉÉ

ÊÊ

ÊÊËËË

ÌÌ

ÍÍ

ÍÍÎÎÏÏ

ÐÐ

ÐÐÑÑÒÒÓÓ

ÔÔ

ÔÔÕÕÖÖ××

ØØ

ØØÙÙ

ÚÚ

ÚÚÛÛ

ÜÜ

ÝÝ

ÝÝÞÞÞßßß

àà

ààááâââããã

ää

ääååææçç

èè

éé

êê

ëë

ëëì

ìí

íî

îîïïï

ðð

ððññòòóóôôôõõõöö÷÷

øø

øøùù

úú

ûû

üü

ýý

ýýþ

þþÿÿÿ

!!!

""

##

$$

%%

%%&

&&'''(())

**

**++,,--..//

00

11

22

33

334

44555

66

6677

88

8899::;;<<==

>>

??

@@

AA

BBCC

DD

EE

FFFFFFFFFFFFFFFFFFFFFFFFFF

GGGGGGGGGGGGGGGGGGGGGGGGG

HH

II

JJ

JJKK

LL

MMNOPQRS

TTU

VV

WWXYZ[

\\]^_

``abcd

de

ef

g

hhi

jj

kklm

nn

oop

pqq

rr

sstu

vv

vvww

xx

yyz{

||

}}~

¡¡

¢£¤¤¥¥¦§

¨¨©

ªª

««

¬¬

®®

¯¯°±

²²

³³

´´

µµ

¶¶¶··

¸¹º»¼½

¾¾¿ÀÀÁÁ

ÂÂÃ

ÄÄÅ

ÆÇ

ÈÈÉÊË

ÌÌÍ

ÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎÎ

ÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏÏ

ÐÐÑ

ÒÒ

ÓÓ

mit der zul¨assigen Menge

S = {x ∈

^Ô

ⁿ : Ax ≤ b, x j ganzzahlig, j ∈ J ⊂ {1, . . . , n}}

Bemerkung: Wenn man einen Punkt x ^∗ hat, der (MILP) löst, gibt es keine Kriterien, mit denen man die Optimalität leicht nachweisen könnte.

Schlimmstenfalls muß man alle zul¨assigen Punkte untersuchen.

→ Exponentielle Laufzeit.

(MILP) ist ein N P -schweres Problem.

– 159 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

L¨osungsstrategien

I Relaxierungen: Vergr¨oßere die zul¨assige Menge.

z. B. lasse die Ganzzahligkeitsbedingungen weg → LP.

I Teilprobleme: Zerlege die zul¨assige Menge.

z. B. links: x i ≤ b x i ^S c , rechts: x i ≥ b x i ^S c + 1

I Heuristiken: Finde schnell zul¨assige Punkte.

z. B. Runden, Greedy-Heuristik

Diese Strategien m¨ussen an das konkrete Problem angepasst sein!

(5)

Grundlagen der Optimierung Lineare Optimierung

I Relaxierungen liefern lokale untere Schranken:

S ¯ i ⊇ S i = ⇒ min

x∈ ¯ S i

c ^T x ≤ min

x ∈ S _i c ^T x

I L¨osungen von Teilproblemen liefern globale obere Schranken:

S = S 1 ∪ S 2 = ⇒ min

x∈S i

c ^T x ≥ min

x∈S c ^T x

I Zul¨ assige Punkte liefern globale obere Schranken:

¯

x ∈ S = ⇒ c ^T ¯ x ≥ min

x ∈ S c ^T x

– 161 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Das Branch-&-Bound-Verfahren

1. Initialisiere die Liste der aktiven Subprobleme mit dem gegebenen Problem (MILP), x ^∗ := NULL.

2. Wenn die Liste leer ist, Stop: Problem (MILP) ist gel¨ ost, L¨ osung: x ^∗ .

3. Entferne ein Subproblem (SUB) aus der Liste, und arbeite es wie folgt ab.

4. L¨ ose die LP-Relaxierung von (SUB).

5. (SUB) ist unzul¨assig, gehe zu (10).

6. L¨ osung x ^S ist schlechter als bisher gefundener bester Punkt x ^∗ , gehe zu (10).

7. x ^S ist zul¨assig f¨ ur (MILP), neuer bester Punkt:

x ^∗ := x ^S , gehe zu (10).

8. Wende Heuristik an, um zul¨assigen Punkt x ^H zu finden. Ist dieser besser als x ^∗ : Setze x ^∗ := x ^H . 9. Teile (SUB) in zwei (oder mehr) neue

Subprobleme auf, schreibe diese in die Liste.

10. (SUB) ist abgearbeitet, gehe zu (2).

dominiert durch obere Schranke

ganzzahlige Lösung unzulässig

usw.

PSfrag replacements

xi ≤ bx S i c xi ≥ bx S i c + 1

– 162 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Konvexe H¨ulle

Polyeder: P = { x ∈

^Ô

ⁿ : Ax ≤ b } (Annahme: dim P = n) Zul¨assige Menge von (MILP): S := P ∩

^| ^J ^|

Die konvexe H¨ulle von S ist die kleinste konvexe Menge, die S enh¨alt.

convS =

x ∈

^Ô

ⁿ : x = X q

i=1

λ i x ⁱ , X q

i=1

λ i = 1, λ i ≥ 0, { x ¹ , . . . , x ^q } ist eine beliebige endliche Menge von Punkten aus S

– 163 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Konvexe H¨ulle

!!

""

##

$$

%%

&&

''

(((

)))

***

+++

,,,

--

..

//

//0

0

00

11

22

33

44

55

66

77

88

99

99:

:

::

;;

<<<

==

>>

??

@@

AA

BB

CC

DDD

EE

FFF

GG

HH

II

JJJ

KK

LL

MM

NNN

OOO

PPP

QQQ

RRR

SS

TTT

UU

VV

WW

XX

YY

ZZ

[[

\\\

]]]

^^

__

``

aa

bbb

cc

ddd

eee

ff

gg

hhh

ii

jj

kk

lll

mmm

nn

oo

pp

qq

rr

ss

tt

uu

vv

ww

xxx

yyy

zz

{{

||

}}

~~~

¡¡¡¢¢

¢¢

££

££¤¤¤¥¥¥¦¦§

§¨

¨©©ªª«

«¬

¬®®¯

¯°

°±±

²²

³³

´´

µµ

¶¶

··

¸¸

¸¸¹¹

ºº

»»

¼¼

½½

¾¾

¾¾¿¿

ÀÀ

ÁÁ

ÁÁÂ

ÂÃÃ

ÄÄ

ÅÅ

ÆÆ

ÇÇ

ÇÇÈÈÉÉÊÊË

ËÌ

ÌÍÍ

ÎÎ

ÏÏ

ÏÏÐ

ÐÐÑÑÑÒÒÓÓ

ÔÔ

ÕÕ

ÖÖ

ÖÖ×××

ØØ

ØØÙÙ

ÚÚ

ÚÚÛÛ

ÜÜ

ÜÜÝÝ

ÞÞ

ÞÞßßß

àà

áá

ââ

ââãã

ää

ääåå

ææ

çç

ççè

èééêêêëëëììíí

îî

ïï

ïïðððñññ

òò

òòóó

ôô

õõ

õõö

ö÷÷

øø

øøù

ùú

úûû

üü

üüýýý

þþ

ÿÿ

!!

""

##

$$

%%

&&

''

((

))

**

++

,,,

---

..

//

00

11

222

333

444

555

666

77

888

999

:::

;;;

<<

==

>>

??

@@@AA

BB

CC

DDD

EEE

FFF

GG

HH

II

JJJKK

LLL

MMM

NNN

OOO

PP

QQ

RR

SS

TTT

UUU

VVVWW

XX

YY

ZZ

[[

\\

]]

^^

__

``

aa

bb

cc

dd

ee

ff

gg

hh

ii

jj

kk

ll

mm

nn

oo

ppp

qqq

rr

ss

tt

uu

vvv

ww

xx

yy

zz

{{

||

}}

~~

¡¡

¡¡ ¢¢¢£££

¤¤¤

¥¥

¦¦

§§

¨¨¨

©©©

ªªªªªªªªªªªªªªªªªªªªªªªªªªª

««««««««««««««««««««««««««

¬¬¬

®®®¯¯

°°

±±

²²

³³

´´

µµ

¶¶

··

¸¸

¹¹

ºº

»»

¼¼¼

½½½

¾¾¾¿¿

ÀÀ

ÁÁ

ÂÂ

ÃÃ

ÄÄ

ÅÅ

ÆÆ

ÇÇ

ÈÈÈ

ÉÉÉ

ÊÊ

ËË

ÌÌÌ

ÍÍ

ÎÎÎ

ÏÏÏ

ÐÐÐÑÑ

ÒÒÒÓÓ

ÔÔ

ÕÕ

ÖÖ

××

ØØØ

ÙÙÙ

ÚÚÚ

ÛÛÛ

ÜÜ

ÝÝ

ÞÞÞ

ßßß

àà

áá

ââ

ãã

äää

ååå

æææ

çç

èèè

ééé

êê

ëë

ìì

íí

îîî

ïïï

ðð

ññ

òò

óó

ôô

õõ

öö

÷÷

øø

ùù

úú

ûû

üü

ýý

þþ

ÿÿ

!!

""

##

$$

%%

&&&

'''

(((

)))

***

+++

,,

--

...

///

000

111

22

33

44

55

66666666

7777777

7777777 88

88

99

::

::;;;

<<

==

>>??

@@@AAA

BBCC

DD

EE

FFFGGG

HH

II

JJ

KK

LLMM

NN

NNOO

PP

PPQQ

RRSS

TTTUUU

VVVWWW

XXYY

ZZ

ZZ[[

\\

]]

^^

^^___

``aa

bbbccc

ddee

ff

gg

hhii

jjkk

ll

llmm

nn

nnoo

pp

qq

rr

rrss

tt

uu

vv

ww

xxxyyy

zzz{{{

||}}

~~

¡¡

¢¢¢£££

¤¤

¥¥

¦¦§§

¨¨¨©©©

ªª

««

¬¬

®®¯¯

°°±±

²²

²²³³

´´

µµ

¶¶

¶¶··

¸¸

¸¸¹¹ ººº»»»¼¼¼½½½¾¾¿¿

ÀÀ

ÁÁ

ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ

ÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃÃ

PSfrag replacements

convS P

Satz E.12

conv S ist ein Polyeder mit Punkten von S als Ecken.

Die komplette Beschreibung von convS erfordert u. U. sehr viele

( ∼ expn) Ungleichungen. Deshalb arbeitet man besser mit

(6)

G¨ultige Ungleichungen und Facetten

G¨ ultige Ungleichungen f¨ur convS sind Ungleichungen, f¨ur die gilt:

α ^T x ≤ β ∀ x ∈ convS

Eine Seitenfl¨ ache von convS der Dimension k wird beschrieben durch eine gültige Ungleichung für convS, die von genau k + 1 affin unabhängigen Punkten aus convS mit Gleichheit erfüllt wird.

x 0 , x 1 , . . . , x k affin unabh¨angig

⇐⇒ x 1 − x 0 , . . . , x k − x 0 linear unabh¨angig:

PSfrag replacements

x 0

x 1

x 2

x 1 − x 0

x 2 − x 0

Seitenfl¨achen der Dimension 0 heißen Ecken Seitenfl¨achen der Dimension 1 heißen Kanten . . .

Seitenfl¨achen der Dimension n − 1 heißen Facetten.

– 165 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Schnittebenen

(eigentlich Schnitthyperebenen)

!!!

"""

###

$$$

%%

&&

''

((

))

**

++

,,

--

..

//

00

11

112

2

22

33

444

555

66

77

88

99

::

;;

<<<

==

>>>

??

@@

AA

BBB

CCC

DD

EE

FFF

GG

HHH

II

JJJ

KKK

LLL

MMM

NN

OO

OOP

P

PP

QQ

RR

SS

TTT

UU

VV

WW

XX

YY

ZZZ

[[[

\\\

]]

]]^

^

^^

__

```

aa

bb

cc

ddd

eee

ff

gg

ggh

h

hh

ii

jj

kk

ll

mm

nn

oo

ppp

qqq

rr

ss

tt

uu

vvv

ww

xx

yy

zz

{{

||

}}

~~

¡¡¢¢£

£¤

¤¤¥¥¥¦¦§§¨¨©©

ªª

««

¬¬

®®

¯¯

°°

±±

²²

²²³³³

´´

µµ

¶¶

¶¶···

¸¸

¹¹

¹¹ºº»»

¼¼

¼¼½½

¾¾

¿¿

¿¿À

ÀÁÁÂÂÃ

ÃÄ

ÄÅÅ

ÆÆ

ÆÆÇÇÇÈÈÉÉÊÊËË

ÌÌ

ÌÌÍÍ

ÎÎ

ÎÎÏÏ

ÐÐ

ÐÐÑÑ

ÒÒ

ÓÓ

ÔÔ

ÕÕ

ÖÖ

××

ØØ

ØØÙÙ

ÚÚ

ÛÛ

ÜÜ

ÜÜÝÝ

ÞÞ

ÞÞßßàààáááââããääåå

ææ

ææçççèèééêêëë

ìì

ììííîîïï

ðð

ññ

ññòòòóóó

ôô

ôôõõ

öö

öö÷÷÷

øø

ùù

ùùúúûû

üü

üüýýþþÿÿ

!!

""

##

$$$

%%%

&&

''

((

))

***

++

,,,

---

...//

000

11

22

33

44

55

66

77

888

999

::

;;

<<<

===

>>>

???

@@

AA

BBB

CC

DD

EE

FFFGG

HH

II

JJ

KK

LLL

MMM

NNN

OO

PP

QQ

RR

SS

TT

UU

VV

WW

XX

YY

ZZ

[[

\\

]]

^^

__

``

aa

bb

cc

dd

ee

ff

gg

hhh

iii

jj

kk

ll

mm

nnn

ooo

pp

qq

rr

ss

tt

uu

vv

ww

xx

yy

zz

{{

|||}}

~~~

¡¡¡

¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢

££££££££££££££££££££££££££

¤¤¤¥¥

¦¦¦

§§§

¨¨

©©

ªª

««

¬¬

®®

¯¯

°°

±±

²²

³³

´´´

µµµ

¶¶¶

··

¸¸

¹¹

ºº

»»

¼¼

½½

¾¾

¿¿

ÀÀÀÁÁ

ÂÂ

ÃÃ

ÄÄÄ

ÅÅÅ

ÆÆÆ

ÇÇ

ÈÈÈ

ÉÉÉ

ÊÊÊ

ËËË

ÌÌ

ÍÍ

ÎÎ

ÏÏ

ÐÐÐ

ÑÑ

ÒÒÒÓÓ

ÔÔ

ÕÕ

ÖÖÖ

×××

ØØ

ÙÙ

ÚÚ

ÛÛ

ÜÜÜÝÝ

ÞÞÞ

ßßß

ààà

ááá

ââ

ãã

ää

åå

æææ

ççç

èè

éé

êê

ëë

ìì

íí

îî

ïï

ðð

ññ

òò

óó

ôô

õõ

öö

÷÷

øøø

ùùù

úúú

ûûû

üü

ýý

þþ

ÿÿ

!!!

"""

###

$$

%%

&&&

''

((())

**

++

,,

--

...

///////

/////// 00

00

11

22

2233

44

55

6677

8899

:::;;;

<<

<<==

>>??

@@

@@AA

BB

CC

DDEE

FF

GG

HH

II

JJKK

LLLMMM

NNOO

PPQQ

RR

SS

TT

TTUU

VV

VVWW

XXYY

ZZZ[[[

\\]]

^^

^^__

``aa

bbcc

dd

ddee

ff

ffgg

hh

hhii

jj

kk

ll

mm

nn

nnoo

ppqq

rrss

ttuu

vvwwxxyy

zz

zz{{

||

}}

~~~

¡¡

¢¢

¢¢£££

¤¤¥¥

¦¦§§

¨¨©©

ªª

««

¬¬

®®¯¯

°°

±±

±± ²²³³´´µµ¶¶¶···

¸¸

¸¸¹¹

ºººººººººººººººººººººººººººººººººººººººº

»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»»

¼¼

¼¼½½¾¾¾¿¿¿

ÀÀ

ÁÁ ÁÁÂ

ÂÃÃ ÄÄÄÅÅÅ ÆÆ

ÆÆ

ÇÇ

ÇÇ ÈÈÉÉÊÊ

ÊÊ

ËË ËË

ÌÌÍÍ

ÎÎÎÏÏÏ

ÐÐ

ÐÐÑÑ

ÒÒÓÓ

ÔÔÕÕ

ÖÖÖ×××

ØØØÙÙÙ

ÚÚ

ÚÚÛÛ

ÜÜÜÝÝÝ

ÞÞßß

ààáá

ââ

ââãã

ää

åå åå

ææ

çç çç

èèéé

êêëë

ìì

íí íí

îî

îîïïï

ðð

ððñññ

òòóó

ôôõõ

öö

÷÷

øø

øøùùù

úúûû

üü

ýý ýý

þþÿÿ

!!

""##

$$$%%% &&&'''

((

(()) ***+++,,,--- ../

/0

0112233

4455

6677

8899

:::;;;

<<

==

>>??

@@AA

BB

CC CC

DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD

EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE

FF

GG GG

PSfrag replacements

convS P

x ⁺

Schnittebene

Abschneiden eines Punktes x ⁺ 6∈ S:

1. α ^T x ≤ β ∀ x ∈ S 2. α ^T x ⁺ > β

Separationsproblem: Finde eine Ungleichung (aus einer Familie von m¨oglichen Ungleichungen), die x ⁺ abschneidet.

Am besten: Facetten von convS als Schnittebenen.

– 166 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Schnittebenenalgorithmus

f¨ur das Problem min { c ^T x : x ∈ P ∩

^| ^J ^| } 1. t := 1. P ¹ := P.

2. L¨ose die LP-Relaxierung

c ^T x ^t := min { c ^T x : x ∈ P ^t } . Falls x j ^t ∈

∀ j ∈ J, STOP: (MILP) gel¨ost.

3. Generiere eine odere mehrere Schnittebenen α ^{j T} x ≤ β ^j , die x ^t von P ^t abschneiden.

4. Definiere P ^t+1 durch Hinzuf¨ugen der Ungleichung(en) α ^{j T} x ≤ β ^j zu P ^t (und evtl. durch Entfernen einiger vorher hinzugef¨ugter Ungleichungen).

5. Setze t := t + 1, und gehe zu (2).

– 167 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Generieren von Schnittebenen

I Problemspezifische Facetten z. B. Facetten des TSP-Polytops

Problem: Separation in polynomialer Laufzeit

I Lift-&-Project-Cuts f¨ur 0-1-Probleme Betrachte Facetten von

min c ^T x Ax ≤ b x j ∈ [0; 1] ∀ j ∈ J x i = 0 ∨ x i = 1

Farkas-Lemma → Charakterisierung der Facetten als Ecken eines Polyeders (Polare). Generierung von Facetten durch L¨osung von LPs, die im wesentlichen doppelt so groß sind wie Ax ≤ b.

I Gomory-Cuts

Runden von Koeffizienten, so daß die Ungleichung f¨ur ganzzahlige

Punkte erfüllt bleibt, aber für nichtganzzahlige Punkte verschärft

wird.

(7)

Grundlagen der Optimierung Lineare Optimierung

Grundlagen der Optimierung Lineare Optimierung

Dualit¨at

Primales Problem

max c T x

Ax ≤ b (P)

¨aquivalent: (z ∈ )

maxz z − c T x ≤ 0 Ax ≤ b

P z :=

x ∈ n :

− c T A

x ≤

− z b

– 145 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Lemma E.9 (Farkas-Lemma)

Sei A ∈ m × n , b ∈ m . Dann gilt entweder

∃ x ∈ n : Ax ≤ b oder

∃ u ∈ m : u ≥ 0, u T A = 0, u T b < 0.

– 146 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

max{c T x : Ax ≤ b}

= max{z : z − c T x ≤ 0, Ax ≤ b}

= max { z : P z 6 = {}}

≤ min { z : P z = {}}

= min { z : ∃ u ≥ 0, λ ≥ 0 : − λc T + u T A = 0, − λz +u T b < 0 } Wenn L¨osung mit λ = 0 existiert, ist P z = {} ∀ z.

Wenn L¨osung mit λ > 0 existiert:

= min{z : ∃u ≥ 0 : u T A = c T , u T b < z}

= min { u T b : u T A = c T , u ≥ 0 }

– 147 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Resultat: das Maximum von Problem (P) ist kleinergleich als das Minimum von Problem

min u T b u T A = c T u ≥ 0

(D)

(u ∈ m )

(D) heißt das zu (P) geh¨orende duale Problem.

Folgerung E.10

1. (P) ist unbeschr¨ankt = ⇒ (D) ist unzul¨assig.

2. (D) ist unbeschr¨ankt = ⇒ (P) ist unzul¨assig.

Schwache Dualit¨at:

x zulässig für (P), u zulässig für (D). Dann gilt c T x = u T Ax ≤ u T b

– 149 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Satz E.11 (Dualit¨atssatz)

Die beiden linearen Programme (P) und (D) haben optimale Lösungen mit dem gleichen Zielfunktionswert genau dann, wenn beide zulässige Lösungen haben.

(Beweis mit Farkas-Lemma) Folgerungen:

1. (P) hat endliches Optimum ⇐⇒ (D) hat endliches Optimum, beide haben den gleichen Zielfunktionswert.

2. (P) ist unbeschr¨ankt = ⇒ (D) ist unzul¨assig.

3. (D) ist unbeschr¨ankt = ⇒ (P) ist unzul¨assig.

4. (P) ist unzulässig = ⇒ (D) ist unzulässig oder unbeschränkt.

5. (D) ist unzulässig = ⇒ (P) ist unzulässig oder unbeschränkt.

– 150 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Komplementarit¨at

Im Optimum gilt:

1. Primale Zul¨assigkeit: Ax ≤ b 2. Duale Zul¨assigkeit: u T A = c T , u ≥ 0 3. ZF-Werte sind gleich: c T x = u T b

0 = u T b − c T x = u T b − u T Ax = u T (b − Ax) = X m

i=1

u i · (b − Ax) i

Wegen u i ≥ 0 und (b − Ax) i ≥ 0 gilt also:

1. Wenn u i 6 = 0, ist (b − Ax) i = 0.

2. Wenn (b − Ax) i 6 = 0. ist u i = 0.

Dies bezeichnet man mit Komplementarit¨ at.

– 151 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Im Simplex-Algorithmus, Schritt 1:

berechne Dualvariable:

u T := c T A −1 B

Teste, ob

u ≥ 0

= ⇒ duale Zul¨assigkeit + primale Zul¨assigkeit

= ⇒ Optimalit¨at

Wir sind also immer primal zul¨assig und im L¨osungspunkt auch dual

zul¨assig.

max c ^T x

maxz z − c ^T x ≤ 0 Ax ≤ b

x ∈ ⁿ :

− c ^T A

Sei A ∈ ^m ^× ⁿ , b ∈ ^m . Dann gilt entweder

∃ x ∈ ⁿ : Ax ≤ b oder

∃ u ∈ ^m : u ≥ 0, u ^T A = 0, u ^T b < 0.

max{c ^T x : Ax ≤ b}

= max{z : z − c ^T x ≤ 0, Ax ≤ b}

= min { z : ∃ u ≥ 0, λ ≥ 0 : − λc ^T + u ^T A = 0, − λz +u ^T b < 0 } Wenn L¨osung mit λ = 0 existiert, ist P z = {} ∀ z.

= min{z : ∃u ≥ 0 : u ^T A = c ^T , u ^T b < z}

= min { u ^T b : u ^T A = c ^T , u ≥ 0 }

min u ^T b u ^T A = c ^T u ≥ 0

(u ∈ ^m )

x zulässig für (P), u zulässig für (D). Dann gilt c ^T x = u ^T Ax ≤ u ^T b

1. Primale Zul¨assigkeit: Ax ≤ b 2. Duale Zul¨assigkeit: u ^T A = c ^T , u ≥ 0 3. ZF-Werte sind gleich: c ^T x = u ^T b

0 = u ^T b − c ^T x = u ^T b − u ^T Ax = u ^T (b − Ax) = X m

u ^T := c ^T A ⁻¹ B

min c ^T x Ax ≤ b

ⁿ : Ax ≤ b, x j ganzzahlig, j ∈ J ⊂ {1, . . . , n}}