Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x) = a + bx.

(1)

Bemerkung

Wesentlich f¨ur die Anwendbarkeit der linearen Gaußschen

Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x) = a + bx.

Ist die gegebene Beziehung (etwa aus physikalischen Gründen) nichtlinear, so kann man versuchen, aus ihr eine lineare Beziehung für unter Umständen andere Größen zu gewinnen, aus denen sich dann nachträglich die eigentlich gesuchten Größen bestimmen lassen.

Beispiel E.3 y(x) = a

1 + bx = ⇒ 1 a + b

a x = 1

y(x) = ˜ y = ˜ a + ˜ bx

– 116 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

I lineare Optimierungsprobleme

I Polyeder

I Simplex-Algorithmus

I Dualit¨at

I kombinatorische ganzzahlige lineare Optimierungsprobleme

I Branch & Bound

I Schnittebenenverfahren

– 117 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Einf¨uhrendes Beispiel: Barkeeper

Cocktails:

I Daiquiri (45 ml weißer Rum, 30 ml Cointreau, 30 ml Zitronensaft, 15 ml Zuckersirup, Eis), 5.50 Euro

I Kamikaze (30 ml Wodka, 30 ml Cointreau, 30 ml Zitronensaft, 1 Schuß Limonensirup, Eis), 4.50 Euro

I Long Island Ice Tea (20 ml Wodka, 20 ml weißer Rum, 20 ml Gin, 20 ml Cointreau, 4 TL Zitronensaft, 4 TL Orangensaft, 1/8 l Cola, 1 Orangenscheibe, Eis), 7.00 Euro

Vorhandene Spirituosen: 5 l weißer Rum, 6 l Cointreau, 4 l Wodka und 3 l Gin

Welche Cocktails muß der Barkeeper mixen, um m¨oglichst viel Geld einzunehmen?

– 118 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Variablen:

x 1 : Anzahl Daiquiris x 2 : Anzahl Kamikazes x 3 : Anzahl Long Island Ice Teas Zielfunktion: Maximiere die Einnahmen:

max 5.50x 1 + 4.50x 2 + 7.00x 3

Nebenbedingungen:

Weißer Rum: 45x 1 + 20x 3 ≤ 5000

Cointreau: 30x 1 + 30x 2 + 20x 3 ≤ 6000

Gin: 20x 3 ≤ 3000

Wodka: 30x 2 + 20x 3 ≤ 4000

(2)

Lineare Optimierung

Optimierungsproblem:

max



 5.50 4.50 7.00





T

x



 



45 20

30 30 20 20 30 20



 

 x ≤



 

 5000 6000 3000 4000



 



Schreibweise: ≤ bei Vektoren u,v ∈ ⁿ

u ≤ v :⇐⇒ ∀i = 1, . . . , n : u i ≤ v i

( ≥ , <, > analog)

– 120 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

L¨osung mit MATLAB:

>> A = [ [ 45, 0, 20 ]; [30, 30, 20 ]; [ 0, 0, 20 ]; [ 0, 30, 20 ] ] A =

45 0 20

30 30 20

0 0 20

0 30 20

>> b = [ 5000, 6000, 3000, 4000 ] b =

5000 6000 3000 4000

>> c = [- 5.5, -4.5, -7 ] c =

-5.5000 -4.5000 -7.0000

>> x = linprog( c, A, b ) Optimization terminated.

x = 44.4444 33.3333 150.0000

– 121 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Lineare Optimierungsprobleme

Definition E.4

Optimierungsprobleme mit linearer Zielfunktion und linearen (Gleichungs- und Ungleichungs-) Nebenbedingungen nennt man Lineare

Optimierungsprobleme, Lineare Programme, LPs.

Allgemeinste Form:

max c ^T x + d ^T y Zielfunktion Ax + By ≤ a ≤ -Ungleichungen Cx + Dy ≥ b ≥ -Ungleichungen Ex + Fy = g Gleichungen

x ≥ 0 vorzeichenbeschr¨ankte Variablen

– 122 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Weiteres Beispiel:

Tschebyscheffsche Approximationsaufgabe

Uberbestimmtes lineares Gleichungssystem ¨ Ax = b, A ∈ ^m ^× ⁿ , m > n L¨osung mit kleinstem Fehler:

min x k Ax − b k ∞

in der Norm k Ax − b k ∞ = max

i=1,...,m

X n

j=1

a ij x j − b i

(siehe lineare Ausgleichsprobleme in 1)

(3)

Umformulierung: zus¨atzliche Variable δ ∈ min x,δ δ

X n

j=1

a ij x j − b i

≤ δ

Aufl¨osung der Betr¨age ergibt ein LP:

min x,δ δ X n

j=1

a ij x j − b i ≤ δ X n

j=1

a ij x j − b i ≥ − δ

– 124 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Transformationen

1. min-Probleme werden zu max-Problemen, indem man die Zielfunktion mit − 1 multipliziert:

min c ^T x ⇐⇒ max − c ^T x

2. ≥-Ungleichungen werden zu ≤-Ungleichungen, indem man sie mit

− 1 multipliziert:

Ax ≥ b ⇐⇒ − Ax ≤ − b

3. Gleichungen kann man durch Paare von Ungleichungen ersetzen:

Ax = b ⇐⇒

Ax ≤ b Ax ≥ b

– 125 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Transformationen

4. Ungleichungen kann man durch Einf¨uhrung von Schlupfvariablen zu Gleichungen machen:

Ax ≤ b ⇐⇒

Ax + s = b s ≥ 0

5. Vorzeichenunbeschr¨ankte Variablen kann man in Paare von vorzeichenbeschr¨ankten Variablen aufsplitten:

x = y − z, y ≥ 0, z ≥ 0

6. Die Vorzeichenbeschr¨ankungen kann man (formal) zu den anderen Ungleichungen hinzunehmen:

Ax ≤ b x ≥ 0

⇐⇒

A

−

x ≤ b

0 – 126 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Folgerung E.5

Man kann jedes allgemeine LP in der Standardform max c ^T x Ax = b x ≥ 0 oder in der Form

max c ^T x Ax ≤ b schreiben.

Bemerkung E.6

Nat¨urlich kann man auch Nebenbedingungen und Variablen skalieren.

Das ist wichtig bei der numerischen Behandlung.

(4)

Lineare Optimierung

Wir betrachten im folgenden lineare Programme der (allgemeinen) Form max c ^T x

Ax ≤ b (P)

mit A ∈ ^m ^× ⁿ , b ∈ ^m , c ∈ ⁿ , x ∈ ⁿ .

– 128 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Geometrische Untersuchung

Die Nebenbedingungen sind lineare Ungleichungen α ^T x ≤ β (α 6 = 0)

!!

""

##

$$

%%

&&

'' ''(

(

)) ))*

*+++,,,

-- --

..

..//00

11 112

2

33 334 45566778899::

;;

<<

<<==>>??@@AABB

CC CC

DD DD

EE EEF

F

GG GG

HH HH

II II

JJ JJ

KK KK KK

LL LL LL

MM MMN NOOPP

QQ QQR

R

SS SST

TUUUVVVWWXXYYZZ[[\\]]]^^^__``

aa aab bccdd

ee ee

ff ff

gg gg gg

hh hh hh

ii ii

jj jj

kk kk kk

lll

mm mm

nn nn

oo oo

pp pp

qq qq

rr rrsstt

uu uu

vv vvwwxxyyzz

{{

||

}}

~~

PSfrag replacements

x

x 0

x − x 0

0 ϕ α α ^T x > β

α ^T x = β α ^T x < β Auf der Seite von α:

0 < cosϕ =< α, x − x 0 >= α ^T (x − x 0 ) = α ^T x − α ^T x 0 = α ^T x − β Auf der Seite von − α: α ^T x < β

{x : α ^T x = β} ist eine Hyperebene.

{ x : α ^T x ≤ β } (oder ≥ ) ist ein Halbraum.

– 129 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Das System Ax ≤ b besteht aus den Ungleichungen α ^T ₁ x :=

X n

j=1

a 1j x j ≤ b 1

.. . α ^T m x :=

X n

j=1

a mj x j ≤ b m

A =





 α ^T 1

.. . α ^T m







¡

¢¢££

¤¤

¥¥

¦¦

¦¦§

§

¨©ª«

¬

®®

®®¯

¯

°°

°°±

±

²²³³

´´µ

¶¶·

¸¹º

º»»

¼¼½

¾¾

¿¿À

ÀÁÁ

ÂÃ

ÄÄÅ ÆÆ ÇÇ ÈÈÉÊ

ÊËË

ÌÍÎ

ÎÏÏ

ÐÐÑÒÓÔÕÖ×ØÙ ÚÚ ÚÚÛ

Û

ÜÜ

ÝÝ ÞÞßàáâã ää ää

åå åå

æç

èèéé

êê

ëë ììí îîïðñòó ôôõ öö öö÷

÷

øùúû üüý þþ þþ

ÿÿ ÿÿ

!!

""

##$$%%&&

'' ''(

(

)) ))

**

++

++,

,

---...

///000

11 112

2

3344

55 556

6

77 77

88 88

99 99:

:

;;

<<

==>>

???@@@

AA AA

BB BB

CCDD

EEFF

GGHH

IIJJ

KK KK

LL LL

MMNN

OO OOP

P

QQRR

SS SST

T

UU UU UU

VVV

WWWXXX

YYZZ

[[

\\

]]^^

__

``

aa aa

bb bb

cc ccd

d

ee ee ee

ff ff ff

gg gg gg

hhh

iijj

kkll

mmnn

oo oop

p

qq qq qq

rr rr rr

sssttt

uu uu

vv vv

ww wwx

x

yy yy

zz zz

{{

{{|

|

}}~~

¡¡

¢¢

£££££££££££££££££££££££££

¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤¤

¥¥

¦¦§¨

©©ª

«««¬¬¬

®®

¯¯

¯¯°

°

±±

²²

³³´´

µµ¶¶

··

··¸

¸

¹¹

ºº ºº»¼

½½¾¾

¿¿

¿¿À

À

ÁÁ ÁÁÂ

Â

ÃÃÄÄ

ÅÅ ÅÅ

ÆÆ ÆÆ

ÇÇÈÈ

ÉÉ ÉÉÊ

Ê

ËËÌ

ÍÍ ÍÍÎ

Î

ÏÏÐÐ

ÑÑ ÑÑ

ÒÒ ÒÒ

ÓÓ ÓÓ ÓÓ

ÔÔ ÔÔ ÔÔ

ÕÕÖÖ

××

ØØ ØØ

ÙÙÙÚÚ

ÛÛ ÛÛ ÛÛ

ÜÜ ÜÜ

ÝÝ ÝÝÞ

Þ

ßßà

ááââ

ãããäää

ååææ

çççèè

éééêêê

ëëììííîî

ïï ïïð

ñññòòò

óóôô

õõöö

÷÷øø

ùù ùù ùù

úúú

ûûüü

ýý ýý ýý

þþ þþ

ÿÿ ÿÿ

!!

""#

$$

$$%

%

&&''

((

))*

*++

,, ,,- -..//

00000000000000000000000000 00000000000000000000000000 00000000000000000000000000 00000000000000000000000000 00000000000000000000000000 00000000000000000000000000 00000000000000000000000000

11111111111111111111111111 11111111111111111111111111 11111111111111111111111111 11111111111111111111111111 11111111111111111111111111 11111111111111111111111111 11111111111111111111111111

22 22

33 33

44

55

666 777

888 999

:::

;;;

<<<==

>>

??

@@@

AAA

BBBCC

DDD

EEE

FF GG

HHH

III

JJ KK

LL LL

MM MM

NNN

OOO

PP QQ

RR

SS

TTTUU

VV WW

XXX XXX

YYY YYY

ZZ [[

\\\]]

^^^__

``

aa

bbb bbb

ccc ccc

dd ee

ff

gg

hh hh

ii ii

jj kk

ll ll

mm mm

nnn ooo

ppp

qq

rrr sss

tt uu

vv vv

ww ww

xxxyy zzz{{

||

}}

~~

¡¡

¢¢¢

£££

¤¤¤

¥¥

¦¦¦

§§§

¨¨¨©©

ªªª

«««

¬¬

®®

¯¯

°°°±±

²²

³³

´´

µµ

¶¶

··

¸¸

¹¹ ºº

»»

¼¼¼¼¼

½½½½½

¾¾¿¿

ÀÀ ÀÀÁ ÁÂÂÃÃÄÄÅÅ

ÆÆ ÆÆ

ÇÇ ÇÇ

ÈÈ ÈÈ

ÉÉ ÉÉ

ÊÊ ÊÊ

ËË ËË

ÌÌ ÌÌ ÌÌ

ÍÍ ÍÍ ÍÍ

ÎÎ ÎÎÏ ÏÐÐÑÑ

ÒÒ ÒÒ ÒÒ

ÓÓ ÓÓ ÓÓ

ÔÔÕÕÖÖ××ØØØÙÙÙ

ÚÚ ÚÚ

ÛÛ ÛÛ

ÜÜ ÜÜÝ

Ý

ÞÞ ÞÞ

ßß ßßà

ààááá

ââ ââã ãääåå

ææ ææ

çç ççè

èéé

êê êêë

ë

ìì ìì ìì

íííîîïïððññòòóóôôôõõõöö÷÷

øø øø øø

ùù ùù ùù

úú úú

ûû ûû

üü üü

ýý ýý

þþ þþ þþ

ÿÿÿ

!

!""###$$$

%%

&&

'' '' ''

((()))***+++,,,--..//001122

33 33 33

444

55 55

66 66

77 778

8

99 99:

:;;<<==>>???@@@

AABB

CC CCD

D

EEEFFF

GG GG

HH HH

IIIIIIIIIIIIIIIIIIIIIIIIIII IIIIIIIIIIIIIIIIIIIIIIIIIII IIIIIIIIIIIIIIIIIIIIIIIIIII IIIIIIIIIIIIIIIIIIIIIIIIIII IIIIIIIIIIIIIIIIIIIIIIIIIII

JJJJJJJJJJJJJJJJJJJJJJJJJJJ JJJJJJJJJJJJJJJJJJJJJJJJJJJ JJJJJJJJJJJJJJJJJJJJJJJJJJJ JJJJJJJJJJJJJJJJJJJJJJJJJJJ JJJJJJJJJJJJJJJJJJJJJJJJJJJ

KKK

LLLMM

NN

OO OO

PP PP

QQQRR

SS SS

TT TT

UUU

VV WWW WWW

XXX XXX

YYY

ZZZ

[[

\\

]]]

^^^

___

```

aa bb

ccc ddd

eee eee

fff fff

ggg

hhhii

jj

kk kk

ll ll

mm nn

oo pp

qq rr

ss

tt uuu

vv

www www

xxx xxx

yy zz

{{{||

}}}

~~~

¡¡

¢¢

£££

¤¤¤

¥¥

¦¦

§§

¨¨

©©©

ªªª

«««

¬¬¬

®®

¯¯

°°

±±

²²

³³

´´

µµ µµ

¶¶

···

¸¸¸

¹¹

ºº ºº

»»»

¼¼¼

½½

¾¾

¿¿

ÀÀ ÀÀ

ÁÁÁÂÂ

ÃÃ ÄÄ

ÅÅÅ

ÆÆ ÇÇ

ÈÈ ÉÉ

ÊÊ

ËËËÌÌ

ÍÍÍ ÍÍÍ

ÎÎ ÎÎ

ÏÏÏ ÐÐÐ ÑÑÑ ÒÒÒ ÓÓÓÔÔ

ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ ÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕÕ

ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ

××

ØØ ÙÙÙ ÙÙÙ

ÚÚ ÚÚ

ÛÜÝÝ ÝÝ

ÞÞ ÞÞ

ßß

àà áá áá

ââ ââ

ãäåå ææ çèéé êê ëëëìì

íî

ïïï ïïï

ððð ððð

ññòò

óó

ôô õõ öö

÷÷÷

øø øø

ùù úúûû

üü ýþÿ

!!

""

##

$$$

%%%

&&

''()*+,, ,,

-- --

./00 11 2344 44

55 55

66 77 88899 :::

:::

;;;

<<<

==

>>

??@A BB BB

CC CC

DDD EEE FF GG HH II JKLMNN

OO PP

QQ RR

SS TT UU VVVWW XXX XXX

YYY YYY

ZZ [[

\\\]]

^^

__

``

aa

bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb bbbbbbbbbbbbbbbbbbbbbb

ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc ccccccccccccccccccccc

dd

ee

Zulässige Menge

– 130 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Polyeder

Jede Zeile des Ungleichungssystems beschreibt einen Halbraum. Die zul¨assige Menge ist der Durchschnitt von (endlich vielen) Halbr¨aumen.

Dies nennt man ein Polyeder (wenn beschr¨ankt auch Polytop).

P := P(A, b) := { x : Ax ≤ b } Annahme: Das Polyeder ist voll-(n)-dimensional.

(dim P = n − RangA eq(P) , wobei A eq(P) die Teilmatrix von A zu den

Ungleichungen ist, die von allen Punkten aus P mit Gleichheit erf¨ullt

werden.)

(5)

Konvexit¨at und Ecken

Bemerkung E.7

Ein Polyeder ist eine konvexe Menge. Konvex bedeutet, daß mit je zwei Punkten auch ihre gesamte Verbindungsstrecke in der Menge liegt:

x 6 = y ∈ P = ⇒ ∀ θ ∈ [0; 1] : x(θ) := x + θ(y − x) ∈ P.

Ein Punkt des Polyeders, der nie im Innern, sondern immer am Rand von solchen Verbindungsstrecken liegt, heißt Ecke:

z Ecke ⇐⇒ ∀ x 6 = y ∈ P : ( ∃ θ ∈ [0; 1] : z = x+θ(y − x)) = ⇒ (θ = 0 ∨ θ = 1)

– 132 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Satz E.8

Sei P := { x : Ax ≤ b } (A ∈ ^m×n ) ein volldimensionales Polyeder. Dann gilt: x 0 ∈ P ist Ecke von P genau dann, wenn n Ungleichungen mit linear unabh¨angigen Zeilen von A mit Gleichheit erf¨ullt sind:

∃ B ⊂ { 1, . . . ,m } , | B | = n : ∀ i ∈ B : α ^T i x = b i , { α i , i ∈ B } lin. unabh.

Schreibweise:

A B :=



 

 .. . α ^T i

.. .



 



i ∈ B

ist eine Teilmatrix von A aus den Zeilen mit Indizes aus B, genannt Basismatrix, und ist invertierbar.

A B x = b B

– 133 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Ab jetzt: Annahmen: P ist volldimensional, und P hat (mindestens) eine Ecke.

Lineare Zielfunktion auf dem Polyeder:

!

""

##

$%&' (()

*

*+,-./

00 11 22

3

34

455

6

6789 ::

;;

<<

==

>?@A

BBC

D

DEF

FGGHHIIJK

LL MM NN OO PP PP

QQ QQ

RR SS TT TTUU

VW

X

XYZ[\

\]]

^^ __`a

b

bcd

dee

fghi

jj

k

kl

lmmno

pp ppqq

rrs ttu vv vv

ww ww

xy

zz

{

{|}~

¡¡

¢¢¢£££

¤¤

¤¤¥¥¥

¦¦§§

¨¨

©©

ªª ªª

««

¬¬

®®

®®¯¯¯

°°±±

²²³³

´´µµ

¶¶¶···

¸¸¸¹¹¹

ºº»»

¼¼½½

¾¾¿¿

ÀÀÁÁ

ÂÂ ÂÂÃÃ

ÄÄÄÅÅÅ

ÆÆ ÆÆÇÇ

ÈÈÉÉ

ÊÊËË

ÌÌÍÍ

ÎÎÏÏ

ÐÐÑÑ

ÒÒ ÒÒÓÓ

ÔÔ ÔÔÕÕ

ÖÖ ÖÖ

××

ØØ ØØ ØØ

ÙÙ ÙÙ ÙÙ

ÚÚ ÚÚ ÚÚ

ÛÛ ÛÛ ÛÛ

ÜÜÝÝ

ÞÞßß

ààáá

ââ ââ

ãã ãã

ää ää

åå åå

ææçç

èè èèéé

êêëë

ìì ììíí

îî îî îî

ïï ïï ïï

ððññ

òòóó

ôôõõ

öö÷÷

øøùù

úúúûûû

üüüýýý

þþÿÿ

!!

""

##

##$

$%%

&&&''

(( (( ((

)) ))

**

++ ++

,, ,, ,,

-- -- --

./

0011

2233

44 4455

6677

889

::;;

<<

<<==

>>>??

@@AA

BBCC

DD DD

EE EE

FF FFGG

HHII

JJKK

LLM

NN NN NN

OO OO

PP PP QQ

RRSS

TTUU

VVVWWW

XXYY

ZZ ZZ

[[ [[

\\]]

^^_``a

bbc

dd dd ddeee

ffgg

hhii

jjkk

llmm

nnoo

pp ppqq rr rrss

tt tt ttuu

vv vv

ww ww

xxxyy

zzz{{{

|||}}}

~~

¡¡

¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢

££££££££££££££££££££££££££

¤¤¤¥¥

¦¦

§§

¨¨¨©©

ªªª««

¬¬¬

®®®¯¯

°°

±±

²²²³³

´´´

µµµ

¶¶¶

··

¸¸

¹¹

ºº

»»

¼¼

½½

¾¾

¿¿

ÀÀ ÁÁ

ÂÂ

ÃÃ

ÄÄ ÅÅ

ÆÆÆÇÇ

ÈÈ

ÉÉ

ÊÊÊ ÊÊÊ

ËËË ËËË

ÌÌ ÍÍ

ÎÎÎ ÎÎÎ

ÏÏÏ ÏÏÏ

ÐÐÐ

ÑÑ

ÒÒ ÓÓ

ÔÔÔ ÔÔÔ

ÕÕÕ ÕÕÕ

ÖÖ

××

ØØ ÙÙ

ÚÚ ÛÛ

ÜÜ ÝÝ

ÞÞ

ßß

ààà ááá

âââãã

äää

ååå

ææ çç

èè èè

éé éé

êê ëë ìì íí

îîîïï

ðð ññ

òò óó

ôô

õõ

ööö

÷÷÷

øø ùù

úú ûû

üü ýý

þþ ÿÿ

!!

"""##

$$

%%

&&

'' ((

))

**

++ ,,, ---...

... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// ///// /////

0011

22 22

33 334 4556677

88 88

99 99

:: ::

;;

<<

<<==

>>

??

@@

AA AA AABBCC

DD DD DDEEEFFGG

HH HH

II IIJJKK

LL LLMM

NN NNOO

PP PPQQRRSS

TT TT

UU UUV

VVWWW

XX XX

YY YYZ

Z[[

\\

]] ]]

^^

__ __ __```aaabbcc

dd ddeeffgghhhiii

jj jj jjkkk

ll ll

mm mm

nn nn

oo oo

pp pp pp

qq qq qqrrsstttuuu

vv vv vvwww

xx xx xxyyy

zz zz

{{ {{

||

||}}~~

¡¡¢¢££¤¤¤¥¥¥

¦¦

¦¦§§¨¨©©

ªª ªª ªª

««

««¬¬¬®®¯¯°°±±

²²³³

´´

´´µµ

¶¶··

¸¸

¹¹

ººººººººººººººººººººººººººº ººººººººººººººººººººººººººº ººººººººººººººººººººººººººº ººººººººººººººººººººººººººº ººººººººººººººººººººººººººº

»»»»»»»»»»»»»»»»»»»»»»»»»»»

»»»»»»»»»»»»»»»»»»»»»»»»»»» ¼¼½½

¾¾

¿¿

ÀÀ ÁÁ

ÂÂÂ ÃÃÃ

ÄÄ ÅÅ

ÆÆÆ

ÇÇÇ ÈÈÈ ÉÉÉ

ÊÊÊ ËËË

ÌÌ

ÍÍ ÎÎÎ

ÏÏ ÐÐÐ

ÑÑ

ÒÒ ÓÓ

ÔÔÔ ÕÕÕ ÖÖÖ

×××

ØØØ ÙÙÙ

ÚÚ ÛÛ

ÜÜ ÜÜ

ÝÝ ÝÝ

ÞÞ ßß

àà áá

ââ ãã

ää åå

æææçç

èè éé

êê ëë

ììì ííí

îîî

ïï ðð

ññ òò

óó ôôô

õõ öö

÷÷ øøø

ùù

úú ûû

üü ýý

þþþ ÿÿÿ

!!

""

##

$$

%%

&&

''

((())

** ++

,,,--

.. //

00 11

222 333

44 55

666 777

888

999::

;;

<<<

== >>??

@@@

AAA AAA

BBB CCC DDD EEE

FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF FFFFFFFFFFFFFFFF

GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG GGGGGGGGGGGGGGGG

HHII

JJ JJ

KK KKLMNN

NN

OO OO

PPP QQQ RSTU VVV WWW XX

YY

Z[

\\\]]

^_

``` aaa bb

cc dd dd

ee ee

ff gg hh ii jj jj

kk kklmnn

oo pqrsrs

ttuu

vvvww xxx xxx

yy yy

z{|}|}

~

¡¡

¢£¤¤

¤¤

¥¥

¦¦

§§

¨¨

©© ªªª

««

¬¬¬

®®¯°±

²²

³³

´´´

µµ

¶¶

··

¸¸

¹¹ º»¼½¾¾

¾¾

¿¿

ÀÀ

ÁÁ ÂÃÄÄ ÅÅ ÆÆÆ ÇÇÇ ÈÈ ÉÉ

ÊË

ÌÌÌ ÌÌÌ

ÍÍ ÍÍ

ÎÏÐÑ

ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ

ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ

−2 1

3 4

6 2

−1

5 7

8 0

PSfrag replacements ^c ^T ^x ⁼

Beobachtung:

Satz: Wenn das LP eine Opti- mall¨osung hat, dann gibt es auch eine optimale Eckl¨osung.

– 134 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Berechnung der optimalen Ecke

Idee:

1. Starte mit einer zul¨assigen Ecke (d. h. einer Ecke, die alle Nebenbedingungen erf¨ullt).

2. Gehe zur n¨achsten Ecke, wobei die Zielfunktion ansteigt (bzw. nicht abnimmt).

3. Tue dies, bis keine Verbesserung mehr m¨oglich ist.

4. Vermeide, Ecken zweimal zu besuchen.

(6)

Lineare Optimierung

Simplex-Algorithmus der linearen Programmierung

Dantzig, 1947 hier: geometrische Version

0. Starte mit einer zul¨ assigen Ecke x ⁰ ∈ ⁿ .

Sei B die zugeh¨orige Zeilenindexmenge und A B die zugeh¨orige Basismatrix:

A B x ⁰ = b B bzw. x ⁰ = A ⁻¹ _B b B

– 136 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

1. Ist x ⁰ optimal?

Definiere

u ^T := c ^T A ⁻¹ _B ∈ ⁿ Falls u ≥ 0, dann gilt f¨ur alle x mit Ax ≤ b:

c ^T x = u ^T A B x ≤ u ^T b B = u ^T A B x ⁰ = c ^T x ⁰

= ⇒ x ⁰ ist optimal. STOP.

– 137 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

2. Finde eine Richtung mit nicht abnehmender Zielfunktion.

Es gibt also (mindestens) ein i 0 ∈ B mit u i 0 < 0.

Sei

d := − A ⁻¹ B e i 0

Dann gilt f¨ur alle λ ≥ 0:

c ^T (x ⁰ +λ · d) − c ^T x ⁰ = λ · c ^T d = − λ · c ^T A ⁻¹ _B e i 0

= − λ · u ^T e i 0 = − λ · u i 0 ≥ 0

= ⇒ Entlang der Richtung d nimmt die Zielfunktion nicht ab.

– 138 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

3. Ist das Problem unbeschr¨ ankt?

Finde die n¨achste zul¨assige Ecke in Richtung d, d. h.

α ^T j (x ⁰ + λ · d) = α ^T j x ⁰ + λ · α ^T j d ≤ ^! b j

Es gilt

α ^T j x ⁰ ≤ b j ∀j ∈ {1, . . . ,m}

und

α ^T j d = − α ^T j A ⁻¹ _B e i 0 = − δ ji 0 ≤ 0 ∀ j ∈ B Falls auch

α ^T j d ≤ 0 ∀ j ∈ { 1, . . . , m } \ B

dann können wir jedes λ > 0 wählen und bleiben immer zulässig.

= ⇒ Das Problem ist unbeschr¨ankt. STOP.

(7)

4. Bestimme die Schrittweite, um zur n¨ achsten zul¨ assigen Ecke zu gehen.

Es gibt also (mindestens) ein j ∈ { 1, . . . , m } \ B mit α ^T j d > 0.

Bedingung f¨ur λ:

λ ≤ b j − α ^T j x ⁰

α ^T j d ∀ j ∈ { 1, . . . , m } \ B mit α ^T j d > 0 Sei

λ := min

( b j − α ^T j x ⁰

α ^T _j d , j ∈ { 1, . . . , m } \ B mit α ^T j d > 0 )

und j 0 ∈ {1, . . . , m} \ B ein zugeh¨origer Index.

– 140 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

5. Gehe zur n¨ achsten Ecke.

Definiere

x ¹ := x ⁰ + λ · d und

B neu := B \ { i 0 } ∪ { j 0 } Update von A B und A ⁻¹ B .

Weiter mit Schritt 1 und x ¹ statt x ⁰ .

– 141 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Bemerkungen zum Simplex-Algorithmus

Bei der Wahl von i 0 und j 0 hat man u. U. mehrere M¨oglichkeiten. Durch bestimmte Strategien (

” w¨ahle den kleinsten Index“) kann man vermeiden, dieselbe Ecke mehrmals zu besuchen. Da es nur endlich viele Ecken gibt, terminiert der Algorithmus dann nach endlich vielen Iterationen.

– 142 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Bemerkungen zum Simplex-Algorithmus

Die Anzahl aller Ecken ist exponentiell in m, n ( ∼ ^m n

). Man kann Beispiele konstruieren (Klee-Minty), f¨ur die der Simplex-Algorithmus alle Ecken besucht. Die Worst-Case-Laufzeit des Simplex-Algorithmus ist also nicht polynomial.

Aber: Khachian (1979) und Karmakar (1984) haben polynomiale Algorithmen f¨ur LP gefunden. Also ist LP ∈ P .

In der Praxis ist der Simplex-Algorithmus sehr konkurrenzf¨ahig, typische Laufzeit ∼ 3m, ∼ log n.

Alternative: Innere-Punkt-Methoden (sp¨ater in dieser Vorlesung).

(8)

Lineare Optimierung

Wie erh¨alt man eine zul¨assige Ecke x ⁰ , um den Simplex zu starten?

Formuliere ein Hilfsproblem, z. B. (mit y ∈ ) max x,y y

Ax − y · b ≤ 0 − y ≤ 0 y ≤ 1

Für dieses Problem ist der Punkt x = 0, y = 0 zulässig, er kann also als Startpunkt genommen werden, um das Hilfsproblem mit dem Simplex-Algorithmus zu lösen. (sogenannte Phase I)

Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x) = a + bx.

Bemerkung

Wesentlich f¨ur die Anwendbarkeit der linearen Gaußschen