Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x ) = a + bx.

(1)

Allgemeine lineare Funktionenapproximation

Bemerkung

Wesentlich f¨ur die Anwendbarkeit der linearen Gaußschen

Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x ) = a + bx.

Ist die gegebene Beziehung (etwa aus physikalischen Gründen) nichtlinear, so kann man versuchen, aus ihr eine lineare Beziehung für unter Umständen andere Größen zu gewinnen, aus denen sich dann nachträglich die eigentlich gesuchten Größen bestimmen lassen.

Beispiel E.3

y (x) = a

1 + bx = ⇒ 1 a + b

a x = 1

y (x) = ˜ y = ˜ a + ˜ bx

– 116 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

I lineare Optimierungsprobleme

I Polyeder

I Simplex-Algorithmus

I Dualit¨at

I kombinatorische ganzzahlige lineare Optimierungsprobleme

I Branch & Bound

I Schnittebenenverfahren

Lineare Optimierung

Einf¨uhrendes Beispiel: Barkeeper

Cocktails:

I Daiquiri (45 ml weißer Rum, 30 ml Cointreau, 30 ml Zitronensaft, 15 ml Zuckersirup, Eis), 5.50 Euro

I Kamikaze (30 ml Wodka, 30 ml Cointreau, 30 ml Zitronensaft, 1 Schuß Limonensirup, Eis), 4.50 Euro

I Long Island Ice Tea (20 ml Wodka, 20 ml weißer Rum, 20 ml Gin, 20 ml Cointreau, 4 TL Zitronensaft, 4 TL Orangensaft, 1/8 l Cola, 1 Orangenscheibe, Eis), 7.00 Euro

Vorhandene Spirituosen: 5 l weißer Rum, 6 l Cointreau, 4 l Wodka und 3 l Gin

Welche Cocktails muß der Barkeeper mixen, um m¨oglichst viel Geld einzunehmen?

– 118 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Variablen:

x 1 : Anzahl Daiquiris x 2 : Anzahl Kamikazes

x 3 : Anzahl Long Island Ice Teas Zielfunktion: Maximiere die Einnahmen:

max 5.50x 1 + 4.50x 2 + 7.00x 3

Nebenbedingungen:

Weißer Rum: 45x 1 + 20x 3 ≤ 5000

Cointreau: 30x 1 + 30x 2 + 20x 3 ≤ 6000

Gin: 20x 3 ≤ 3000

Wodka: 30x 2 + 20x 3 ≤ 4000

(2)

Optimierungsproblem:

max



 5.50 4.50 7.00





T

x



 



45 20

30 30 20 20 30 20



 

 x ≤



 

 5000 6000 3000 4000



 



Schreibweise: ≤ bei Vektoren u, v ∈ ⁿ

u ≤ v : ⇐⇒ ∀ i = 1, . . . , n : u _i ≤ v _i ( ≥ , <, > analog)

– 120 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

L¨osung mit MATLAB:

>> A = [ [ 45, 0, 20 ]; [30, 30, 20 ]; [ 0, 0, 20 ]; [ 0, 30, 20 ] ] A =

45 0 20

30 30 20

0 0 20

0 30 20

>> b = [ 5000, 6000, 3000, 4000 ] b =

5000 6000 3000 4000

>> c = [- 5.5, -4.5, -7 ] c =

-5.5000 -4.5000 -7.0000

>> x = linprog( c, A, b ) Optimization terminated.

x = 44.4444 33.3333 150.0000

Lineare Optimierungsprobleme

Definition E.4

Optimierungsprobleme mit linearer Zielfunktion und linearen (Gleichungs- und Ungleichungs-) Nebenbedingungen nennt man Lineare

Optimierungsprobleme, Lineare Programme, LPs.

Allgemeinste Form:

max c ^T x + d ^T y Zielfunktion Ax + By ≤ a ≤ -Ungleichungen Cx + Dy ≥ b ≥ -Ungleichungen Ex + Fy = g Gleichungen

x ≥ 0 vorzeichenbeschr¨ankte Variablen

– 122 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Weiteres Beispiel:

Tschebyscheffsche Approximationsaufgabe

Uberbestimmtes lineares Gleichungssystem ¨ Ax = b, A ∈ ^m ^× ⁿ , m > n L¨osung mit kleinstem Fehler:

min x k Ax − b k ∞

in der Norm k Ax − b k ∞ = max

i =1,...,m

X n

j=1

a _ij x _j − b _i

(siehe lineare Ausgleichsprobleme in 1)

(3)

Lineare Optimierung

Umformulierung: zus¨atzliche Variable δ ∈ min x,δ δ

X n

j=1

a ij x j − b i

≤ δ

Aufl¨osung der Betr¨age ergibt ein LP:

min x,δ δ X n

j=1

a _ij x _j − b _i ≤ δ X n

j=1

a ij x j − b i ≥ − δ

– 124 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Transformationen

1. min-Probleme werden zu max-Problemen, indem man die Zielfunktion mit − 1 multipliziert:

min c ^T x ⇐⇒ max − c ^T x

2. ≥ -Ungleichungen werden zu ≤ -Ungleichungen, indem man sie mit

− 1 multipliziert:

Ax ≥ b ⇐⇒ − Ax ≤ − b

3. Gleichungen kann man durch Paare von Ungleichungen ersetzen:

Ax = b ⇐⇒

Ax ≤ b Ax ≥ b

Lineare Optimierung

Transformationen

4. Ungleichungen kann man durch Einf¨uhrung von Schlupfvariablen zu Gleichungen machen:

Ax ≤ b ⇐⇒

Ax + s = b s ≥ 0

5. Vorzeichenunbeschr¨ankte Variablen kann man in Paare von vorzeichenbeschr¨ankten Variablen aufsplitten:

x = y − z, y ≥ 0, z ≥ 0

6. Die Vorzeichenbeschr¨ankungen kann man (formal) zu den anderen Ungleichungen hinzunehmen:

Ax ≤ b x ≥ 0

⇐⇒

A

−

x ≤ b

0 – 126 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Folgerung E.5

Man kann jedes allgemeine LP in der Standardform max c ^T x

Ax = b x ≥ 0 oder in der Form

max c ^T x Ax ≤ b schreiben.

Bemerkung E.6

Nat¨urlich kann man auch Nebenbedingungen und Variablen skalieren.

Das ist wichtig bei der numerischen Behandlung.

(4)

Wir betrachten im folgenden lineare Programme der (allgemeinen) Form max c ^T x

Ax ≤ b (P)

mit A ∈ ^m ^× ⁿ , b ∈ ^m , c ∈ ⁿ , x ∈ ⁿ .

– 128 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Geometrische Untersuchung

Die Nebenbedingungen sind lineare Ungleichungen α ^T x ≤ β (α 6 = 0)

!!" "

" "##$$%%& &

& &

& &''( (

( (

) )

) )* *

* *

+ +

+ +, ,

, ,--...//0 0

0 0112 2

2 23344455566778899 :::;;;<<<===>>?? @@AAB B

B B

C C

C CD D

D D

D DEEF F

F F

G G

G GH H

H H

I I

I IJ J

J J

J JKKL L

L L

M M

M MNNNOOOP P

P PQ Q

Q QRRRSSTTTUUVVWW XXXYYYZZZ[[[\\\]] ^^^___` `

` `

a a

a abbbccd d

d d

d de e

e ef f

f f

f fggg

h h

h hi i

i i

j j

j jkkkl l

l lmmnnoop p

p p

q q

q qrrssttuu vvvwwxxyyz z

z z{ {

{ {| |

| |

} }

} }~ ~

~ ~

PSfrag replacements

x

x 0

x − x 0

0 ϕ α α ^T x > β

α ^T x = β α ^T x < β Auf der Seite von α:

0 < cos ϕ =< α, x − x 0 >= α ^T (x − x 0 ) = α ^T x − α ^T x 0 = α ^T x − β Auf der Seite von − α: α ^T x < β

{ x : α ^T x = β } ist eine Hyperebene.

{ x : α ^T x ≤ β } (oder ≥ ) ist ein Halbraum.

Das System Ax ≤ b besteht aus den Ungleichungen α ^T ₁ x :=

X n

j=1

a 1j x _j ≤ b 1

.. . α ^T _m x :=

X n

j=1

a mj x j ≤ b m

A =



  α ^T ₁

.. . α ^T _m



 

¡¡¢¢

¢¢

££

¤¤

¤¤¥ ¥

¦§

¨

¨©ª

ª«

¬¬

®®¯¯°°

°°±

²²³

´´µµ

¶·

¸¹

ºº»

¼

¼½¾¿

ÀÁ

ÂÂ

ÂÂÃ

ÄÄÅ

ÆÆÇÇ

ÈÈÉÉÊÊ

Ë

ËÌ ÌÍÍÎÎ ÎÎÏÏÐÐÑÒÒÓ

ÔÕ

ÖÖ×

ØØ

ØØÙÙÚÚ ÚÚÛ

ÜÜÝÝ

ÞÞ

ÞÞßß

àá

ââ

ââããäå

ææç

èèéé

êë

ìì

ììí

îï

ðñòó

ôô

ôôõ

öö÷

øøùù

úúûû

üü

üüýýþþ þþÿÿ

!!""

""

##

$$

$$%%&&

&&

''

''((

((

)))***+++,,,---

..

..///00

00

11

1122

22

3344

44

5556 6

6 6

77

7788

88

99::;;<<<==>>??@@@

AAABBBCCDDDEEEFFGG

H H

H HII

II

JJKKLL

LL

MM

MMNN

NN

OO

OOPP

PP

QQQRR

RR

S S

S STTTUUVVWWXXYYZZ

[[\ \

\ \

]]

]]^^

^^

__

__``

``

aa

aabb

bb

ccdd

dd

e e

e eff

ff

gghh

hh

iijjjkkk

ll

llmmmnn

nn

oo

oopp

pp

qqrr

rr

sstttuu

vv

vvwwwxx

xx

yy

yyzzz{{|||}}}~~

¡¡¡ ¡¡¡¡¡¡¡¡¡¡ ¡¡¡¡¡¡¡¡¡¡ ¡

¡¡¡ ¡¡¡¡¡¡¡¡¡¡ ¡¡¡¡¡¡¡¡¡¡ ¡ ¢¢£¤¥¦¦§§¨¨¨©©©

ªªª««

¬¬

¬¬®®

®®¯¯

°°°±±±

²²

²²³³

³³

´´

´´µµµ

¶¶

¶¶··

··

¸¹ºº»»

¼¼

¼¼½½

½½

¾¾

¾¾¿¿

¿¿

ÀÀÁ

ÂÂ

ÂÂÃÃ

ÃÃ

ÄÄÅÅ

ÆÆ

ÆÆÇÇÇÈÈÈÉÉ

Ê Ê

Ê ÊËË

ËË

ÌÌÌÍÍ

ÎÎ

ÎÎÏÏ

ÐÐ

ÐÐÑÑ

ÑÑ

ÒÒÓÓ

ÔÔ

ÔÔÕÕÕÖÖ××

ØØ

ØØÙÙÙ

ÚÚ

ÚÚÛÛÜÜÝÝÞÞÞßßàààáá

ââãã

ää

ääåå

åå

æææççç

èè

èèéé

éé

êê

êêëë

ëë

ììííîîîïï

ðð

ððññ

ññ

òòóóôôõõ

öö

öö÷÷

÷÷

øø

øøùù

ùù

úú

úúûû

üü

üüý

þþ

þþÿÿ

!!

""

""## $$$%%&&''(())**

**++

++

,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,

--- --- ---

..

../ /

/ /

0011

222

333

444

555

666

777

888

999

999::

::

;;

<< <

<< <==

==

>>>

? ??

? ??@@AABBCC

DDD

EE EFFGGHH

HH

II

J JJ

J JJKK

KK

LLMM

NNOO

P PP

QQQRRSS

TTT

UUUVV

VV

WW

XXX

YY Y

ZZZ

ZZZ[[

[[

\\] ]

^^^

___

___` `

` `

aa

aabb

ccdd

dd

eeffgghh

hh

ii

jj j

kkk

lll

mm m

nnn

nnnoo

oo

pp

ppq q

rr

rrss

tt

ttuu

uu

vv

vvww

ww

xxx

xxxyy

yy

zz

zz{{

||

||}}

~~

¡¡

¢ ¢¢

¢ ¢¢££

¤¤¤

¥¥¥

¦¦¦§§

¨¨

¨¨©©

©©

ªª

ªª««

¬¬

® ®®

¯¯¯

°°±±

²²²³³

´´µµ

¶¶··¸¸ ¸¸¸

¸¸ ¸¸¸

¹¹¹¹¹

ºº»»¼¼

¼¼

½½

½½¾¾¿¿ÀÀ

ÀÀÁÁÂÂ ÂÂÃÃÄÄ

ÄÄ

ÅÅ

ÅÅÆÆ

ÆÆ

ÇÇÈÈ

ÈÈ

ÈÈÉ É

É É

ÊÊ

ÊÊËË

ËË

ËËÌÌÍÍÎ Î

Î Î

ÏÏ

ÏÏÐÐÑÑÒÒ

ÒÒÓÓ ÓÓÔÔÔÕÕ

Ö Ö

Ö Ö××ØØ ØØÙÙÚÚ

ÚÚÛÛÜÜÜÝÝÝ

ÞÞ

ÞÞßßàààááââ

ââãã ããäääåå

ææ

ææçç

çç

èè

èèéé

éé

ééêêëëìììííîîïïððññòòòóóôôõõöö

öö÷÷

÷÷øø

øø

ùù

ùùúú

úú

ûû

ûûüüüýýýþþþÿÿÿ

!!""

""##

##$$$%%&&&'''((

((

(())**++,,--...//00

00112 2

2 2

33

3344

44556667778899::;;

<<

<<==

==

>>

>>??@@@AAA

B B

B BCC

CC

D DDDDDDDDDD DDDDDDDDDD DDDDDD

EEE EEEEEEEEEE EEEEEEEEEE EEE

EEE EEEEEEEEEE EEEEEEEEEE EEE FFFGGGHHIIJJ

JJ

KK

LLL

MMMNNO O

PP P

QQQ

RR

RRSS

TT T

UUUVVWW

XXX

XXXYY

YY

ZZZ[[

\\]]

^ ^^__

` ``

aaa

bbbc c

ddee

ff

ffgg

hhii

jjkk

llmm

nnoo

pppq q

rr

rrs s

s s

ttuu

vvvww

xxx

y yyzz

zz

{{| |

| |

}}

~~ ~

¡¡

¢¢££

¤¤¤

¥¥¥

¦¦¦§§

¨¨©©

ªª

ªª««

¬¬

®®¯¯

°°

°°±±

²²²³³

´´

´´µµ

¶¶¶

¶¶¶··

¸¸

¸¸¹¹

¹¹

º º

º º»»

¼¼¼½½

¾¾

¾¾¿¿

ÀÀÀÁÁ

ÂÂÃÃ

ÄÄÅÅ

ÆÆÆ

ÇÇÇ È È

È ÈÉÉ

ÉÉ

ÊÊ Ê

ÊÊ ÊËË

ÌÌÌÍÍ

ÎÎÎ

Ï ÏÏ

ÐÐ ÐÐÐÐÐÐÐÐÐÐ ÐÐÐÐ

ÑÑÑÑÑ ÑÑÑÑÑÑÑÑÑÑ Ñ

ÒÒÓÓ

ÔÔÔ

ÕÕÕ

Ö×ØØ ØØÙÙ

ÚÚÛÛ

ÜÜÝÝ

ÞÞÞßß

ààà

ááá

âââãã

ääåå

æææ

çç ç

èèééê êê

ê êê

ëë ë

ëë ë ì ì

ì ìíí

íí

îî

îîïï

ðð

ððññ

ññ

òòò

òòòóó

óó

ôôôõõ

öö÷÷

øøùù

úûü üýý

þþþ

ÿÿÿ

!!

"#

$%& &

& &''

''

()

** *

+++

+++,-

. .

. .//

0011

22 2

333

44455

6 6

6 677

77

8899

: :;;

<<

<<==

> >>

???

@@@

AAA

BB

CDDEE

FG

HHH

HHHII

II

J JKK

LMN NOO

PPP

PPPQQ

RR R

RR RSS

TTUU

VVV

WW WXX

XX

YY

YYZ[

\\\\ \\\\\\\\\\ \\\\\\\\

]]]]]] ]]]]]]]]]] ]]]]]

^^__

Zulässige Menge

– 130 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Polyeder

Jede Zeile des Ungleichungssystems beschreibt einen Halbraum. Die zul¨assige Menge ist der Durchschnitt von (endlich vielen) Halbr¨aumen.

Dies nennt man ein Polyeder (wenn beschr¨ankt auch Polytop).

P := P(A, b) := { x : Ax ≤ b } Annahme: Das Polyeder ist voll-(n)-dimensional.

(dim P = n − RangA _eq(P ₎ , wobei A _eq(P) die Teilmatrix von A zu den

Ungleichungen ist, die von allen Punkten aus P mit Gleichheit erf¨ullt

werden.)

(5)

Lineare Optimierung

Konvexit¨at und Ecken

Bemerkung E.7

Ein Polyeder ist eine konvexe Menge. Konvex bedeutet, daß mit je zwei Punkten auch ihre gesamte Verbindungsstrecke in der Menge liegt:

x 6 = y ∈ P = ⇒ ∀ θ ∈ [0; 1] : x(θ) := x + θ(y − x) ∈ P.

Ein Punkt des Polyeders, der nie im Innern, sondern immer am Rand von solchen Verbindungsstrecken liegt, heißt Ecke:

z Ecke ⇐⇒ ∀ x 6 = y ∈ P : ( ∃ θ ∈ [0; 1] : z = x +θ(y − x)) = ⇒ (θ = 0 ∨ θ = 1)

– 132 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Satz E.8

Sei P := { x : Ax ≤ b } (A ∈ ^m×n ) ein volldimensionales Polyeder. Dann gilt: x 0 ∈ P ist Ecke von P genau dann, wenn n Ungleichungen mit linear unabh¨angigen Zeilen von A mit Gleichheit erf¨ullt sind:

∃ B ⊂ { 1, . . . , m } , | B | = n : ∀ i ∈ B : α ^T _i x = b i , { α i , i ∈ B } lin. unabh.

Schreibweise:

A _B :=



 

 .. . α ^T _i

.. .



 



i ∈ B

ist eine Teilmatrix von A aus den Zeilen mit Indizes aus B, genannt Basismatrix, und ist invertierbar.

A _B x = b _B

Lineare Optimierung

Ab jetzt: Annahmen: P ist volldimensional, und P hat (mindestens) eine Ecke.

Lineare Zielfunktion auf dem Polyeder:

!!

""#

$$%%

&&

&&''((

))

**++

,-./

001 223 4567

88

889

::;;

<<=

>>??@@

AA

BBC

DD

DDEE

FFGGHHIIJK

LM

NN

NNOOPP PPQ

RR

RRSS

TT

TTUUVV

VV

WW

WWXX XX

YY

YYZ[

\\]

^^_

`a

bb

bbcc ccde

fg

hhii

jj

kl

lm

nno ppq

rr

rrss

tt

ttuu

vvww

xxyy

zz{{|}

~

¡¡¢¢¢£££

¤¤

¤¤¥¥¦¦

¦¦

§§

§§¨¨

¨¨

©©©ªª

ªª

«««¬¬

¬¬

®®

¯¯°°±±²²³³

´´

´´µµ¶¶¶··¸¸¸¹¹ººº»»

¼¼

¼¼½½

½½

¾¾

¾¾¿¿

¿¿

ÀÀÁÁÂÂ

ÂÂ

ÃÃ ÃÃÄÄ

ÄÄ

ÅÅ

ÅÅÆÆ ÆÆ ÆÆ

ÇÇÇÈÈÈÉÉÉ

ÊÊ

ÊÊËË

ËË

ÌÌ

ÌÌÍÍÎÎÏÏÐÐÑÑ

ÒÒ

ÒÒÓÓÔÔ ÔÔÕÕ

ÖÖ

ÖÖ××

××

ØØ

ØØÙÙ ÙÙ

ÚÚ

ÚÚÛÛÛ

ÜÜ

ÜÜÝÝÞÞ

ÞÞ

ßß ßß ßßàààáá

ââ ââããää

ää

åå

ååæææççç

èè

èèééêê êê êê

ëëìì

ìì

ííîî

îî

ïïðððñññòòòóóóôôõõöö÷÷

øø

øøùùùúú

úú

ûû

ûûüüüýýýþþþÿÿÿ

!

""

""##

##$%

&&''()

**++

,, ,,-./01

2233

44 4455

6677

88

8899::;;

<<

<<==>?

@@ABBCC

DD

DDEE

FF

FFGG

GG

HIJJKLLM

NN

NNOO

OO

PPQQRSTUVVWXY

ZZ

ZZ[

\\

\\]]

^^

^^_``

``a

bbcc

dde

ff

ffgg

hijjkkllmno

pp ppq

rr

rrss ss

tt

ttuu

vv

vvwwxxyyzz{||}}

~~

¡

¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢¢

££££££££££££££££££££££££££

¤¤¤

¥¥¥¦¦§§

¨¨¨

©©©

ªªª««

¬¬¬

®®®

¯¯¯

°°±±

²²²

³³³

´´´

µµµ

¶¶¶··

¸¸¹¹

ººº»»

¼¼½½

¾¾

¾¾¿¿

ÀÀÁÁ

ÂÂÃÃ

ÄÄÅÅ

ÆÆÆÇÇ

ÈÈÉÉ

ÊÊÊËË

ÌÌ

ÌÌÍÍ

ÎÎÎ

ÏÏÏ

ÐÐÐ

ÑÑÑÒÒÓÓ

ÔÔÔ

ÔÔÔÕÕ

ÖÖ

ÖÖ××

××

ØØÙÙ

ÚÚ

ÚÚÛÛ

ÜÜÝÝ

ÞÞ

ÞÞßß

àààáá

âââãã

äää

äääåå

åå

ææçç

èèè

èèèéé

êê

êêëë

ëë

ìì

ììíí

íí

îîî

ïïï

ïïïðð

ðð

ññòò

òò

óóôôõõ

ööö

ööö÷÷

÷÷

øø øøùù

úúûû

üüü

ýýýþþ

þþ

ÿÿ

!!

"""

###$$

$$

%%

&&''

(((

)))

**++

,,,--....

....

////

00

0011

11

22

2233 33445566

66

77

7788 8899::

::;;

<<

<<==

==>>

>>

???@@

@@

AA

AABBCCDD

DD

DDEEEFFGGHH

HHIIJJ JJ

KK

KKLL LL

MM

MMNN

NN

OO

OOPP

PP

QQ

QQRRRSSSTT

TTUU UUVVVWW

XX

XXYYZZZ[[[\\

\\]]^^

^^

__

__``aabbccddee ffgghhhiiijjkkll

llmm

mm

nn

nnoo oopppqqqrrrsstttuuuvv

vv

ww

wwxx

xx

yy

yyzz

zz

zz{{{||}}~~

¡¡¢¢££¤¤

¤¤

¤¤¥¥¦¦

¦¦

§§

§§¨¨¨©©ªª

ªª

ªª««¬¬

¬¬®®¯¯°°±±

²²³³

´´

´´µµ µµ

¶¶¶··

¸¸

¸¸¹¹

¹¹

ººººººººººººººººººººººººººº

»»»»»»»»»»»»»»»»»»»»»»»»»»

»»»»»»»»»»»»»»»»»»»»»»»»»» ¼¼½½

¾¾¿¿

ÀÀ

ÀÀÁÁ

ÁÁ

ÂÂÂÃÃ

ÄÄ

ÄÄÅÅ

ÅÅ

ÆÆÆÇÇ

ÈÈ

ÈÈÉÉ

ÊÊÊËË

ÌÌÍÍ

ÎÎÎ

ÎÎÎÏÏ

ÏÏ

ÐÐÐÑÑ

ÒÒÓÓ

ÔÔÔÕÕ

ÖÖÖ

ÖÖÖ××

××

ØØØÙÙ

ÚÚ ÚÚÛÛ

ÜÜÜ

ÜÜÜÝÝ

ÝÝ

ÞÞßß

ààáá

ââãã

äää

ååå

æææ

çççèè

èè

éé

ééêê

ëë

ììì

ííí

îîî

ïïïðð

ðð

ññ

ññòò

òò

óó

ôôô

õõõöö÷÷

øøøùù

úúûû

üüýý

þþþ

ÿÿÿ

!!""

##$$

%%&&

&&

''

((())

**

**++

++

,,,

,,,--

..

..// //

00

0011

22233

44

4455 55

666

777

888

999

:::

;;;

<<<

=== >>??

@@@

AAA

BBB

CCC

DDDEE

FFFFFFFFFFFFFFFF

GGGGGGGGGGGGGGGG

HI

JJ

JJKK

L

LMN

NO

PPPQQ

RSTT

UU

VVWW XYZ[

\\

\\]] ]]^^_

``

``aabcdd ddee

ffgghhi jjklm

nnoo

pq

rrrss

ttu

vvww

xx

yz z{{||

||}}

~~

¡¡

¢£¤¥

¦§

¨¨©©

ªª«

¬¬

®¯

°±

²²

²²³

´´µµ

¶¶··

¸

¸¹º»

¼½

¾¾

¾¾¿¿ÀÀ ÀÀÁÁ

ÂÂ

ÂÂÃÃ

ÄÄÅÅ

ÆÆÇÇ

ÈÈ

ÈÈÉ

ÊÊËË

ÌÌÍÎÏ

ÐÐÑÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ

ÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒÒ

ÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓÓ

−2

1 3

4 6 2

−1

5 7

8 0

PSfrag replacements ^c ^T ^x ⁼

Beobachtung:

Satz: Wenn das LP eine Opti- mall¨osung hat, dann gibt es auch eine optimale Eckl¨osung.

– 134 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Berechnung der optimalen Ecke

Idee:

1. Starte mit einer zul¨assigen Ecke (d. h. einer Ecke, die alle Nebenbedingungen erf¨ullt).

2. Gehe zur n¨achsten Ecke, wobei die Zielfunktion ansteigt (bzw. nicht abnimmt).

3. Tue dies, bis keine Verbesserung mehr m¨oglich ist.

4. Vermeide, Ecken zweimal zu besuchen.

(6)

Simplex-Algorithmus der linearen Programmierung

Dantzig, 1947

hier: geometrische Version

0. Starte mit einer zul¨ assigen Ecke x ⁰ ∈ ⁿ .

Sei B die zugeh¨orige Zeilenindexmenge und A B die zugeh¨orige Basismatrix:

A _B x ⁰ = b _B bzw. x ⁰ = A ⁻ _B ¹ b _B

– 136 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

1. Ist x ⁰ optimal?

Definiere

u ^T := c ^T A ⁻ _B ¹ ∈ ⁿ Falls u ≥ 0, dann gilt f¨ur alle x mit Ax ≤ b:

c ^T x = u ^T A B x ≤ u ^T b B = u ^T A B x ⁰ = c ^T x ⁰

= ⇒ x ⁰ ist optimal. STOP.

2. Finde eine Richtung mit nicht abnehmender Zielfunktion.

Es gibt also (mindestens) ein i 0 ∈ B mit u i 0 < 0.

Sei

d := − A ⁻ _B ¹ e i 0

Dann gilt f¨ur alle λ ≥ 0:

c ^T (x ⁰ + λ · d) − c ^T x ⁰ = λ · c ^T d = − λ · c ^T A ⁻ _B ¹ e i 0

= − λ · u ^T e _i ₀ = − λ · u _i ₀ ≥ 0

= ⇒ Entlang der Richtung d nimmt die Zielfunktion nicht ab.

– 138 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

3. Ist das Problem unbeschr¨ ankt?

Finde die n¨achste zul¨assige Ecke in Richtung d , d. h.

α ^T _j (x ⁰ + λ · d ) = α ^T _j x ⁰ + λ · α ^T _j d ≤ ^! b j

Es gilt

α ^T _j x ⁰ ≤ b j ∀ j ∈ { 1, . . . , m } und

α ^T _j d = − α ^T _j A ⁻ _B ¹ e i 0 = − δ ji 0 ≤ 0 ∀ j ∈ B Falls auch

α ^T _j d ≤ 0 ∀ j ∈ { 1, . . . , m } \ B

dann können wir jedes λ > 0 wählen und bleiben immer zulässig.

= ⇒ Das Problem ist unbeschr¨ankt. STOP.

(7)

Lineare Optimierung

4. Bestimme die Schrittweite, um zur n¨ achsten zul¨ assigen Ecke zu gehen.

Es gibt also (mindestens) ein j ∈ { 1, . . . , m } \ B mit α ^T _j d > 0.

Bedingung f¨ur λ:

λ ≤ b j − α ^T _j x ⁰

α ^T _j d ∀ j ∈ { 1, . . . , m } \ B mit α ^T _j d > 0 Sei

λ := min

( b j − α ^T _j x ⁰

α ^T _j d , j ∈ { 1, . . . , m } \ B mit α ^T _j d > 0 )

und j 0 ∈ { 1, . . . , m } \ B ein zugeh¨origer Index.

– 140 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

5. Gehe zur n¨ achsten Ecke.

Definiere

x ¹ := x ⁰ + λ · d und

B neu := B \ { i 0 } ∪ { j 0 } Update von A B und A ⁻ _B ¹ .

Weiter mit Schritt 1 und x ¹ statt x ⁰ .

Lineare Optimierung

Bemerkungen zum Simplex-Algorithmus

Bei der Wahl von i 0 und j 0 hat man u. U. mehrere M¨oglichkeiten. Durch bestimmte Strategien (

” w¨ahle den kleinsten Index“) kann man vermeiden, dieselbe Ecke mehrmals zu besuchen. Da es nur endlich viele Ecken gibt, terminiert der Algorithmus dann nach endlich vielen Iterationen.

– 142 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Bemerkungen zum Simplex-Algorithmus

Die Anzahl aller Ecken ist exponentiell in m, n ( ∼ ^m _n

). Man kann Beispiele konstruieren (Klee-Minty), f¨ur die der Simplex-Algorithmus alle Ecken besucht. Die Worst-Case-Laufzeit des Simplex-Algorithmus ist also nicht polynomial.

Aber: Khachian (1979) und Karmakar (1984) haben polynomiale Algorithmen f¨ur LP gefunden. Also ist LP ∈ P .

In der Praxis ist der Simplex-Algorithmus sehr konkurrenzf¨ahig, typische Laufzeit ∼ 3m, ∼ log n.

Alternative: Innere-Punkt-Methoden (sp¨ater in dieser Vorlesung).

(8)

Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x ) = a + bx.

Allgemeine lineare Funktionenapproximation

Bemerkung

Wesentlich f¨ur die Anwendbarkeit der linearen Gaußschen

Ausgleichsrechnung ist, daß f¨ur die zu bestimmenden Gr¨oßen eine lineare Beziehung gegeben ist, z. B. y(x ) = a + bx.

Ist die gegebene Beziehung (etwa aus physikalischen Gründen) nichtlinear, so kann man versuchen, aus ihr eine lineare Beziehung für unter Umständen andere Größen zu gewinnen, aus denen sich dann nachträglich die eigentlich gesuchten Größen bestimmen lassen.

Beispiel E.3

y (x) = a

1 + bx = ⇒ 1 a + b

a x = 1

y (x) = ˜ y = ˜ a + ˜ bx

– 116 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

Lineare Optimierung

I lineare Optimierungsprobleme

I Polyeder

I Simplex-Algorithmus

I Dualit¨at

I kombinatorische ganzzahlige lineare Optimierungsprobleme

I Branch & Bound

I Schnittebenenverfahren

Lineare Optimierung

Einf¨uhrendes Beispiel: Barkeeper

Cocktails:

I Daiquiri (45 ml weißer Rum, 30 ml Cointreau, 30 ml Zitronensaft, 15 ml Zuckersirup, Eis), 5.50 Euro

I Kamikaze (30 ml Wodka, 30 ml Cointreau, 30 ml Zitronensaft, 1 Schuß Limonensirup, Eis), 4.50 Euro

I Long Island Ice Tea (20 ml Wodka, 20 ml weißer Rum, 20 ml Gin, 20 ml Cointreau, 4 TL Zitronensaft, 4 TL Orangensaft, 1/8 l Cola, 1 Orangenscheibe, Eis), 7.00 Euro

Vorhandene Spirituosen: 5 l weißer Rum, 6 l Cointreau, 4 l Wodka und 3 l Gin

Welche Cocktails muß der Barkeeper mixen, um m¨oglichst viel Geld einzunehmen?

– 118 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung Lineare Optimierung

Variablen:

x 1 : Anzahl Daiquiris x 2 : Anzahl Kamikazes

x 3 : Anzahl Long Island Ice Teas Zielfunktion: Maximiere die Einnahmen:

max 5.50x 1 + 4.50x 2 + 7.00x 3

Nebenbedingungen:

Weißer Rum: 45x 1 + 20x 3 ≤ 5000

Cointreau: 30x 1 + 30x 2 + 20x 3 ≤ 6000

Gin: 20x 3 ≤ 3000

Wodka: 30x 2 + 20x 3 ≤ 4000

Optimierungsproblem:

max



 5.50 4.50 7.00





T

x



 



45 20

30 30 20 20 30 20



 

 x ≤



 

 5000 6000 3000 4000



 



Schreibweise: ≤ bei Vektoren u, v ∈ n

u ≤ v : ⇐⇒ ∀ i = 1, . . . , n : u i ≤ v i ( ≥ , <, > analog)

– 120 –

Mathematik f¨ ur Informatiker III Grundlagen der Optimierung

Lineare Optimierung

L¨osung mit MATLAB:

>> A = [ [ 45, 0, 20 ]; [30, 30, 20 ]; [ 0, 0, 20 ]; [ 0, 30, 20 ] ] A =

45 0 20

30 30 20

0 0 20

0 30 20

>> b = [ 5000, 6000, 3000, 4000 ] b =

5000 6000 3000 4000

>> c = [- 5.5, -4.5, -7 ] c =

-5.5000 -4.5000 -7.0000

>> x = linprog( c, A, b ) Optimization terminated.

x = 44.4444 33.3333 150.0000

Schreibweise: ≤ bei Vektoren u, v ∈ ⁿ

u ≤ v : ⇐⇒ ∀ i = 1, . . . , n : u _i ≤ v _i ( ≥ , <, > analog)

max c ^T x + d ^T y Zielfunktion Ax + By ≤ a ≤ -Ungleichungen Cx + Dy ≥ b ≥ -Ungleichungen Ex + Fy = g Gleichungen

Uberbestimmtes lineares Gleichungssystem ¨ Ax = b, A ∈ ^m ^× ⁿ , m > n L¨osung mit kleinstem Fehler:

a _ij x _j − b _i

a _ij x _j − b _i ≤ δ X n

min c ^T x ⇐⇒ max − c ^T x

Man kann jedes allgemeine LP in der Standardform max c ^T x

max c ^T x Ax ≤ b schreiben.