Vorlesung Einf¨uhrung in die Mathematische Optimierung (Wintersemester 2019/20)

(1)

Vorlesung Einf¨ uhrung

in die

Mathematische Optimierung (Wintersemester 2019/20)

Kapitel 6: Der Simplex-Algorithmus

Volker Kaibel

Otto-von-Guericke Universit¨at Magdeburg

(Version vom 20. Dezember 2019)

(2)

Gliederung

Ecken, Kanten, Extremalstrahlen

Geometrische Beschreibung des Simplex-Algorithmus Algebraische Beschreibung des Simplex-Algorithmus Pivot-Regeln und Komplexit¨at

Der Simplex-Algorithmus im Gleichungsformat Der revidierte Simplex-Algorithmus

Pivotisieren in Tableaus/Dictionaries Der duale Simplex-Algorithmus

(3)

Das Bild

[Bild: Marc Pfetsch, TU Braunschweig]

(4)

Ecken

Erinnerung

◮ Ein Polyeder P ∕=∅heißt spitz, wenn lineal(P) ={O} ist.

Ecken sind die minimalen Seiten eines spitzen Polyeders.

◮ Spitze Polyeder sind nicht-leer. Die Ecken eines Polyeders P sind seine null-dimensionalen (d.h. einpunktigen) Seiten. Ist {v}eine Ecke von P, so nennen wir auch den Punktv eine Ecke von P.

spitz nicht spitz

(5)

Ecken und Lineare Optimierung

Folgerungen

◮ Sind P^≤(A,b) spitz und (LP)max{〈c,x〉 : Ax ≤b,x∈Rⁿ} nicht unbeschr¨ankt, so nimmt (LP) sein Optimum in einer Ecke von P^≤(A,b) an (Kor. 5.32).

◮ (Eine solche optimale Ecke kann mit polynomialen

Algorithmen f¨ur lineare Optimierungsprobleme in polynomialer Zeit bestimmt werden.)

◮ IstP ⊆ ⁿ+ ein Polyeder, so istP spitz oder P =∅.

◮ Jedes lineare Optimierungsproblem kann in die Form max{〈c,x〉 : Cx ≤d,x∈ ⁿ+} gebracht werden.

(6)

Charakterisierungen von Ecken

Satz 6.1

F¨urA∈R^m^×ⁿ,b∈R^m und v ∈P^≤(A,b) sind folgende Aussagen paarweise ¨aquivalent (mitEq(v) = {i ∈[m] : 〈Ai,!,v〉=bi}):

1. v ist eine Ecke von P^≤(A,b).

2. {v}={x ∈P^≤(A,b) : A_Eq(v),!x=b_Eq(v)} 3. {v}={x ∈Rⁿ : A_Eq(v_),!x =b_Eq(v)} 4. rang(A_Eq(v),!) =n

5. F¨ur allex,y ∈P^≤(A,b)\ {v} giltv ∕∈conv{x,y}.

(7)

Eindimensionale Seiten spitzer Polyeder

Definition 6.2

Eine eindimensionale SeiteF eines spitzen PolyedersP heißt eine Kantevon P, wennF beschr¨ankt ist, und einExtremalstrahl vonP, wennF unbeschr¨ankt ist.

Bemerkung 6.3

SeiP ⊆Rⁿ ein spitzes Polyeder.

1. Zu einer KanteE vonP gibt es genau zwei Eckenv und w von P mitE = conv{v,w};v und w heißen dann Nachbarn voneinander.

2. Zu einem Extremalstrahl R von P gibt es genau eine Eckev von P und ein y ∈char(P)\ {O} mitR=v+ cone(y).

(8)

Extremalstrahlen von polyedrischen Kegeln

Bemerkung 6.4

IstK ⊆Rⁿ ein spitzer polyedrischer Kegel, so istOndie einzige Ecke vonK. Sindy⁽¹⁾, . . . ,y^(r⁾∈Rⁿ\ {Oⁿ}so, dass

cone(y⁽¹⁾),. . . ,cone(y^(r⁾) die Extremalstrahlen vonK sind, so ist K = ccone{y⁽¹⁾, . . . ,y^(r⁾}.

(Die Extremalstrahlen sind die minimalen echten Seiten vonK.)

(9)

Der Radialkegel einer Ecke

Satz 6.5

SeienA∈R^m^×ⁿ,b ∈R^m undv eine Ecke von P = P^≤(A,b).

Dann gelten f¨urKv(P) = cone (P −v)und Nv(P) = (Kv(P))^◦: 1. Kv(P) ={y ∈Rⁿ : AEq(v),!y≤OEq(v)}

2. Sind w⁽¹⁾, . . . ,w^(s)∈P die Nachbarn vonv inP und

v+ cone(y⁽¹⁾), . . . ,v+ cone(y^(t)) die Extremalstrahlen vonP, deren Ecke v ist (mity⁽¹⁾, . . .y^(t)∈Rⁿ\ {Oⁿ}), so sind

cone (w⁽¹⁾−v), . . . ,cone (w^(s)−v), cone (y⁽¹⁾), . . . ,cone (y^(t))

die Extremalstrahlen von Kv(P). Insbesondere ist dann Nv(P) = !

z ∈Rⁿ : 〈z,w⁽ⁱ⁾〉 ≤ 〈z,v〉 f¨ur alle i ∈[s],

〈z,y⁽ⁱ⁾〉 ≤0 f¨ur alle i ∈[t]"

.

(10)

Beispiel

(11)

In einer Ecke

Korollar 6.6

F¨ur allev ∈P^≤(A,b)und c ∈Rⁿ gilt: v ist genau dann Optimall¨osung vonmax{〈c,x〉 : Ax ≤b,x∈Rⁿ}, wenn c ∈ccone{Ai,! : i ∈Eq(v)} ist.

Korollar 6.7

(Mit den Notationen aus Satz 6.5)

Istc ∈Rⁿ, so gilt f¨ur (LP)max{〈c,x〉 : Ax ≤b,x ∈Rⁿ} wenigstens eine der drei Aussagen:

1. v ist Optimall¨osung von (LP).

2. Es gibt einen Nachbarn w⁽ⁱ⁾ (i ∈[s]) von v mit

〈c,v〉<〈c,w⁽ⁱ⁾〉 .

3. Es gibt ein y⁽ⁱ⁾ (i ∈[t]) mit〈c,y⁽ⁱ⁾〉>0 (also ist (LP) unbeschr¨ankt).

(12)

Der Simplex-Algorithmus (geometrisch)

◮ Eingabe: A∈Q^m^×ⁿ,b∈Q^m,c ∈Qⁿ,P = P^≤(A,b)

◮ Ausgabe: Eine Optimall¨osung von

(LP) max{〈c,x〉 : Ax ≤b,x ∈Rⁿ} oder die Feststellung, dass (LP) unbeschr¨ankt ist.

◮ Annahme:Wir kennen eine Eckev von P

1. Finde ein y ∈Rⁿ\ {Oⁿ}, so dasscone (y) Extremalstrahl von Kv(P) ist mit〈c,y〉>0 (Fall A) oder stelle fest, dass kein solchesy existiert (Fall B).

2. Fall B: STOP (“v ist eine Optimall¨osung von (LP)”) 3. Fall A:

◮ FallsAy ≤Om (alsov+ cone(y)Extremalstrahl vonP):

STOP (“(LP) unbeschr¨ankt”)

◮ Sonst:w =v+ max{λ∈ + : v+λy∈P^≤(A,b)}y Nachbar vonv mit〈c,v〉<〈c,w〉(es giltcone(y) = cone(w−v)) Setzev ←w und gehe zu Schritt 1.

(Endet, weilP endlich viele Ecken hat.)

(13)

Bemerkungen und Fragen

◮ Wie f¨uhrt man Schritt 1 algebraisch aus? (I)

◮ Welchen Extremalstrahl w¨ahlt man in Schritt 1, wenn mehrere

in Frage kommen? (II)

◮ Wie findet man eine Startecke?

◮ Originalproblem: (LP)max{〈c,x〉 : Ax ≤b}

◮ Transformation in: (LP’)max{〈f,z〉 : Bz ≤d,z ≤O}

(mitB∈Q^m×n,d∈Q^m,f ∈Qⁿ)

◮ Hilfsproblem:

(AUX)max{〈 m,s〉 : Bz+Ims ≤d,z ≤On,s≤Om}

◮ Definieres^(start)∈Q^m vias_i^(start):= min{d_i,0} (i ∈[m])

◮ (On,s^(start))ist Ecke des f¨ur (AUX) zul¨assigen Polyeders.

◮ Simplex-Algorithmus⇝optimale Ecke(z^!,s^!)f¨ur (AUX).

◮ Fallss^!∕=Om: (LP’)/(LP) unzul¨assig

◮ Sonst:z^!Startecke f¨ur Simplex-Algorithmus f¨ur (LP’)

(14)

Spitze Kegel

◮ Sei A∈R^p^×ⁿ so, dassK ={y ∈Rⁿ : Ay ≤Op} spitz ist (alsorang(A) =n).

◮ Sei I ⊆[p] (|I|=n) so, dass AI,! regul¨ar ist (I U-Basis)

◮ K(I) :={y∈Rⁿ : AI,!y ≤OI}ist spitz mit K ⊆K(I).

“Simplizialer Relaxationskegel”

◮ Satz von Carath´eodory (Satz 2.31)⇝

Wenn c ∈K^◦= ccone{A1,!, . . .Ap,!}, dann gibt es I^′ ⊆[p]

mit {Ai,! : i ∈I^′} linear unabh¨angig und c ∈ccone{Ai,! : i ∈I^′}(alsoc ∈#

K(I^!)$_◦

f¨ur einI^! ⊇I^′).

(15)

Spitze Kegel

◮ Satz 5.27 impliziert f¨ur y ∈Rⁿ:

cone(y) ist genau dann Extremalstrahl von K(I), wenn AI,!y=−α _i f¨ur ein i ∈I undα >0ist.

◮ Mit y⁽ⁱ⁾ =−A⁻_I_,!¹ i (f¨ur i ∈I) sind alsocone (y⁽ⁱ⁾) (i ∈I) die Extremalstrahlen von K(I) (−y⁽ⁱ⁾ ist Spaltei von A⁻_I,!¹)

◮ Falls 〈c,y⁽ⁱ⁾〉 ≤0 f¨ur alle i ∈I (“optimal”):

〈c,y〉 ≤0f¨ur alle y ∈K ⊆K(I)

◮ Sonst w¨ahle iaus∈I mit〈c,y⁽ⁱ^aus⁾〉>0.

◮ SetzeI^>:={i ∈[p] : 〈Ai,!,y⁽ⁱ^aus⁾〉>0}⊆[p]\I

◮ Falls I^>=∅(“verbessernde Richtung”):

cone(y⁽ⁱ^aus⁾) ist Extremalstrahl vonK mit〈c,y⁽ⁱ^aus⁾〉>0

◮ Sonst w¨ahle iein ∈I^> und setzeIneu:=I\ {iaus}∪{iein}.

◮ AIneu,! ist regulär (AI\{iaus},!y⁽ⁱâus⁾=O,〈Aiein,!,y⁽ⁱâus⁾〉 ∕= 0).

(16)

Bland’s Regel

Lemma 6.8

SeiI(0),I(1), . . . ,I(s) eine gem¨aß der Regeln auf der vorigen Folie erzeugte Folge von U-BasenI(σ)⊆[p], wobei f¨ur jedes

σ∈{0,1, . . . ,s−1} mitI =I(σ) gelte:

◮ iaus= min{i ∈I : 〈c,y⁽ⁱ⁾〉>0} (1)

◮ iein = min(I^>) (2)

◮ I(σ+ 1) =Ineu

Dann sind die U-BasenI(0),I(1), . . . ,I(s) von[p]paarweise verschieden. Insbesondere:s ≤#_p

n

$ (beschr¨ankt in p und n).

Bemerkung 6.9

Bland’s Regel(die Auswahlregeln (1) und (2)) sind eine Antwort auf Fragen (I) und (II).

(17)

Der Simplex-Algorithmus (algebraisch)

◮ Ecke v von P = P^≤(A,b) und I ⊆Eq(v) mitAI,! regul¨ar (I ist eine U-Basis von v)

◮ (Kv(P) ={y ∈Rⁿ : AEq(v),!y ≤OEq(v)}) 1. Berechne y⁽ⁱ⁾=−A⁻_I,!¹ i (f¨ur allei ∈I)

2. Falls 〈c,y⁽ⁱ⁾〉 ≤0 für alle i ∈I: STOP (“v Optimallösung”) 3. Sonst wähle iaus∈{i ∈I : 〈c,y⁽ⁱ⁾〉>0}. (W-aus) 4. Berechne I^>={i ∈Eq(v) : 〈Ai,!,y⁽ⁱâus⁾〉>0}⊆Eq(v)\I. 5. Falls I^>∕=∅:

◮ W¨ahlei_ein∈I^>. (W-ein)

◮ SetzeI ←I\ {i_aus}∪{i_ein} und gehe zu 1.

6. Sonst (y⁽ⁱ^aus⁾∈Kv(P) mit〈c,y⁽ⁱ^aus⁾〉>0):

◮ BerechneI_rest^> ={i ∈[m]\Eq(v) : 〈A_i,!,y⁽ⁱ^aus⁾〉>0}

◮ FallsI_rest^> =∅(y⁽ⁱ^aus⁾∈char(P)): STOP (“unbeschr¨ankt”)

◮ Sonst berechneλi= _〈A^bⁱ^−〈A^i,!^,v^〉

i,!,y^(iaus)〉>0 (f¨ur allei∈I_rest^> )

◮ W¨ahleiein∈I_rest^> mitλiein= min{λi : i ∈I_rest^> }.

◮ Ersetzev ←v+λieiny⁽ⁱ^aus⁾ undI ←I\ {iaus}∪{iein}, gehe zu 1.

(18)

Bemerkungen zur Korrektheit

◮ Für I^′ =I\ {iaus} und Ineu=I^′∪{iein} istAIneu,! regulär, da AI^′,!y⁽ⁱâus⁾=OÎ^′, aber〈Ai_ein,!,y⁽ⁱâus⁾〉 ∕= 0.

◮ λ_i_ein >0und λ_i_ein = max{λ:v+λy⁽ⁱ^aus⁾∈P}

◮ F¨ur w =v+λ_i_einy⁽ⁱ^aus⁾ gilt also

◮ w ist die Nachbarecke vonv mitcone(w−v) = cone(y⁽ⁱ^aus⁾)

◮ Ineu⊆Eq(w),〈c,w〉 − 〈c,v〉=λiein〈c,y⁽ⁱ^aus⁾〉>0

Satz 6.10

Der Simplex-Algorithmus stoppt nach endlich vielen Schritten mit einer korrekten Antwort, wenn man die Wahlen (W-aus) und (W-ein) stets minimal vornimmt (Bland’s Regel).

◮ Es gibt Beispiele, bei denen der Algorithmus bei ungeeigneten Wahlen (W-aus) und (W-ein) nicht endet (⇝Zykeln).

◮ Andere zykelfreie Strategien: lexikographische Regeln

◮ Ist das Problem nicht-degeneriert(d.h., f¨ur alle Eckenv gilt

|Eq(v)|=n), so terminiert der Simplex-Algorithmus bei jeder Wahl (W-aus); es gilt dann immerI^>=∅.

(19)

Zertifikate

(P)max{〈c,x〉 : Ax ≤b} (D)min{〈b,u〉 : A^Tu=c,u ≥O^m}

◮ Sei I ⊆[m]eine U-Basis der Ecke v=A⁻¹_I,!bI.

◮ Also y⁽ⁱ⁾ =−A⁻_I,!¹ i f¨ur alle i ∈I.

◮ Definiere u ∈R^m viaui =

%−〈c,y⁽ⁱ⁾〉 (i ∈I)

0 (i ∈[m]\I)

◮ Gilt: uI = (A⁻_I,!¹)^Tc und u[m]\I =O[m]\I

◮ Also: A^Tu = (AI,!)^TuI =c

◮ Und:〈b,u〉=〈bI,uI〉=〈(A_I_,!v,(A⁻_I,!¹)^Tc〉

=v^T(AI,!)^T(A⁻_I,!¹)^Tc =〈v,c〉

◮ STOP (“v Optimallösung”):〈c,y⁽ⁱ⁾〉 ≤0 für alle i ∈I, also u ≥O^m,A^Tu =c mit 〈b,u〉=〈c,v〉 (Optimalitätsbeweis).

◮ STOP (“unbeschränkt”):Ay⁽ⁱâus⁾≤O^m, also (D) unzulässig wegen 〈c,y⁽ⁱâus⁾〉>0 (Beweis für Unbeschränktheit von (P)).

(20)

Voll-dimensionale einfache Polytope

◮ Sei P = P^≤(A,b)⊆Rⁿ ein Polytop mitdim(P) =n und:

◮ Ax≤bist irredundant (genau eine Ungleichung f¨ur jede Facette vonP)

◮ Jede Ecke hat eine eindeutige Basis (nicht-degeneriert), sie liegt also in genaunFacetten (d.h., P isteinfach),

◮ Sei N(v) die Menge der Nachbarn der Ecke v undF(v) die Menge der v enthaltenden Facetten.

◮ Es gibt eine BijektionΦ:F(v)→N(v), so dass jedes w ∈N(v) die Ecke ist, zu der man ¨uber die eindeutigev enthaltende Kante kommt, die nicht in der FacetteΦ(w)liegt.

(21)

Nicht-degenerierte LPs

◮ Nicht-Degeneriertheit kann man in der Praxis (und auch f¨ur die Theorie) durch Perturbation von b erreichen.

◮ (W-aus) ist dann die Entscheidung, mit welchem Nachbarn mit gr¨oßerem Zielfunktionswert man fortf¨ahrt.

◮ Blands Regel: Gehe zu dem verbessernden Nachbarn, den man durch Verlassen der Facette mit niedrigstem Index erreicht.

Klee-Minty W¨urfel (hier: Dimension3)

Bemerkung 6.11

Selbst auf einfachen Polytopen kann der Simplex-Algorithmus mit Blands Regel exponentiell viele Schritte ben¨otigen.

(22)

Andere Pivot-Regeln

◮ Regel des größten Koeffizienten: Wähle iausso, dass 〈c,y⁽ⁱâus⁾〉 maximal ist (Dantzigs Original-Regel).

◮ Regel des gr¨oßten Fortschritts: W¨ahle einen Nachbarn w, so dass 〈c,w〉>〈c,v〉maximal ist.

◮ Regel des steilsten Anstiegs: W¨ahle eine Kante, deren Winkel mit c minimal ist (^〈c,y^(iaus)^〉

||c||||y^(iaus)|| maximal).

◮ (. . . )

Bemerkung 6.12

Noch nicht einmal für LPs über einfachen Polytopen ist eine Regel bekannt, die polynomiale Laufzeit garantiert. Es gibt polynomiale Average-Case Garantien (für die “Schattenecken-Regel”).

In der Praxis:H¨aufig sehr eﬃzient (z.B. mit steilstem Anstieg)!

(23)

Gleichungsformat f¨ur LPs

Definition 6.13

Ein lineares Optimierungsproblem hatGleichungsformat, wenn es gestellt ist als

max{〈c,x〉 : Cx =d,x ≥On}

mitC ∈Q^p^×ⁿ,d ∈Q^p. Bemerkung 6.14

Jedes lineare Optimierungsproblem mits Variablen undt Nebenbedingungen kann in ein LP im Gleichungsformat (mit n≤2s+t und p =t) transformiert werden (siehe ¨Ubungsblatt 1, Aufgabe 2).

(24)

Basen und Basis-L¨osungen

Definition 6.15

SeienC ∈Q^p^×ⁿ und d ∈Q^p (mitrang(C) =p)

◮ B ⊆[n]mit|B|=p heißt eineBasisvon C, wenn C!,B

regul¨ar ist.

◮ Eine Basis B ⊆[n] vonC ist eine zul¨assige Basis f¨ur Cx =d,x≥On, wennC_!,B⁻¹d ≥OB ist.

◮ Für eine zulässige Basis B ⊆[n] fürCx =d,x≥Op heißt (xB,xN)∈Rⁿ mitxN =O^N und xB =C_!,B⁻¹d die zugehörige zulässige Basislösung.

Beobachtung 6.16

FürC ∈Q^p×n und d ∈Q^p (mit rang(C) =p) sind die zulässigen Basislösungen vonCx =d,x≥O^p genau die Ecken des Polyeders {x∈Rⁿ : Cx =d,x≥On}.

(25)

Standard U-Basen

Im folgenden seien stets:

◮ C ∈R^p^×ⁿ mit rang(C) =p und d ∈R^p

◮ A=

&

' −Iⁿ C

−C (

)∈R^m^×ⁿ und b=

&

' Oⁿ d

−d ( )∈R^m (mit m=n+ 2p)

◮ P ={x ∈Rⁿ : Cx =d,x ≥Oⁿ}= P^≤(A,b) Definition 6.17

EineStandard U-Basis einer Eckev ist eine U-BasisI ⊆[m]

vonv mit{n+ 1, . . . ,n+p}⊆I.

◮ F¨ur jede Standard U-Basis I ⊆[m]giltI ⊆[n+p].

◮ Jede Ecke v vonP besitzt eine Standard U-Basis (weil {n+ 1, . . . ,n+p}⊆Eq(v) und rang(C) =p).

(26)

Simplex-Algorithmus mit Standard U-Basen

◮ Seien c ∈Rⁿ und I ⊆[m]eine Standard U-Basis der Eckev.

◮ Seien y⁽ⁱ⁾∈Rⁿ\ {Oⁿ} (i ∈I) wie im Simplex-Algorithmus.

◮ F¨ur K(I) ={y ∈Rⁿ : AI,!y ≤O^I} istK(I)∩ker(C)eine Seite von K(I).

◮ Also Kv(P)⊆K(I)∩ker(C) = ccone{y⁽ⁱ⁾ : i ∈I ∩[n]}

◮ Daher: Falls 〈c,y⁽ⁱ⁾〉 ≤0 f¨ur alle i ∈I ∩[n]dannc ∈Nv(P).

Beobachtung 6.18

Startet man den Simplex-Algorithmus mit einer Standard U-Basis, und beschränkt man die Überprüfung in Schritt 2 sowie die Auswahl (W-aus) voniaus in Schritt 3 aufI ∩[n], so arbeitet der Simplex-Algorithmus weiterhin korrekt, und er verwendet

ausschließlich Standard U-Basen.

(27)

Zul¨assige Basen und Standard U-Basen

Bemerkung 6.19 Seiv eine Ecke vonP.

1. F¨ur alleI ⊆[m]gilt: I ist genau dann eine Standard U-Basis bzgl. Ax ≤b f¨urv, wenn B(I) = [n]\N(I) mitN(I) =I∩[n]

eine zulässige Basis fürCx =d,x ≥On mit Basislösungv ist.

2. Für alleB ⊆[n]gilt: B ist genau dann eine zulässige Basis für Cx =d,x≥On mit Basislösung v, wenn

I(B) =N∪{n+ 1, . . . ,n+p} mitN = [n]\B eine Standard U-Basis bzgl.Ax ≤b f¨ur v ist.

◮ Achtung:

Ein q ∈ [n] ist q genau dann in der U-Basis I, wenn q nicht in der Basis B ist.

(28)

Graphisch

-1 -1

-1 -1-1

-1 -1

-1

I

N B

C

(29)

Wiederholung: Der Simplex-Algorithmus (algebraisch)

◮ (Kv(P) ={y ∈Rⁿ : A_Eq(v),!y ≤OEq(v)}) 1. Berechne y⁽ⁱ⁾=−A⁻_I,!¹ i (f¨ur allei ∈I)

2. Falls 〈c,y⁽ⁱ⁾〉 ≤0 für alle i ∈I: STOP (“v Optimallösung”) 3. Sonst wähle iaus∈{i ∈I : 〈c,y⁽ⁱ⁾〉>0}. (W-aus) 4. Berechne I^>={i ∈Eq(v) : 〈Ai,!,y⁽ⁱâus⁾〉>0}⊆Eq(v)\I. 5. Falls I^>∕=∅:

◮ W¨ahlei_ein∈I^>. (W-ein)

◮ SetzeI ←I\ {iaus}∪{iein} und gehe zu 1.

6. Sonst (y⁽ⁱ^aus⁾∈Kv(P) mit〈c,y⁽ⁱ^aus⁾〉>0):

◮ BerechneI_rest^> ={i ∈[m]\Eq(v) : 〈A_i,!,y⁽ⁱ^aus⁾〉>0}

◮ FallsI_rest^> =∅(y⁽ⁱ^aus⁾∈char(P)): STOP (“unbeschr¨ankt”)

◮ Sonst berechneλ_i= _〈A^bⁱ^−〈A^i,!^,v^〉

i,!,y⁽ⁱ^aus)〉>0 (f¨ur allei∈I_rest^> )

◮ W¨ahlei_ein∈I_rest^> mitλ_i_ein= min{λ_i : i ∈I_rest^> }.

◮ Ersetzev ←v+λ_i_einy⁽ⁱ^aus⁾ undI ←I\ {i_aus}∪{i_ein}, gehe zu 1.

(30)

Der Simplex-Algorithmus (algebraisch, vereinfacht)

◮ (Kv(P) ={y ∈Rⁿ : AEq(v),!y ≤OEq(v)}) 1. Berechne y⁽ⁱ⁾=−A⁻¹_I,! i (f¨ur allei ∈I)

2. Falls 〈c,y⁽ⁱ⁾〉 ≤0 für alle i ∈I: STOP (“v Optimallösung”) 3. Sonst wähle iaus∈{i ∈I : 〈c,y⁽ⁱ⁾〉>0}. (W-aus) 4. Berechne K^>={k ∈[m]\I : 〈Ak,!,y⁽ⁱâus⁾〉>0}.

5. Falls K^>=∅(y⁽ⁱâus⁾∈char(P)): STOP (“unbeschränkt”) 6. Sonst berechne λ_k = _〈^b_A^k^−〈Â^k,!^,v^〉

k,!,y⁽ⁱ^aus)〉 ≥0 (f¨ur allek ∈K^>)

7. W¨ahle kein∈K^> mitλ_k_ein = min{λ_k : k ∈K^>}. (W-ein) 8. Ersetze v ←v+λk_einy⁽ⁱ^aus⁾,I ←I\ {iaus}∪{kein}, gehe zu 1.

(31)

Die entscheidenden Daten

◮ Sei I ⊆[m]Standard U-Basis der Eckev mit B = [n]\N und N =I∩[n].

◮ C¯(B) :=−C_!,B⁻¹C!,N ∈Q^B^×^N

◮ c¯(B) :=cN+c_B^TC¯(B) =cN−c_B^TC_!,B⁻¹C!,N ∈Q^N

(reduzierte Kostenzur BasisB)

◮ d¯(B) :=C_!,B⁻¹d =vB ∈Q^B

◮ F¨ur i ∈I∩[n] =N:y⁽ⁱ⁾ L¨osung von AI,!y =− i

◮ Alsoy_N\{i}⁽ⁱ⁾ =ON\{i},y_i⁽ⁱ⁾= 1,y_B⁽ⁱ⁾= ¯C(B)_!,i

◮ 〈c,y⁽ⁱ⁾〉= ¯c(B)i

◮ F¨urk ∈{n+ 1, . . . ,m};〈Ak,!,y⁽ⁱ⁾〉= 0; also K^>⊆[n]\I =B

◮ F¨ur allek ∈B:

◮ 〈Ak,!,y⁽ⁱ⁾〉=−y_k⁽ⁱ⁾=−C(B)¯ k,i

◮ bk− 〈Ak,!,v〉= 0 +vk= ¯d(B)k

◮ Also:

λk= d(B)¯ k

−C(B)¯ k,i

(32)

Simplex-Algorithmus mit Basen von Gleichungssystemen

◮ Gegeben: C ∈Q^p^×ⁿ (rang(C) =p), d ∈Q^p,c ∈Qⁿ

◮ (LP) max{〈c,x〉 : Cx =d,x≥On}

◮ Sei B ⊆[n](|B|=p) eine zul¨assige Basis,N = [n]\B.

1. Falls c(B)¯ ≤ON: STOP (“( ¯dB,ON) Optimall¨osung”)

2. Sonst w¨ahle ein jein ∈N mitc(B)¯ jein >0 (jein =iaus) 3. Falls C¯(B)_!,j_ein ≥OB: STOP (“unbeschr¨ankt”)

4. Sonst w¨ahle jaus∈B mitC¯(B)jaus,jein <0und (jaus=kein) d¯(B)jaus

|C¯(B)jaus,jein| = min* d¯(B)k

|C¯(B)k,jein| : k ∈B,C¯(B)k,jein <0+ 5. SetzeB ←B\ {jaus}∪{jein}(undN ←[n]\B)

(33)

Zertifikate

◮ Das zu (P)max{〈c,x〉 : Cx =d,x ≥Oⁿ} duale Problem ist (D)min{〈d,u〉 : C^Tu ≥c}

◮ Sei B ⊆[n]eine zul¨assige Basis f¨ur (P).

◮ Falls c(B)¯ ≤ON (“Optimall¨osung”):

◮ Definiereu= (C_!,B⁻¹)^TcB

◮ C^Tu=C^T(C_!,B⁻¹)^Tc_B = (c_B^T(C_!,B⁻¹C))^T

= (c_B^T(IB,C_!,B⁻¹C_!,N))^T= (c_B,c_N−c(B))¯

◮ uzul¨assig f¨ur (D)

◮ 〈d,u〉=〈d,(C_!,B⁻¹)^Tc_B〉=〈C_!,B⁻¹d,c_B〉=〈c,( ¯d(B),ON)〉

◮ Sonst, und fallsC¯(B)_!,j_ein ≥OB (“unbeschr¨ankt”):

◮ F¨urλ:= ( ¯C(B)_!,j

ein, _j_ein)∈R^B ×R^N giltλ≥On.

◮ λ^TC^T= (Cλ)^T= (C!,BC(B)¯ _!,j_ein+C!,jein)^T

= (−C_!,j_ein+C_!,j_ein)^T=OpT

◮ 〈λ,c〉=〈C(B)¯ _!,j

ein,c_B〉+c_j_ein = ¯c_j_ein>0

◮ Also (Farkas-Lemma): (D) unzul¨assig

(34)

Bemerkungen f¨ur die Praxis

◮ Finden einer zul¨assigen Startbasis f¨ur

(LP) max{〈c,x〉 : Cx =d,x ≥Oⁿ}:

◮ K¨onnen annehmen: d ≥Op (Skalierung von Cx =d)

◮ L¨ose (AUX)

max{−〈(Oⁿ, _p),(x,s)〉 : Cx+I^ps =d,x ≥Oⁿ,s ≥O^p}

◮ Startbasis f¨ur (AUX):B ={n+ 1, . . . ,n+p}⊂[n+p]mit zugeh¨origer Ecke(Oⁿ,d)≥O^n+p.

◮ Falls (AUX) negativen Optimalwert hat: (LP) unl¨osbar.

◮ Sonst sei (x^!,O) Optimall¨osung von (AUX) mit Basis B^!⊆[n+p].

◮ Dann ist jede Basis von C, dieB^!∩[n] enthält, eine zulässige Basis für (LP) (zur Startecke x^!).

(35)

Ben¨otigte Daten in einer Iteration

◮ F¨ur die Durchf¨uhrung einer Iteration braucht man:

◮ Einjein∈N mitc(B)¯ jein=cjein−c_B^TC_!,B⁻¹C!,jein>0

◮ d(B) =¯ C_!,B⁻¹d∈Q^B

◮ C(B)¯ _!,j

ein=−C_!,B⁻¹C_!,j_ein∈Q^B

◮ Generiere Daten aus C_!,B⁻¹, wenn sie gebraucht werden.

◮ F¨ur j ∈N: Istu(B)∈Q^p die L¨osung von (C!,B)^Tz =cB, so ist c(B)¯ j =cj − 〈u(B),C!,j〉.

◮ C¯(B)_!,j ist die L¨osung vonC!,B ·z =−C!,j.

◮ d¯(B) ist die L¨osung vonC!,B ·z =d.

◮ Hat man z.B. eine LU-Zerlegung von C!,B, so kann man die L¨osungen vonC!,B ·z =q bzw. (C!,B)^Tz =q in O(p²) Schritten bestimmen.

◮ Beim Basiswechsel B←B\ {jaus}∪{jein}kann man die LU-Zeregung inO(p²) Schritten anpassen.

◮ ⇝ revidierter Simplexalgorithmus

(36)

Hinzuf¨ugen von Variablen

◮ Seien C^′ ∈R^m^×⁽ⁿ⁺¹⁾ mit C^′_!,[n]=C und c^′ ∈Rⁿ⁺¹ mit c_[n]^′ =c.

◮ Sei B ⊆[n]eine zul¨assige Basis vonCx =d,x≥On.

◮ Wegen C^′!,B =C!,B ist B auch eine zul¨assige Basis f¨ur C^′x^′ =d,x^′ ≥Oⁿ⁺¹

◮ Sind c(B)¯ ∈Q^[n]^\^B und c¯^′(B)∈Q^[n+1]^\^B die reduzierten Kosten von B bzgl.max{〈c,x〉 : Cx =d,x ≥On} bzw.

max{〈c^′,x〉 : C^′x =d,x˜≥Oⁿ⁺¹}, so ist c¯^′(B)_[n]= ¯c(B).

Beobachtung 6.20

Hat man f¨ur ein lineares Optimierungsproblem (LP) im

Gleichungsformat mit der Simplex-Methode eine optimale zulässige BasisB^! bestimmt, und fügt man dem Problem dann eine Variable hinzu, so kann manB^! als Startbasis für das neue Problem

verwenden; alle urspr¨unglichen Variablen haben bzgl.B^! auch im neuen Problem nicht-positve reduzierte Kosten.

⇝Spaltengenerierung

(37)

Eine Charakterisierung von C ¯ (B ), c ¯ (B ), d ¯ (B )

Lemma 6.21

SeiB ⊆[n]eine Basis von Cx =d,N= [n]\B, und A={(x,ζ)∈Rⁿ⁺¹ : Cx =d,〈c,x〉=ζ}.

F¨urT ∈R^B^×N,t ∈R^B,g ∈R^N und γ ∈Rgilt:

xB =TxN +t undζ =〈g,xN〉+γ f¨ur alle (x,ζ)∈A

⇔

T = ¯C(B),t = ¯d(B),g = ¯c(B), und γ =〈cB,d¯(B)〉

(38)

Der Simplex-Algorithmus mittels Pivotisierens

◮ Sei B ⊆[n](|B|=p) eine zul¨assige Basis,N = [n]\B.

◮ Seien T ∈Q^B^×^N,t∈Q^B,g ∈R^N,γ ∈Rso dass (1) xB =TxN+t und (2)ζ =〈g,xN〉+γ f¨ur alle (x,ζ)∈A(siehe Lemma 6.21) gilt (also Cx =d aufgel¨ost nachxB und dann xB eliminiert aus ζ =〈c,x〉).

1. Falls g ≤ON: STOP (“(t,ON)Optimall¨osung, Wert γ”) 2. Sonst w¨ahle ein jein ∈N mitgj_ein >0

3. Falls T!,jein ≥O^B: STOP (“unbeschr¨ankt”) 4. Sonst w¨ahle jaus∈B mitTjaus,jein <0 und

tjaus

|T_jaus,j_ein| = min* _t_k

|T_k,j_ein| : k ∈B,Tk,jein <0+ 5. L¨ose die Gleichung xjaus =〈Tjaus,!,xN〉+tjaus in (1) nachxjein

auf und setze den f¨urxjein erhaltenen Ausdruck in die ¨ubrigen Gleichungen in (1) und in (2) ein.

6. SetzeB ←B\ {jaus}∪{jein},N←[n]\B 7. Gehe zu Schritt 1.

(39)

Dual zul¨assige Basen

(P)max{〈c,x〉 : Cx =d,x≥O}(D)min{〈d,u〉 : −C^Tu ≤ −c}

◮ C ∈R^p^×ⁿ (rang(C) =p),d ∈R^p,c ∈Rⁿ,

◮ P^≤(−C^T,−c) ist spitz

◮ u ∈R^p ist genau dann eine Ecke von P^≤(−C^T,−c),

◮ wenn esI ⊂[n]gibt mit|I|=p, und

rang(−C^T_I,!) =p,−(C^T)_I_,!u=−c_I und−C^T_[n]\I,!u≤ −c_[n]\I

◮ d.h., wenn es eine BasisB⊆[n]vonC gibt mit (N= [n]\B):

◮ u= (C_!,B⁻¹)^TcB

◮ −(C^T)_N,!u≤ −cN, d.h.c¯(B)≤O^N

Definition 6.22

Eine BasisB ⊆[n]vonC (nicht notwendigerweise primal zul¨assig) heißtdual zul¨assig, wenn c(B)¯ ≤O^N ist.

Beobachtung 6.23

Die dual zul¨assigen Basen vonC sind genau die U-Basen der Ecken vonP^≤(−C^T,−c).

(40)

Duales Optimalit¨atskriterium

◮ min{〈d,u〉 : u ∈P^≤(−C^T,−c)}

=−max{〈−d,u〉 : P^≤(−C^T,−c)}

◮ Sei B ⊆[n]dual zul¨assige Basis zur Eckev = (C_!,B⁻¹)^TcB.

◮ F¨ur i ∈B:y⁽ⁱ⁾ = (C_!,B⁻¹)^T i (Extremalstrahlen des vonB definierten simplizialen Relaxierungskegels in v )

◮ Optimalit¨atskriterium: 〈−d,y⁽ⁱ⁾〉 ≤0(f¨ur allei ∈B)

◮ 〈−d,y⁽ⁱ⁾〉=−d^T(C_!,B⁻¹)^T i =−(C_!,B⁻¹d)^T i =−d¯(B)i

Beobachtung 6.24

IstB ⊆[n]eine dual zul¨assige Basis mit d¯(B)≥OB (d.h.,B ist auch primal zul¨assig), so sind(C_!,B⁻¹)^TcB eine duale und

( ¯d(B),ON)eine primale Optimall¨osung.

◮ F¨ur k ∈N,i ∈B:〈−(C^T)_k,!,y⁽ⁱ⁾〉= ¯C(B)i,k

◮ F¨ur k ∈N:−ck − 〈−(C^T)_k,!,v〉=−c¯(B)k

(41)

Der duale Simplex-Algorithmus

◮ Umformulierung des “Simplex-Algorithmus (algebraisch, vereinfacht)” f¨urmax{〈−d,u〉 : P^≤(−C^T,−c)}.

◮ Sei B ⊆[n]eine dual zul¨assige Basis.

1. Falls d¯(B)≥OB: STOP (“Optimall¨osungen gefunden”) 2. Sonst w¨ahle jaus∈{j ∈B : ¯d(B)j <0}.

3. Falls C¯(B)_j_aus_,!≤ON: STOP (“(D) unbeschr., (P) unzul.”) 4. Sonst w¨ahle jein ∈N mit C¯(B)jaus,jein >0 und

|c(B)¯ jein|

C¯(B)_jaus,j_ein = min{C¯^|(B)^c(B^¯ _jaus,k⁾^k^| : k ∈N,C¯(B)jaus,k >0}

5. Ersetze B ←B\ {jaus}∪{jein} und gehe zu 1.

(42)

Der duale Simplex-Algorithmus mittels Pivotisierens

◮ Sei B ⊆[n]eine dual zul¨assige Basis,N = [n]\B.

◮ Seien T ∈Q^B^×^N,t∈Q^B,g ∈R^N,γ ∈Rso dass (1) xB =TxN+t und (2)ζ =〈g,xN〉+γ f¨ur alle (x,ζ)∈A(siehe Lemma 6.21) gilt (also Cx =d aufgel¨ost nachxB und dann xB eliminiert aus ζ =〈c,x〉).

1. Falls t≥OB: STOP (“(t,ON) und (C_!,B⁻¹)^TcB sind Optimallösungen für (P) bzw. (D) vom Wertγ”) 2. Sonst wähle ein jaus∈B mittjaus <0

3. Falls Tjaus,! ≤ON: STOP (“(D) unbeschr., (P) unzul¨assig”) 4. Sonst w¨ahle jein ∈N mit Tjaus,j_ein >0und

|gjein|

Tjaus,jein = min* _|_g_k_|

Tjaus,k : k∈N,Tjaus,k >0+ 5. L¨ose die Gleichung xjaus =〈Tjaus,!,xN〉+tjaus in (1) nachxjein

auf und setze den f¨urxj_ein erhaltenen Ausdruck in die ¨ubrigen Gleichungen in (1) und in (2) ein.

6. SetzeB ←B\ {jaus}∪{jein},N←[n]\B 7. Gehe zu Schritt 1.

(43)

Hinzuf¨ugen von Ungleichungen

◮ Sei B ⊆[n]eine dual zul¨assige Basis f¨ur

(LP) max{〈c,x〉 : Cx =d,x ≥Oⁿ} mit zugeh¨origer Duall¨osung u = (C_!,B⁻¹)^TcB.

◮ Angenommen, man m¨ochte das mit der Ungleichung

〈a,x〉 ≤β weiter eingeschr¨ankte Problem l¨osen.

◮ ⇝ (LP’)max{〈c,x〉 : C^′x^′ =d,x^′ ≥Oⁿ⁺¹} (der Gr¨oße (p+ 1)×(n+ 1) mitC^′[p],!= (C,O^p), C^′p+1,!= (a,1),d_[p]^′ =d,d_p+1^′ =β,c^′ = (c,0))

◮ B∪{p+ 1} ist dual zulässig für (LP’) mit zugehöriger Duallösung(u,0).

Beobachtung 6.25

Hat man ein Optimallösung eines linearen Optimierungsproblems (LP) mit der Simplex-Methode berechnet, so kann man die zugehörige Basis als duale Startbasis für ein Problem verwenden, das entsteht, wenn man zu (LP) eine Ungleichung hinzufügt.

(44)

Dualer Start f¨ur einen Spezialfall

◮ F¨ur A∈Q^m×n,b ∈Q^m,c˜∈Qⁿ und c˜≥Oⁿ: min{〈c,˜ x〉 : Ax ≤b,x ≥On}

◮ Aquivalent (bis auf Multiplikation mit¨ −1):

max{〈c,x〉 : Ax ≤b,x≥Oⁿ} mit c =−c˜≤Oⁿ

◮ Gleichungsformat:

max{〈(c,O^m),(x,s)〉 : Ax +s =b,x≥Oⁿ,s ≥O^m}

◮ Dual zul¨assige Basis:

B ={n+ 1, . . . ,n+m}⊆[n+m]

mit zugehöriger Duallösung On+m (gültig wegen On≤ −c).

(45)

Vorlesung Einf¨uhrung in die Mathematische Optimierung (Wintersemester 2019/20)