Komplexit¨ at von Problemen

(1)

Approximations- algorithmen

Einf¨uhrung Grundlagen Methoden zum Entwurf Approximationsklassen Reduktion und Vollst¨andigkeit

Approximationsalgorithmen

Jan Johannsen

Vorlesung im Sommersemester 2007

(2)

Einf¨uhrung

Grundlagen Methoden zum Entwurf Approximationsklassen Reduktion und Vollst¨andigkeit

Einordnung

Algorithmik

I Entwurf und

I Analyse vonAlgorithmen

Komplexit¨atstheorie

I Analyse der Komplexit¨at vonProblemen

I Einteilung inKlassen¨ahnlicher Komplexit¨at

I Untersuchung der Struktur der Klassen

(3)

Einf¨uhrung

Analyse von Algorithmen

Analyse des Verbrauchs an Ressourcen

I Zeit

I Speicher

I . . .

Abh¨angig von der Gr¨oße des Input

I Komplexit¨at imworst case

Asymptotische Analyse – vernachl¨assigt

I konstante Faktoren

I endliche Anfangsst¨ucke

(4)

Einf¨uhrung

Komplexit¨ at von Problemen

Obere Schranken

I durch Angabe eines Algorithmus

I und dessen Analyse

Untere Schranken

I durch Analyse des Problems

I Beweis, dass jeder effizientere Algorithmus versagt

Beispiel:Sortieren

I HeapSort, MergeSort brauchenO(nlogn)Vergleiche

I untere Schranke:Ω(nlogn)Vergleiche

I Komplexit¨at:Θ(nlogn)

(5)

Einf¨uhrung

Problemtypen

Problem: Erreichbarkeit

Instanz: GraphG, Eckens,t. L¨osung: Weg vons nach t.

Entscheidung: Gibt es einen Weg von snach t ? Suche: Finde einen Weg von s nacht.

Optimierung: Finde einen k¨urzesten Weg vonsnach t.

Z¨ahlen: Bestimme dieAnzahlder Wege vons nacht.

(6)

Einf¨uhrung

Optimierungsprobleme

Eigenschaften:

I mehrere potentielle L¨osungen zu jedem Input

I mit Kosten- / Nutzenmaß versehen

I gesucht: L¨osung mit minimalen Kosten / maximalem Nutzen

Beispiele:

I k¨urzeste Wege

I Travelling Salesperson

I Scheduling

I . . .

(7)

Einf¨uhrung

Approximation

Viele Optimierungsprobleme sind NP-schwer

I effizienter Algorithmus nur, wenn P=NP

I nur exponentielle Algorithmen zuroptimalenL¨osung

Deshalb:Approximationsalgorithmen

I effizient

I liefern eine nicht notwendig optimale L¨osung

I Abweichung vom Optimum a priori abzusch¨atzen

(8)

Einf¨uhrung

Approximierbarkeit

NP-schwere Optimierungsprobleme unterscheiden sich bzgl. ihrerApproximierbarkeit:

I es gibt beliebig gute Approximationsalgorithmen

I es gibt Approximationsalgorithmen einer gewissen G¨ute, aber keine besseren.

I es gibt ¨uberhaupt keine guten Approximationsalgorithmen

Ziele:

I Methoden zum Entwurf

I Grundlagen zur Untersuchung dieser Unterschiede

(9)

Einf¨uhrung

Ubersicht ¨

Einf¨uhrung Grundlagen

Methoden zum Entwurf von Approximationsalgorithmen Approximationsklassen

Reduktion und Vollst¨andigkeit

(10)

Einführung Grundlagen Komplexität Optimierung Komplexität von Op- timierungsproblemen Methoden zum Entwurf Approximationsklassen Reduktion und Vollständigkeit

Ubersicht ¨

Komplexit¨at von Entscheidungsproblemen Optimierungsprobleme

Komplexit¨at von Optimierungsproblemen

Methoden zum Entwurf von Approximationsalgorithmen Approximationsklassen

(11)

Komplexit¨ atsklassen

Entscheidungsproblem ist gegeben durch:

I Menge von InstanzenI

I Teilmenge der positiven InstanzenY ⊆I Beispiel:SAT

I ISAT = Formeln in KNF

I Y_SAT = erf¨ullbare Formeln Formel in KNF F =C1∧. . .∧Cm

Klausel C=a₁_∨. . .∨a_k Literal a=x odera=¬x. Komplexit¨atsklassen

P⊆NP⊆PSPACE⊆EXP

(12)

NP als Verifikation von L¨ osungen

ProblemP ist in NP gdw.

I es gibt MengeWP, ProblemQ∈P und Polynomq()mit

I IQ sind Paare(x,w)mitx∈IP,w ∈WP und|w|≤q(|x|)

I ∀x ∈I_P : x ∈Y_P ↔ ∃w ∈W_P : (x,w)∈Y_Q

Beispiel:SAT

I WSAT = Bewertung der Variablen

I (F, α)∈Y_R gdw.αerf¨ullt F

(13)

Reduktion

Funktionf reduziertP auf Q, wenn

I f :I_P→I_Q in polynomieller Zeit berechenbar

I f¨ur allex ∈IP istx ∈YP ↔f(x)∈YQ

P≤mQ falls es eine Reduktionf vonP auf Q gibt.

Eigenschaft:

Ist Q∈P undP≤_mQ, dann auchP∈P.

(14)

Vollst¨ andigkeit

Definition:

I ProblemP ist NP-schwer, fallsQ≤mP f¨ur alleQ∈NP.

I P ist NP-vollst¨andig, falls Q∈NP und NP-schwer.

Q NP-vollst¨andig ⇒ Q ∈P gdw. P=NP

Satz (Cook)

SAT ist NP-vollst¨andig.

Problem 3-SAT: Jede KlauselC=a1∨a2∨a3

Satz (Cook)

3-SAT ist NP-vollst¨andig.

(15)

Lineare Programmierung

ProblemILP (Integer Linear Programming)

Instanz: MengeI von linearen Ungleichungen ¨uberZ in Variablenz₁, . . . ,z_n

Frage: Gibt es eine L¨osung vonI inZ

d.h., Zuweisung von Wertenz₁, . . . ,z_n∈Z so dass UngleichungenI gelten.

Satz

ILP ist NP-vollst¨andig.

ProblemLP:

Wie ILP, aber gesucht sind L¨osungen inQ. Im Gegensatz zum obigen Satz istLP in P.

(16)

Graphenprobleme in NP

ProblemVC

Instanz: GraphG = (V,E), k∈N

Frage: Gibt es vertex coverU mit|U|≤k ? Vertex cover:U ⊆V mite∩U 6=∅ f¨ur allee∈E. ProblemClique

Instanz: GraphG = (V,E), k∈N Frage: Gibt es CliqueU mit|U|≥k ? Clique:U ⊆V mit{x,y}∈E f¨ur allex,y ∈U.

ProblemHC

Instanz: GraphG = (V,E)

Frage: Gibt es einen Hamilton-Kreis inG ?

Hamilton-Kreis: Kreis, der jedesv ∈V genau einmal besucht.

(17)

NP-vollst¨ andige Graphenprobleme

Offensichtlich: VC,Clique,HC sind in NP.

Reduktionen (Karp)

I 3-SAT ≤mVC

I VC ≤_mClique

I VC ≤mHC

Also: VC,Clique,HC sind NP-vollst¨andig.

(18)

Optimierungsprobleme

EinOptimierungsproblem ist gegeben durch:

I MengeI vonInstanzen.

I F¨ur jedesx ∈I eine MengeS(x)von potentiellenL¨osungen.

I Funktionm, die jedem(x,y)mitx∈I undy∈S(x) einMaßm(x,y)zuordnet.

I Ziel goal∈{min,max}.

Eine L¨osungy^∗∈S(x)heißtoptimal, wenn

m(x,y^∗) =m^∗(x) :=goal{m(x,y) ; y ∈S(x)} S^∗(x) :={y^∗∈S(x) ; m(x,y^∗) =m^∗(x)}

(19)

Beispiele

Minimum Path

Instanz: ungerichteter GraphG = (V,E), Eckens,t L¨osung: Weg vons nacht

Maß: L¨ange des Weges Minimum Vertex Cover

Instanz: ungerichteter GraphG = (V,E) L¨osung: vertex coverU ⊆V

Maß: |U| Maximum Clique

Instanz: ungerichteter GraphG = (V,E) L¨osung: CliqueU⊆V

Maß: |U|

(20)

Problemvarianten

Zu einem Optimierungsproblem Psind definiert:

konstruktives Problem P_C: Gegeben x∈I, finde y∈S^∗(x).

Auswertungsproblem P_E: Gegeben x∈I, berechne m^∗(x).

Entscheidungsproblem PD: Gegeben x∈I undk ∈N, ist goal(m^∗(x),k) =m^∗(x)?

Beispiele:

P =Minimum Vertex Cover PD = VC.

P =Maximum Clique PD =Clique

(21)

Die Klassen NPO und PO

Ein Optimierungsproblem ist in der Klasse NPO, falls 1. I ist in P.

2. f¨urx∈I undy ∈S(x)ist|y|≤q(|x|)

3. f¨urx,y mit|y|≤q(|x|)ist die Frage “y∈S(x)?” in P 4. mist in polynomieller Zeit berechenbar.

Eigenschaft: P in NPO =⇒ PD in NP

P∈NPO ist in der Klasse PO, falls

das konstruktive Problem PC in polynomieller Zeit l¨osbar ist.

Analog: Pin PO =⇒ PD in P

(22)

Turing-Reduktion

Eine Turing-Reduktion vonP aufQ ist

I Algorithmus, derP l¨ost

I benutzt Subroutine zur L¨osung vonQ

I Laufzeit des Algorithmusohne Subroutine ist polynomiell P≤_T Q falls eine Turing-Reduktion vonPauf Q gibt.

Eigenschaft:

Ist Q∈P undP≤T Q, dann auchP∈P.

(23)

Relationen zwischen Problemvarianten

Offensichtlich: PD ≤T PE ≤T PC

Fakt

F¨ur alle Optimierungsprobleme P∈NPO ist PE ≤T PD. Beweis:

Da|m(x,y)|≤p(|x|)f¨ur alley∈S(x), istm^∗(x)<2^p(^|^x^|⁾ bin¨are Suche findet m^∗(x)in ZeitO(p(|x|).

(24)

Relationen zwischen Problemvarianten

Beispiel

F¨urP=Maximum CliqueistPC ≤T PE. F¨urG= (V,E)definiere

I N(v) :={u∈V; {u,v}∈E}

I G(v): induzierter Teilgraph auf{v}∪N(v)

I G⁻(v): induzierter Teilgraph aufN(v) Algorithmus:

MaxClique(G)

k:=Maximum CliqueE(G) if k =1 then return any v ∈V

finde v∈V mitMaximum CliqueE(G(v)) =k return{v}∪MaxClique(G⁻(v))

(25)

Relationen zwischen Problemvarianten

ObP_C ≤_T P_D allgemein gilt, ist unbekannt.

Satz

PC ≤T PD gilt, falls PD NP-vollst¨andig ist.

(26)

NP-schwere Optimierungsprobleme

Definition

ProblemP in NPO ist NP-schwer, fallsQ≤T PC f¨ur alleQ ∈NP.

Eigenschaft:

P_D NP-vollst¨andig =⇒ P ist NP-schwer.

P6=NP =⇒ PO6=NPO

(27)

Ein NP-schweres Problem

Minimum Traveling Salesperson Instanz: nSt¨adtec1, . . . ,cn,

DistanzmatrixD∈N^n×n

L¨osung: Tour: Permutation c_i₁, . . . ,c_i_n der St¨adte

Maß: Kosten

Xn−1 k=1

D(i_k,i_k+1) +D(i_n,i₁)

Satz: Minimum Traveling Salespersonist NP-schwer.

(28)

Einf¨uhrung Grundlagen Methoden zum Entwurf

Greedy Sequentielle Algorithmen Lokale Suche Lineare Programmierung Dynamische Programmierung Approximationsklassen Reduktion und Vollst¨andigkeit

Ubersicht ¨

Methoden zum Entwurf von Approximationsalgorithmen Greedy-Algorithmen

Sequentielle Algorithmen Lokale Suche

Lineare Programmierung Dynamische Programmierung Approximationsklassen

(29)

Greedy-Algorithmen

Geeignet, wenn L¨osungMengevon Objekten

I L¨osung wird schrittweise aufgebaut

I in jedem Schritt wird ein Element aufgenommen

I Greedy-Strategie: w¨ahle in jedem Schritt so, dass Profit maximiert wird.

Liefert optimale L¨osung, wennMatroid-struktur

In anderen F¨allen: approximative L¨osung.

(30)

Das Spannbaum-Problem

F¨urG= (V,E)istT ⊆E einSpannbaum, wenn (V,T)zusammenh¨angendund azyklischist.

Minimum Spanning Tree

Instanz: zusammenh¨angender GraphG = (V,E), Kantengewichtew :E→N

L¨osung: SpannbaumT ⊆E Maß: Gesamtgewicht X

e∈T

w(e)

(31)

Ein klassischer Greedy-Algorithmus

Satz

Minimum Spanning Tree ist in PO.

Dies zeigt beispielsweise der Greedy-Algorithmus vonKruskal:

sortiereE ={e1, . . . ,em}so dassw(e1)≤w(e2)≤. . .≤w(en) T :=∅

for i=1 to n do let ei={xi,yi}

ifxi inT nicht mityi verbunden thenT :=T ∪{ei}

(32)

Das Rucksackproblem

Maximum Knapsack

Instanz: MengeX ={x1, . . . ,xn},

f¨ur jedesxi∈X: Gewichtai∈N Wert pi ∈N Kapazit¨atb∈N

L¨osung: TeilmengeY ⊆X mit X

xi∈Y

ai≤b Maß: Gesamtwert X

x_i∈Y

pi

(33)

Greedy Algorithmus f¨ ur Maximum Knapsack

AlgorithmusGreedy Knapsack:

input X,~p,~a,b sortiereX so dass p₁

a1

≥p₂ a2

≥ · · · ≥ p_n an

Y :=∅

for i:=1 to n do if a_i ≤b then

Y :=Y ∪{x_i} b:=b−a_i return Y

(34)

Analyse von Greedy Knapsack

Satz

F¨ur jedes k∈Ngibt es Instanzen vonMaximum Knapsackmit:

ist m_Greedyder Wert der L¨osung, die Greedy Knapsack findet, und m^∗der optimale Wert, so gilt: m^∗≥k·m_Greedy.

Beweis: Betrachte die Instanz mit

I X ={x₁, . . . ,x_n+1}

I pi=ai =1 f¨uri≤n

I an+1=b=kn+1

I p_n+1=b−1

Dann istm^∗=b−1=kn, abermGreedy=n.

(35)

Verbesserter Algorithmus f¨ ur Maximum Knapsack

Seiµdasjenigei mitpi =max{pj,j≤n}. Algorithmus:

Berechne L¨osungY mitGreedy Knapsack ifm(Y)<pµ

thenY :={xµ} returnY

Satz

Sei mA(x)der Wert der vom Algorithmus berechneten L¨osung.

Dann gilt: m^∗(x)<2mA(x).

(36)

Greedy Algorithmus f¨ ur Handlungsreisende

AlgorithmusNearest Neighbor: W¨ahle ci₁ beliebig

F¨ur1≤k ≤n−1:

w¨ahle als ci_k+1 ein cj ∈/{ci₁, . . . ,ci_k} mit D(ci_k,cj)minimal.

Minimum Metric Traveling Salesperson:

Spezialfall vonMinimum Traveling Salesperson, wo gilt:

Symmetrie: D(i,j) =D(j,i)

Dreiecksungleichung: D(i,j)≤D(i,k) +D(k,j)

(37)

Performance von Nearest Neighbor

Lemma: Seix eine Instanz vonMinimum Metric Traveling Salesperson, und`:{c₁, . . . ,c_n}→Qmit

D(i,j)≥min(`(ci), `(cj)) f¨ur alleci6=cj

`(c_i)≤1

2m^∗(x) f¨ur allec_i Dann gilt:

Xn i=1

`(ci)≤ 1

2(dlogne+1)m^∗(x).

Satz

Sei mNN(x)die L¨ange der vom Algorithmus Nearest Neighbor gefundenen Tour. Dann gilt:

m_NN(x)≤1

2(dlogne+1)·m^∗(x).

(38)

Sequentielle Algorithmen

Geeignet f¨ur Partitionierungsprobleme:

I L¨osung ist Partition einer gegebenen Menge.

Sequentieller Algorithmus:

I sortiert MengeX ={x1, . . . ,xn}

I baut PartitionP sequentiell auf:

P:=

{x1} fori:=2 ton

fallsxi zu einemp∈Pzugef¨ugt werden kann P:=P\

p ∪ p∪{xi} sonst

P:=P∪ {xi}

(39)

Ein Scheduling-Problem

Minimum Scheduling on Identical Machines Instanz: MengeT ={t1, . . . ,tn}von Auftr¨agen,

f¨ur jedesti ∈T: Dauer `i∈N Anzahlp∈Nvon Prozessoren

L¨osung: schedule: Funktionf :T →{1, . . . ,p} Maß: makespan: max

1≤i≤p

X

f(t_j)=i

`_j

(40)

List Scheduling

Finish time: Ai(j) := X

k≤j f(tk)=i

`k

AlgorithmusList Scheduling: for j:=1 to n do

assign tj to processor i with Ai(j−1) minimal

Satz

F¨ur jede Instanz x findet List Scheduling eine L¨osung mit makespan mLS(x), so dass

mLS(x)≤(2− 1

p)·m^∗(x).

(41)

Verbesserter Algorithmus

RegelLPT (largest processing time):

Sortiere T so dass `1≥`2≥. . .≥`n, dann List Scheduling.

Satz

F¨ur jede Instanz x liefert LPT eine L¨osung mit makespan m_LPT(x)so dass

m_LPT(x)≤(4 3− 1

3p)·m^∗(x).

(42)

Ein Packungsproblem

Minimum Bin Packing

Instanz: Multimenge{a1, . . . ,an}⊂Qmit 0<ai ≤1.

L¨osung: PartitionB1, . . . ,Bk vonA mit X

a_i∈B_j

ai ≤1 f¨ur allej.

Maß: Anzahl der Bl¨ockek

(43)

Einfacher sequentieller Algorithmus f¨ ur Bin Packing

AlgorithmusNext Fit k :=1; B₁:=∅ for i:=1 to n do

if ΣB_k +a_i ≤1

then B_k :=B_k ∪{a_i} else k :=k+1; B_k :={a_i}

Satz

F¨ur alle Instanzen x ist

m_{Next Fit}(x)≤2m^∗(x)

(44)

Etwas besserer Algorithmus

AlgorithmusFirst Fit k :=1; B₁:=∅ for i:=1 to n do

flag := true for j :=1 to k do

if ΣB_j+a_i≤1 and flag

then B_j :=B_j∪{a_i}; flag := false if flag then k :=k+1; Bk :={ai}

Satz

F¨ur alle Instanzen x ist

m_{First Fit}(x)≤1.7m^∗(x) +2

(45)

Verbesserung durch Sortieren

AlgorithmusFirst Fit Decreasing

SortiereAso dassa1≥a2≥. . .≥an, dann wendeFirst Fit an.

Satz

F¨ur alle Instanzen x ist mFFD(x)≤ 3

2m^∗(x) +1.

OptimaleSchranke: m_FFD(x)≤11

9 m^∗(x) +4.

Nachteil: Algorithmus istoffline,

d.h. arbeitet erst, wenn gesamter Input gelesen.

(46)

F¨ arbungen von Graphen

Definition: EineF¨arbungeines Graphen G = (V,E)ist χ:V →{1, . . . ,k}mit

{u,v}∈E ⇒ χ(u)6=χ(v).

Minimum Coloring

Instanz: ungerichteter GraphG = (V,E) L¨osung: F¨arbungχ:V →{1, . . . ,k}

Maß: k

(47)

Sequentielles F¨ arben von Graphen

for i:=1 to n χ(v_i) :=mink ∈/

χ(u) ;u∈N(v_i)∩{v₁, . . . ,v_i−1}

Satz

Sei k die Anzahl der Farben, die der sequentielle Algorithmus bei Reihenfolge v₁,v₂, . . . ,v_n verwendet. Dann ist

k ≤ max

1≤i≤nmin(degv_i,i−1).

Reihenfolge, die dies minimiert:

Decreasing Degree: degv₁≥degv₂≥. . .≥degv_n.

(48)

Bessere Reihenfolge

Smallest Last: vi hat minimalen Grad im induzierten Subgraphen auf{v1. . .vi}.

Satz

Smallest Last f¨arbt jeden planarenGraphen mit≤6Farben.

Beweis benutzt denSatz von Euler:

In planaren Graphen G = (V,E)ist|E|≤3|V|−6.

(49)

Lokale Suche

Anfangslösung Für jedesx ∈I: y₀(x)∈S(x) Nachbarschaftsstruktur Für jedesy ∈S(x) N(x,y)⊆S(x)

AlgorithmusLocal Search y :=y₀(x)

solange esy⁰∈N(x,y)mitm(x,y⁰)besser alsm(x,y)gibt setzey :=y⁰

Probleme:

I Wie findet man bessere Nachbarl¨osungen effizient?

I Wie gut ist ein lokales Optimum?

(50)

Beispiel f¨ ur Lokale Suche

ProblemMaximum Cut

Instanz: GraphG = (V,E)

L¨osung: PartitionV =V0∪V1mitV0∩V1=∅

Maß: Anzahl der Kanten{x,y}mitx∈V0 undy∈V1.

Anfangsl¨osung: (∅,V)

Nachbarn von(V0,V1): (V₀⁰,V₁⁰)mit

|V0|−|V₀⁰| =1

Satz

F¨ur ein lokales Maximum(V₀,V₁)in dieser Nachbarschafts- struktur mit Maß mN gilt mN ≥¹₂m^∗.

(51)

Lineare Programmierung

Einlineares Programm ist Instanz des Optimierungsproblems:

Linear Programming

Instanz: A∈R^m×n, b∈R^m, c∈Rⁿ L¨osung: x∈Rⁿ mitAx ≥b undx≥~0 Maß: c^Tx

Notation:

minimize c^Tx subject to Ax≥b

x≥0

(52)

LP-Algorithmen

Satz

Linear Programmingist in PO.

Algorithmen:

I Simplex (Dantzig, 1947)

in der Praxis gut, aber im worst case exponentiell

I Ellipsoid-Methoide (Khachiyan, 1979)

polynomiell, aber nicht praktisch anwendbar

I Interior-Point-Methode (Karmarkar, 1984) polynomiell, auch praktisch effizient

(53)

Aquivalente Varianten des Problems ¨

I Gleichungen und unbeschr¨ankte Variablen minimize c^Tx

subject to Ax≥b Ax=b

x₁≥0, . . . ,x_r ≥0

I nur Gleichungen minimize c^Tx subject to Ax=b

x≥0

I Maximierung

maximize c^Tx subject to Ax≤b

x≥0

(54)

Runden der L¨ osung eines linearen Programms

Integer Linear Programmingist NP-schwer viele Probleme in NPO darauf reduzierbar.

Idee:

I Lockern der Anforderung “ganzzahlig”

I lineares Programm — effizient l¨osbar

I optimale rationale L¨osung

I Runden liefert ganzzahlige L¨osung

I nicht otwendig optimal, aber oft gute Approximation

(55)

Vertex Cover mittels LP

Minimum Weighted Vertex Cover

Instanz: ungerichteter GraphG = (V,E), Gewichtc_i f¨urv_i ∈V.

L¨osung: vertex coverU ⊆V

Maß: P

vi∈Uc_i Lineares ProgrammP_VC:

minimize Pn i=1cixi

subject to xi+xj ≥1 f¨ur alle{vi,vj}∈E xi≥0

Optimale L¨osungx₁^∗, . . . ,x_n^∗ vertex coverU :={vi;x_i^∗≥¹₂}.

Satz

F¨ur das Maß mLP dieses vertex cover U gilt mLP ≤2m^∗.

(56)

Dualit¨ at

m^∗≤t wird durch L¨osungx mitc^Tx≤t bezeugt.

Frage:Wie kannm^∗≥t bezeugt werden ? Beispiel:

minimize 7x1+x2+5x3

subject to x1−x2+3x3≥10 5x1+2x2−x3≥6 x1,x2,x3≥0 Koeffizientenvergleich zeigt:m^∗≥10

7x1+x2+5x3≥x1−x2+3x3≥10 Besser:m^∗≥16

7x1+x2+5x3≥x1−x2+3x3+5x1+2x2−x3≥16

duales Programm

(57)

Duales Programm

ProgrammP Duales PogrammD

UngleichungP

ja_i,jx_j ≥b_i Variabley_i mity_i≥0 GleichungP

ja_i,jx_j=b_i Variabley_i Variablexj mitxj≥0 UngleichungP

iai,jyi ≤cj

Variablexj GleichungP

iai,jyi≤cj

minimizec^Tx maximizeb^Ty

Dualit¨ atstheorem

F¨ur ProgrammP und dualesD gilt

I P hat optimale L¨osung gdw.D hat optimale L¨osung.

I Istx^∗ optimal f¨urPund y^∗ f¨urD, so istc^Tx^∗=b^Ty^∗.

(58)

Complementary Slackness Condition

Schwaches Dualit¨ atstheorem

Für Lösungenx fürP undy fürDgilt:

c^Tx ≥b^Ty

Lösungen x fürP undy fürD sind optimal gdw. die folgenden Bedingungen gelten:

Primary complementary slackness condition (CSC) x_j =0 oder X

i

a_i,jy_i =c_j f¨ur allej Dual complementary slackness condition (CSC):

y_i =0 oder X

j

a_i,jx_j=b_i f¨ur allei

(59)

Primal-Dual-Schema

GegebenI ganzzahliges LP, seiD das duale Programm.

Halte zwei Vektoren:

I x potentielle L¨osung f¨urI

I y L¨osung f¨urD, nicht notwendig optimal.

x,y werden iterativ verbessert, bisx L¨osung vonI ist.

Dabei gilt stets die Primal CSC xj =0 oder P

iai,jyi=cj f¨ur allej und eine abgeschw¨achte Dual CSC

yi =0 oder P

jai,jxj≤α·bi f¨ur allei Algorithmus terminiert, wen x L¨osung vonI ist. Dann gilt:

P

jc_jx_j =P

j

P

ia_i,jy_i x_j =P

i

P

ja_i,jx_j

y_i ≤α·P

ib_iy_i≤αm^∗

(60)

Primal-Dual Algorithmus f¨ ur Vertex Cover

Duales ProgrammDVC: maximize X

{v_i,v_j}∈E

yi,j

subject to X

j:{vi,vj}∈E

y_i,j ≤c_i (C_i) yi,j ≥0

Algorithmus:

~y:=0; U :=∅

whileU not a vertex cover find {v_i,v_j}not covered increasey_i,j

until (Ci) or (Cj) tight if (Ci) is tight then

U:=U∪{vi} else

U:=U∪{vj}

Satz

Der obige Algorithmus findet ein vertex cover mit Maß m_PD derart dass m_PD ≤2m^∗.

(61)

Das Multicut-Problem

Minimum Multicut

Instanz: ungerichteter GraphG = (V,E), Kapazit¨atce f¨ure∈E,

Menge{(s1,t1), . . . ,(sk,tk)}⊆V×V mitsi 6=ti. L¨osung: SchnittC⊆E mit:

si undti in(V,E\C)nicht verbunden

Maß: P

e∈Cce

Satz

Minimum Multicutist NP-schwer. für Bäume der Höhe 1.

Beweis: Reduktion vonVertex Cover.

(62)

Multicut in B¨ aumen

Seipi der eindeutige Pfad vonsi nachti inG

Lineares Programm:

minimize P

e∈Ecexe

subject to P

e∈pixe ≥1 f¨uri =1. . .k x_e≥0

Bemerke: Es gibt L¨osungen, die besser sind als jeder Multicut.

(63)

Primal-Dual Algorithmus f¨ ur Minimum Multicut

Duales Programm:

maximize P

i≤ky_i subject to P

i:p_i3ey_i ≤c_i f¨ure∈E yi≥0

Interpretation: yi ist Fluss vonsi nachti.

Fall k=1: Dualit¨atstheorem =^ Max Flow - Min Cut

(64)

Complementary slackness conditions

Prim¨are CSC:

xe6=0 ⇒ X

i:p_i3e

yi =ce f¨ur allee∈E d.h. nur Kanten ausgew¨ahlt, durch die maximaler Fluss geht.

Abgeschw¨achte duale CSC:

yi6=0 ⇒ X

e∈pi

xe≤2

d.h. auf Pfad mit Fluss>0 h¨ochstens zwei Kanten ausgew¨ahlt.

(65)

Der Algorithmus

W¨ahle einv ∈V als Wurzel

sortiereV ={v1, . . . ,vn}absteigend nach Tiefe y :=~0

C :=∅

f¨uri:=1, . . . ,n:

f¨ur jedesj mitlca(sj,tj) =vi

findee∈p_j mitc_e−P

`y_` minimal y_j :=c_e−P

`<iy_`

f¨uge alle Kantene zuC hinzu, f¨ur die jetztP

`y_`=c_e seiC ={e1, . . . ,em}geordnet wie zugef¨ugt

f¨uri:=m, . . . ,1

fallsC\ {e_j}Multicut ist C :=C\ {e_j}

(66)

Analyse des Algorithmus

Lemma:Sei(s_i,t_i)mity_i >0, und seilca(s_j,t_j) =v.

Dann ist auf jedem der Pfade

I vonsi zu v

I vonv zuti

h¨ochstens eine Kante inC.

Satz

F¨ur den Wert mPD des gefundenen Multicut gilt mPD≤2m^∗.

(67)

Dynamische Programmierung

I Zerlegungdes Problems in kleinere, gleichartige Teilprobleme.

I L¨osung ist zusammengesetzt aus den L¨osungen der Teilprobleme.

I Aber: Teilprobleme sind nicht unabh¨angig, sondern haben ihrerseitsgemeinsame Teilprobleme.

rekursives Divide-and-Conquer-Verfahren l¨ost dieselben Teilprobleme immer wieder.

L¨osung: Rekursion mitMemoisierung, oder besser:

Dynamische Programmierung:

Bottom-Up-Berechnung der L¨osungen gr¨oßerer Probleme aus denen kleinerer, die dabei in einerTabelle

gespeichert werden.

(68)

Beispiel: Matrizen-Kettenmultiplikation

Problem: nMatrizenM1, . . . ,Mn sollen multipliziert werden, wobeiMi∈Rⁿⁱ^×nⁱ⁺¹

Aufwand h¨angt von der Klammerung ab.

BezeichneMi..j das ProduktMi·Mi+1·. . .·Mj,

undm[i,j]die minimale Zahl von Multiplikationen f¨urM_i..j.

I Optimale Klammerung vonM1..n istM1..k·Mk+1..n, f¨ur optimale Klammerungen vonM1..k und Mk+1..n.

I Deshalb gilt:

m[i,j] =





0 fallsi=j

min

i≤k<jm[i,k] +m[k+1,j] +n_in_k+1n_j+1 sonst.

(69)

Teilproblemstruktur von Knapsack

Sei P:=Pn

i=1pi und A:=Pn i=1ai

Teilproblem Π(k,p)f¨urk ≤nundp≤P:

L¨osung: M⊆{x₁, . . .x_k}mitP

x_i∈Ma_i≤b und P

x_i∈Mpi =p Ziel: minimiereP

xi∈Mai

Definition

M(k,p)optimale L¨ousung vonΠ(k,p) S(k,p) :=P

xi∈M(k,p)a_i