Kapitel 01: Matroide (Eﬃziente Algorithmen, WS 2019) Gerhard Woeginger

(1)

Kapitel 01: Matroide

(Effiziente Algorithmen, WS 2019) Gerhard Woeginger

WS 2019, RWTH

(2)

Organisatorisches

N¨achste Vorlesung:

Dienstag, Januar 14, 16:30–18:00 Uhr, AH V Webseite:

https://algo.rwth-aachen.de/Lehre/WS1920/EA/EA.py

(3)

Matroide

Grundlegende Definitionen Ber¨uhmte Matroide Optimierung auf Matroiden Weitere Begriffe und Definitionen

(4)

Zum Aufw¨ armen:

Wann/Warum funktioniert Greedy?

(5)

Problem #1: Minimal Spannender Baum

Problem: Minimal Spannender Baum (MST)

Instanz:ungerichteter GraphG = (V,E); Kantengewichtew :E →Z Ziel:Bestimme Spannbaum f¨urG mit minimalem Gewicht

Kruskal Algorithmus (Greedy Algorithmus) InitialisiereS:=∅

Bearbeite die Kantene₁, . . . ,e_m nach monoton ansteigendem Gewicht:

FallsS+ek kreisfrei, setzeS:=S+ek

Return S Satz

Kruskal/Greedy findet immer einen Spannbaum mit minimalem Gewicht.

(6)

Problem #2: Matrix Auswahl (1)

Problem: Matrix Auswahl

Instanz:n×nMatrixAmit ganzzahligen Eintr¨agen

Ziel:Wähle Teilmenge der Einträge mit minimalem Gewicht aus, sodass jede Zeile und Spalte genau einen gewählten Eintrag enthält

2 6 13 18 19

12 4 7 20 22

23 14 5 8 11

21 24 17 3 10

25 15 16 9 1

(7)

Problem #2: Matrix Auswahl (1)

Problem: Matrix Auswahl

Instanz:n×nMatrixAmit ganzzahligen Eintr¨agen

Ziel:Wähle Teilmenge der Einträge mit minimalem Gewicht aus, sodass jede Zeile und Spalte genau einen gewählten Eintrag enthält

2 6 13 18 19

12 4 7 20 22

23 14 5 8 11

21 24 17 3 10

25 15 16 9 1

(8)

Problem #2: Matrix Auswahl (2)

Definition:Eine TeilmengeS der Matrix-Einträge heistzulässig, fallsS von jeder Zeile und jeder Spalte höchstens ein Element enthält.

Greedy Algorithmus InitialisiereS:=∅

Bearbeite die Matrix-Eintr¨ageai,j nach ansteigendem Gewicht.

FallsS+ai,j zul¨assig: UpdateS:=S+ai,j

Return S

V¨ollig falsche Aussage

Greedy findet immer eine zul¨assige Menge mit minimalem Gewicht.

(9)

Problem #2: Matrix Auswahl (2)

Definition:Eine TeilmengeS der Matrix-Einträge heistzulässig, fallsS von jeder Zeile und jeder Spalte höchstens ein Element enthält.

Bearbeite die Matrix-Eintr¨ageai,j nach ansteigendem Gewicht.

FallsS+ai,j zul¨assig: UpdateS:=S+ai,j

Return S

V¨ollig falsche Aussage

Greedy findet immer eine zul¨assige Menge mit minimalem Gewicht.

(10)

Problem #3: Vektor Auswahl (1)

Problem: Vektor Auswahl

Instanz:Vektoren~a1, . . . , ~an∈R^d; Gewichtew1, . . . ,wn∈N Ziel:W¨ahle eine linear unabh¨angige Teilmenge der Vektoren

mit maximalem Gewicht aus.

Beispiel:

~a1= (1,0,0,0)^T mit Gewichtw1=1

~a₃= (0,0,1,0)^T mit Gewichtw₃=3

(11)

Problem #3: Vektor Auswahl (2)

Bearbeite die Vektoren~a_i nach absteigendem Gewicht.

FallsS∪ {~a_i}linear unabh¨angig: UpdateS:=S∪ {~a_i} Return S

Eine (wahre?? falsche??) Behauptung

Greedy findet immer eine linear unabh¨angige Menge mit maximalem Gewicht.

(12)

Problem #3: Vektor Auswahl (2)

Bearbeite die Vektoren~a_i nach absteigendem Gewicht.

FallsS∪ {~a_i}linear unabh¨angig: UpdateS:=S∪ {~a_i} Return S

Eine (wahre?? falsche??) Behauptung

Greedy findet immer eine linear unabh¨angige Menge mit maximalem Gewicht.

(13)

Grundlegende Definitionen

Hassler Whitney:

“On the Abstract Properties of Linear Dependence”

American Journal of Mathematics 57 (1935), pp 509–533

(14)

Matroide: Definition

Matroide sind kombinatorische Strukturen, die den Begriff der linearen Unabh¨angigkeit von Vektoren verallgemeinern.

Definition

EinMatroidist ein Paar(E,I), wobei

E eine (nicht-leere) endliche Grundmenge ist;

I eine Familie von Teilmengen vonE mit∅ ∈ I ist.

Die Mengen inI werdenunabh¨angiggenannt, und Mengen nicht inI heissenabh¨angig.

Die FamilieI erf¨ullt die folgenden beiden Eigenschaften:

(I1) Wenn X ⊆Y undY ∈ I, dannX ∈ I.

(I2) Wenn X ∈ I undY ∈ I und|Y|>|X|, dann∃e∈Y −X : X+e ∈ I

(15)

Matroide: Anmerkungen

Schreibweisen f¨ur Menge X und Elementa:

X +a:= X ∪ {a}

X −a:= X \ {a}

(I1) WennX ⊆Y undY ∈ I, dannX ∈ I.

Monotonie-Eigenschaft impliziert: Wenn I nicht leer, dann∅ ∈ I

(I2) WennX ∈ I undY ∈ I und|Y|>|X|, dann∃e∈Y −X : X+e ∈ I

Austauscheigenschaftimpliziert, dass alle maximalen(bezüglich Inklusion) unabhängigen Mengen die selbe Kardinalität haben.

Maximale unabh¨angige Mengen heissenBasen.

(16)

Ber¨ uhmte Matroide

(17)

Uniforme Matroide

Dasuniforme MatroidUk,n hat eine GrundmengeE mitnElementen.

Eine TeilmengeX ⊆E istunabh¨angig, falls|X| ≤k gilt:

I = {X ⊆E : |X| ≤k}

Warum erf¨ulltI die Monotonie-Eigenschaft (I1)?

Warum erf¨ulltI die Austauscheigenschaft (I2)?

(18)

Partitions-Matroide (1)

In einemPartitions-Matroidist die GrundmengeE in disjunkte TeilmengenE1, . . . ,E` partitioniert.

Weiters sind nat¨urliche Zahlenk1, . . . ,k` gegeben.

Eine TeilmengeX ⊆E istunabh¨angig, falls|X∩Ei| ≤ki f¨ur 1≤i ≤`gilt:

I = {X ⊆E : |X∩E_i| ≤k_i, for 1≤i ≤`}

Was passiert, wenn die TeilmengenE1, . . . ,E` nicht disjunkt sind?

(19)

Partitions-Matroide (2): Beispiel

Grundmenge E ={a1,a2,a3,a4,a5,a6,b1,b2,c1,c2,c3,c4,c5} PartitionE1={a1,a2,a3,a4,a5,a6};E2={b1,b2};

E₃={c1,c₂,c₃,c₄,c₅} Zahlenk1=2; k2=1; k3=5

a1 a2 a3 a4 a5 a6 ≤2

b1 b2 ≤1

c1 c2 c3 c4 c5 ≤5

Wie gross sind die Basen dieses Matroids?

(20)

Lineare Matroide (1)

In einemlinearen Matroidist die Grundmenge E die Menge von Spalten in einer Matrix A.

Eine TeilmengeX ⊆E der Spalten istunabh¨angig, falls die Spaltenvektoren linear unabh¨angig sind:

I = {X ⊆E : rang(A_X) =|X|}

(21)

Lineare Matroide (2): Beispiel

A =







1 1 0

1 0 1

0 1 1







Welches Matroid ergibt sich,

wenn die Eintr¨age vonAreelle Zahlen sind?

wenn die Eintr¨age vonAElemente von F2 sind? wenn die Eintr¨age vonAElemente von F3 sind?

(22)

Lineare Matroide (2): Beispiel

A =







1 1 0

1 0 1

0 1 1







wenn die Eintr¨age vonAElemente von F2 sind?

(23)

Lineare Matroide (2): Beispiel

A =







1 1 0

1 0 1

0 1 1







(24)

Lineare Matroide (3)

In einem linearen Matroid muß die MatrixAnicht ¨uber den reellen ZahlenRdefiniert sein; jeder beliebige K¨orperFist erlaubt.

Ein derartiges Matroid heisst dannrepräsentierbar über F. Ein lineares Matroid überF2 heisstbinäres Matroid.

Ein lineares Matroid ¨uberF3 heissttern¨ares Matroid.

Nicht jedes lineare Matroid ist über jedem KörperFrepräsentierbar.

Ubung¨ Zeigen Sie:

Das uniforme MatroidU2,4ist überF3 repräsentierbar. Das uniforme MatroidU2,4ist überF2 nichtrepräsentierbar.

(25)

Lineare Matroide (3)

In einem linearen Matroid muß die MatrixAnicht ¨uber den reellen ZahlenRdefiniert sein; jeder beliebige K¨orperFist erlaubt.

Ein derartiges Matroid heisst dannrepräsentierbar über F. Ein lineares Matroid überF2 heisstbinäres Matroid.

Ein lineares Matroid ¨uberF3 heissttern¨ares Matroid.

Nicht jedes lineare Matroid ist über jedem KörperFrepräsentierbar.

Ubung¨ Zeigen Sie:

Das uniforme MatroidU2,4ist ¨uberF3 repr¨asentierbar.

Das uniforme MatroidU_2,4ist ¨uberF2 nichtrepr¨asentierbar.

(26)

Lineare Matroide (4)

Ein Matroid, das überjedemKörper repräsentierbar ist, heisstregulär.

Satz (ohne Beweis)

Ein Matroid ist regul¨ar, genau dann wenn

es mit einer total unimodularenMatrixA¨uber den reellen Zahlen repr¨asentierbar ist.

(27)

Graphische Matroide (1)

In einemgraphischen Matroidist die GrundmengeE die Kantenmenge eines ungerichteten Multigraphen G = (V,E).

Eine TeilmengeX ⊆E istunabh¨angig, falls der Graph(V,X)keine Kreise enth¨alt:

I = {X ⊆E : (V,X)ist kreisfrei}

Das graphische Matroid f¨urG wird oft mitM(G)bezeichnet.

(28)

Graphische Matroide (2)

Wie gross sind die Basen dieses Matroids?

(29)

Co-graphische Matroide

In einemco-graphischen Matroidist die GrundmengeE die Kantenmenge eines ungerichteten Multigraphen G = (V,E).

Eine TeilmengeX ⊆E istunabh¨angig, falls der Graph(V,E −X) die selbe Anzahl von Zusammenhangskomponenten enth¨alt wieG:

I = {X ⊆E : zk(V,E−X) =zk(V,E)}

Das co-graphische Matroid f¨urG wird oft mitM^∗(G)bezeichnet.

(30)

Matching Matroide

In einemMatching Matroid ist die Grundmenge die Knotenmenge V eines ungerichteten GraphenG = (V,E).

Eine TeilmengeX ⊆V istunabh¨angig, falls inG ein Matching existiert, das alle Knoten inX ¨uberdeckt:

I = {X ⊆V : ∃MatchingM: M ¨uberdecktX}

Ubung¨

(31)

Optimierung auf Matroiden

(32)

Optimierung auf Matroiden

Optimierungsproblem

Eingabe:Ein MatroidM = (E,I); Kostenc :E →N

Ziel:Finde unabh¨angige Menge S mit maximalen Kostenc(S) Notation:c(S) := P

e∈Sc(e)

(33)

Greedy Algorithmus

1 Sortiere Elemente sodass c(e˙1) ¿= ... ¿= c(e˙n) 2 S˙0:= leere Menge;

3 k:= 0;

4 For j:=1 to n do

5 if (S˙k +e˙j unabhaengig) then

6 k:= k+1;

7 S˙k:= S˙–k-1˝+e˙j;

8 s˙k:= e˙j;

9 endif

10 Output S˙k

(34)

Analyse von Greedy (1)

Satz

F¨ur jedes MatroidM = (E,I)und f¨ur jedesk ≥0

berechnet der Greedy Algorithmus eine unabh¨angige MengeSk

mit maximalen Kosten unter allen unabh¨angigen Mengen der Gr¨ossek.

Beweisskizze:

Es seiSk ={s1, . . . ,sk} mitc(s1)≥c(s2)≥ · · · ≥c(sk). Es seiT_k ={t₁, . . . ,t_k}mitc(t₁)≥c(t₂)≥ · · · ≥c(t_k)eine bessere L¨osung, mitc(Sk)<c(Tk).

Es seipder kleinste Index mit c(tp)>c(sp). DefiniereX ={s1, . . . ,s_p−1}.

DefiniereY ={t1, . . . ,t_p−1,tp}.

Die Austauscheigenschaft f¨ur|Y|>|X|gibt uns eintq∈Y −X mitX +tq ∈ I

(35)

Analyse von Greedy (1)

Satz

Beweisskizze:

Es seiSk ={s1, . . . ,sk} mitc(s1)≥c(s2)≥ · · · ≥c(sk).

Es seiT_k ={t₁, . . . ,t_k}mitc(t₁)≥c(t₂)≥ · · · ≥c(t_k)eine bessere L¨osung, mitc(Sk)<c(Tk).

Es seipder kleinste Index mit c(tp)>c(sp).

DefiniereX ={s1, . . . ,s_p−1}. DefiniereY ={t1, . . . ,t_p−1,tp}.

(36)

Analyse von Greedy (1)

Satz

Beweisskizze:

Es seiSk ={s1, . . . ,sk} mitc(s1)≥c(s2)≥ · · · ≥c(sk).

Es seiT_k ={t₁, . . . ,t_k}mitc(t₁)≥c(t₂)≥ · · · ≥c(t_k)eine bessere L¨osung, mitc(Sk)<c(Tk).

Es seipder kleinste Index mit c(tp)>c(sp).

DefiniereX ={s₁, . . . ,s_p−1}.

Die Austauscheigenschaft f¨ur|Y|>|X|gibt uns

(37)

Analyse von Greedy (2)

Beweisskizze (fortgesetzt):

Greedy versuchte zu einem gewissen Zeitpunkt,

Elementtq zur momentanen L¨osungsmengeS hinzuzuf¨ugen.

Es gilt S⊆X

Es gilt S+tq⊆X+tq.

Es gilt S+t_q∈ I. Widerspruch!

(38)

Analyse von Greedy (2)

Es gilt S⊆X

(39)

Analyse von Greedy (2)

Es gilt S⊆X

(40)

Greedy charakterisiert Matroide (1)

Satz

Es seiE eine endliche Grundmenge, und

es seiI eine Familie von Teilmengen vonE mit∅ ∈ I.

Das Paar(E,I)ist ein Matroid, genau dann wenn

der Greedy Algorithmus f¨ur jede Kostenfunktionc :E →N eine unabh¨angige Menge S mit maximalen Kostenc(S)findet.

Beweisskizze:

Falls (I1) verletzt mit∅ 6=X ⊆Y undY ∈ I undX ∈ I/ : Setzec(e) =2f¨ur allee∈X;

Setzec(e) =1f¨ur allee∈Y −X; Setzec(e) =0f¨ur allee∈E−Y.

(41)

Greedy charakterisiert Matroide (1)

Satz

Es seiE eine endliche Grundmenge, und

es seiI eine Familie von Teilmengen vonE mit∅ ∈ I.

Das Paar(E,I)ist ein Matroid, genau dann wenn

der Greedy Algorithmus f¨ur jede Kostenfunktionc :E →N eine unabh¨angige Menge S mit maximalen Kostenc(S)findet.

Beweisskizze:

Falls (I1) verletzt mit∅ 6=X ⊆Y undY ∈ I undX ∈ I/ : Setzec(e) =2f¨ur allee∈X;

Setzec(e) =1f¨ur allee∈Y −X; Setzec(e) =0f¨ur allee∈E−Y.

(42)

Greedy charakterisiert Matroide (2)

Falls (I2) verletzt mitX ∈ I undY ∈ I und|Y|>|X|, und f¨ur allee∈Y −X giltX+e ∈ I:/

Setzec(e) =|X|+2für allee∈X; Setzec(e) =|X|+1für allee∈Y −X; Setzec(e) =0für allee∈E−Y.

(43)

Maximierung versus Minimierung

Min-Greedy Algorithmus

1 Sortiere Elemente sodass c(e˙1) ¡= ... ¡= c(e˙n) 2 S˙0:= leere Menge;

3 k:= 0;

4 For j:=1 to n do

5 if (S˙k +e˙j unabhaengig) then

6 k:= k+1;

7 S˙k:= S˙–k-1˝+e˙j;

8 s˙k:= e˙j;

9 endif

10 Output S˙k

Satz

berechnet der Min-Greedy Algorithmus eine unabhängige MengeS_k mitminimalenKosten unter allen unabhängigen Mengen der Grössek.

(44)

Zeitkomplexit¨ at

Die Sortierphase kostetO(|E|log|E|)Zeit Der Zeitbedarf der Konstruktionsphase h¨angt vom Unabh¨angigkeitstest ab: GegebenX ⊆E, gilt X ∈ I?

Satz

Wenn der Unabh¨angigkeitstest in einem MatroidM = (E,I)in polynomieller Zeit durchgef¨uhrt werden kann, kann der Greedy Algorithmus in polynomieller Zeit implementiert werden.

(45)

Weitere Begriffe und Definitionen

(46)

Circuits (1)

Definition

EinCircuitin einem Matroid ist

eine minimale (bez¨uglich Inklusion) abh¨angige Teilmenge vonE.

Wie sehen die Circuits in einem graphischen Matroid aus?

Wie sehen die Circuits in einem Partitions-Matroid aus?

(47)

Circuits (2)

Beobachtung

Es seiM = (E,I)ein Matroid.

Es seiS∈ I unde∈E, sodassS+e∈ I./ Dann existiert eineindeutigerCircuit C ⊆S+e.

Beweisskizze:

Angenommen, S+e enth¨alt zwei CircuitsC1undC2 mitC16=C2. Dann existiertf ∈C1−C2.

Dann giltC1−f ∈ I.

Es seiX1 maximal und unabh¨angig mitC1−f ⊆X1⊆S+e. Dann gilt|X1|=|S|.

Daher gilt X1=S+e−f, und damitC2⊆X1. Widerspruch.

(48)

Circuits (2)

Beobachtung

Beweisskizze:

Dann giltC1−f ∈ I.

Es seiX1 maximal und unabh¨angig mitC1−f ⊆X1⊆S+e. Dann gilt|X1|=|S|.

(49)

Circuits (2)

Beobachtung

Beweisskizze:

Dann giltC₁−f ∈ I.

Es seiX1 maximal und unabh¨angig mitC1−f ⊆X1⊆S+e.

Dann gilt|X1|=|S|.

(50)

Rang (1)

Definition

DieRangfunktionr :2^E →Neines Matroids M= (E,I)ist gegeben durch:

r(X) = max{|Y|: Y ⊆X undY ∈ I}

In linearen Matroiden f¨allt der Rang mit dem klassischen Rang aus der linearen Algebra zusammen.

In Partitions-Matroiden: r(X) =P`

i=1min{ki, |Ei∩X|}

In graphischen Matroiden: r(X) =|V| −zk(V,X)

(51)

Rang (2)

Satz

Die Rangfunktionr eines MatroidsM = (E,I)hat die folgenden Eigenschaften:

(R1) 0≤r(X)≤ |X| f¨ur alleX ⊆E (R2) r(X)≤r(Y) f¨ur alleX ⊆Y ⊆E

(R3) r(X) +r(Y) ≥ r(X∩Y) +r(X ∪Y) f¨ur alleX,Y ⊆E Die Eigenschaft (R3) wirdSubmodularit¨atgenannt.

(52)

Rang (3)

Die Rangfunktion istsubmodular: r(X) +r(Y)≥r(X∩Y) +r(X∪Y)

Es seiI1 maximale unabh¨angige Teilmenge vonX∩Y. Es gilt |I₁|=r(X ∩Y).

Es seiI maximale unabh¨angige Teilmenge vonX ∪Y mitI₁⊆I. Es gilt |I|=r(X∪Y).

Wir setzenI₂:=I∩(X −Y)undI₃:=I∩(Y −X).

Es gilt r(X∪Y) = |I1|+|I2|+|I3|.

AusI1∪I2⊆X folgt r(X)≥ |I1|+|I2|. AusI1∪I3⊆Y folgt r(Y)≥ |I1|+|I3|.

(53)

Rang (3)

Die Rangfunktion istsubmodular: r(X) +r(Y)≥r(X∩Y) +r(X∪Y)

Es seiI1 maximale unabh¨angige Teilmenge vonX∩Y. Es gilt |I₁|=r(X ∩Y).

Es seiI maximale unabh¨angige Teilmenge vonX ∪Y mitI₁⊆I. Es gilt |I|=r(X∪Y).

Wir setzenI₂:=I∩(X −Y)undI₃:=I∩(Y −X).

Es gilt r(X∪Y) = |I1|+|I2|+|I3|.

AusI1∪I2⊆X folgt r(X)≥ |I1|+|I2|.

AusI1∪I3⊆Y folgt r(Y)≥ |I1|+|I3|.

(54)

Abschluss (1)

Definition

F¨ur ein Matroid M= (E,I)und eine MengeX ⊆E definieren wir span(X) = {e∈E : r(X+e) =r(X)}.

Die Mengespan(X)wird alsSpannoderAbschlussoderlineare H¨ulle von X bezeichnet.

(55)

Abschluss (2)

Beobachtung

F¨ur jede MengeX ⊆E giltr(X) =r(span(X)).

Beweisskizze:

Es seiS eine maximale unabh¨angige Teilmenge vonX. Fallsr(span(X))>|S|, existiert laut (I2) ein e∈span(X)−S sodassS+e∈ I. Das f¨uhrt aber zum Widerspruch

r(X+e) ≥ r(S+e) = |S|+1 > |S| = r(S).