Randomisierte Algorithmen

(1)

10. Schnell mischende Markov-Ketten

Thomas Worsch

Fakultät für Informatik Karlsruher Institut für Technologie

Wintersemester 2019/2020

1 / 36

(2)

10. Schnell mischende Markov-Ketten Überblick

Überblick

Anmerkungen zu Eigenwerten

Konvergenzverhalten ergodischer Markov-Ketten

Schnell mischende Markov-Ketten

(3)

10. Schnell mischende Markov-Ketten Überblick

Ein schönes Buch

David A. Levin, Yuval Peres, Elizabeth L. Wilmer:

Markov Chains and Mixing Times AMS (2008)

http://darkwing.uoregon.edu/~dlevin/MARKOV/markovmixing.pdf

3 / 36

(4)

10. Schnell mischende Markov-Ketten Anmerkungen zu Eigenwerten

Überblick

Konvergenzverhalten ergodischer Markov-Ketten Schnell mischende Markov-Ketten

(5)

Lemma

Es sei𝑃 eine zeilenstochastische Matrix.

I Dann ist1ein Eigenwert von𝑃.

I Für jeden Eigenwert𝜆von𝑃 gilt:|𝜆| ≤ 1.

5 / 36

(6)

Beweis

I Erster Teil klar wegen𝑃(1, . . . ,1)^𝑇 =(1, . . . ,1)^𝑇. I sei𝜆 ∈CEigenwert mit𝑃(𝑥₁, . . . , 𝑥_𝑛)^𝑇 =𝜆(𝑥₁, . . . , 𝑥_𝑛)^𝑇

und𝑖₀ein Index mit|𝑥_𝑖

0|=max𝑗 |𝑥_𝑗|.

I dann

|𝜆| · |𝑥_𝑖

0| = |𝜆·𝑥_𝑖

0|=

Õ

𝑗

𝑃_𝑖

0𝑗𝑥_𝑗

≤ Õ

𝑗

𝑃_𝑖

0𝑗|𝑥_𝑗| ≤ Õ

𝑗

𝑃_𝑖

0𝑗|𝑥_𝑖

0|

= |𝑥_𝑖

0|Õ

𝑗

𝑃_𝑖

0𝑗 =|𝑥_𝑖

0| .

also|𝜆| ≤ 1.

(7)

Beweis

I Erster Teil klar wegen𝑃(1, . . . ,1)^𝑇 =(1, . . . ,1)^𝑇. I sei𝜆 ∈CEigenwert mit𝑃(𝑥₁, . . . , 𝑥_𝑛)^𝑇 =𝜆(𝑥₁, . . . , 𝑥_𝑛)^𝑇

und𝑖₀ein Index mit|𝑥_𝑖

0|=max𝑗 |𝑥_𝑗|.

I dann

|𝜆| · |𝑥_𝑖

0| = |𝜆·𝑥_𝑖

0|=

Õ

𝑗

𝑃_𝑖

0𝑗𝑥_𝑗

≤ Õ

𝑗

𝑃_𝑖

0𝑗|𝑥_𝑗| ≤ Õ

𝑗

𝑃_𝑖

0𝑗|𝑥_𝑖

0|

= |𝑥_𝑖

0|Õ

𝑗

𝑃_𝑖

0𝑗 =|𝑥_𝑖

0| .

also|𝜆| ≤ 1.

6 / 36

(8)

Lemma

sei𝑃stochastische Matrix

I einer reversiblen Markov-Kette I mit|𝑆|=𝑁 Zuständen dann besitzt𝑃

I nur reelle Eigenwerte

I mit1=𝜆₁>𝜆₂≥ · · · ≥𝜆_𝑁 >−1.

(9)

Abkürzung

I 𝜆_max =max{|𝜆| | 𝜆ist Eigenwert von𝑃und𝜆≠1}.

I Eben bewiesen:

I für ergodische Markov-Ketten:𝜆_max ≤1.

I für reversible Markov-Ketten:𝜆_max=max{|𝜆₂|,|𝜆_𝑁|}<1

8 / 36

(10)

Bemerkung

Falls𝜆_𝑁 <0:

I Gehe vonPzuP⁰= ¹₂(P+I)über.

I Eigenwerte𝜆⁰

𝑖 = ¹₂(𝜆_𝑖+1) >0, also I 𝜆_max =𝜆₂

(11)

Überblick

10 / 36

(12)

Definition

I Für zwei Verteilungenpundqist dietotale Variationsdistanz

kp−qk_tv =1 2

Õ

𝑗∈𝑆

|p^𝑗 −q^𝑗|.

I Übung:

kp−qk_tv =max

𝑇⊆𝑆

|p(𝑇) −q(𝑇) | wobeip(𝑇) =Í

𝑗∈𝑇p^𝑗 I also0≤ kp−qk_tv ≤1

(13)

Definition

I ergodische Markov-KetteP, stationäre Verteilungw;

für alle Verteilungenpsei

𝛿_p(𝑡) =kpP^𝑡 −wk_tv I DieVariationsdistanz zum Zeitpunkt𝑡ist

Δ(𝑡)=max

p

𝛿_p(𝑡) .

I Übung: Maximum für einen Einheitsvektor Δ(𝑡) =max

𝑖

kP^𝑡𝑖 −wk_tv

wobeiP^𝑡_𝑖 die𝑖-te Zeile vonP^𝑡 ist.

I klar: lim𝑡→∞Δ(𝑡) =0 aber:Wie schnell geht das?

12 / 36

(14)

Satz

ergodische Markov-Kette, MatrixP, stationäre Verteilungw

Es existieren Konstanten𝐶und𝛼 <1mit Δ(𝑡) =max

𝑖

kP^𝑡𝑖−wk_tv ≤𝐶 𝛼^𝑡

(15)

Beweis (1)

I P^𝑡⁰ enthalte nur positive Werte I Wwie bisher

I dann exisitiert0<𝛿 <1so, dass für alle𝑖und𝑗 gilt:P^𝑡_{𝑖 𝑗}⁰ ≥𝛿w𝑗

I 𝜗 =1−𝛿 I QMatrix mit

P^𝑡⁰ =(1−𝜗)W+𝜗Q Qist zeilenstochastisch

I für jedes𝑘 ∈N0gilt:

I Q^𝑘W=W denn mitQist auchQ^𝑘zeilenstochastisch I WP^𝑡⁰=W dennwist stationäre Verteilung

14 / 36

(16)

Beweis (2)

nun induktiv: für jedes𝑘 ∈N+ist P^𝑡⁰^𝑘 =(1−𝜗^𝑘)W+𝜗^𝑘Q^𝑘 I 𝑘=1: Definition vonQ

I 𝑘;𝑘+1:

P^𝑡⁰⁽^𝑘⁺¹⁾ =P^𝑡⁰^𝑘P^𝑡⁰

=

(1−𝜗^𝑘)W+𝜗^𝑘Q^𝑘

P^𝑡⁰ Ind.vor.

=(1−𝜗^𝑘)WP^𝑡⁰ +𝜗^𝑘Q^𝑘P^𝑡⁰

=(1−𝜗^𝑘)W+𝜗^𝑘Q^𝑘P^𝑡⁰ vorige Folie

=(1−𝜗^𝑘)W+𝜗^𝑘Q^𝑘 ( (1−𝜗)W+𝜗Q) Ind.anf.

(17)

Beweis (3)

I P^𝑡⁰^𝑘 =(1−𝜗^𝑘)W+𝜗^𝑘Q^𝑘 also P^𝑡⁰^𝑘⁺^𝑗 −W=𝜗^𝑘 Q^𝑘P^𝑗 −W I Zeile𝑖:kP^𝑡_𝑖⁰^𝑘⁺^𝑗 −wk_tv ≤𝜗^𝑘

I für beliebiges𝑡 =𝑡₀𝑘+𝑗 mit𝑘 =𝑡div𝑡₀und𝑗 =𝑡 mod𝑡₀

kP^𝑡𝑖−wk_tv = kP^𝑡_𝑖⁰^𝑘⁺^𝑗 −wk_tv

≤𝜗^𝑘

= 1 𝜗

𝜗^1/^𝑡⁰

^𝑡₀ 𝜗^1/^𝑡⁰

^𝑡₀^𝑘

≤ 1 𝜗

𝜗^1/^𝑡⁰ ^𝑗+𝑡₀𝑘

da 𝑗 <𝑡₀und𝜗 <1

= 1 𝜗

𝜗^1/𝑡⁰

^𝑡

16 / 36

(18)

Mitteilung (ohne Beweis)

Satz

Für reversible Markov-Kette mit stationärer Verteilungwgilt:

Δ(𝑡) ≤ 𝜆^𝑡

max

𝑤_min .

dabei sei𝑤_min =min𝑗w𝑗

(19)

10. Schnell mischende Markov-Ketten Schnell mischende Markov-Ketten

Überblick

18 / 36

(20)

Definition

ergodische Markov-Kette mit stationärer Verteilungw für𝜀 >0definiere ihre𝜀-Konvergenzzeit:

𝜏(𝜀)=min{𝑡 | ∀𝑡⁰ ≥𝑡 :Δ(𝑡⁰) ≤𝜀}

I engl.mixing time

I falls kein𝜀explizit angegeben:1/4

(21)

Von Probleminstanzen zu Markovketten

mitunter vorliegende Situation

I gegeben: unendliche Menge von «Probleminstanzen»𝐼 I zu jedem𝐼wird eine Markovkette𝑀(𝐼)konstruiert Beispiel:

I 𝐼: Graph(𝑉 , 𝐸)

I 𝑀(𝐼): Markovkette mit I Zustände: Matchings in𝐼

I Übergangswahrscheinlichkeiten für Matching𝑚: wähle zufällig gleichverteilt eine Kante𝑒 ∈𝐸

I mit W.keit1/2kein Übergang I mit W.keit1/2Übergang zu

𝑚⁰=













𝑚−𝑒, falls𝑒 ∈𝑚

𝑚+𝑒, falls𝑒∉𝑚und𝑚+𝑒Matching

𝑚, sonst

20 / 36

(22)

Definition

Familie𝑀(𝐼)von Markovketten heißtschnell mischend, falls die𝜀-Konvergenzzeit polynomiell in|𝐼|undln 1/𝜀ist.

(23)

Rechnung

reversible Markov-Kette jedenfalls dann schnell mischend, wenn für ein𝑡, das polynomiell in|𝐼|undlog 1/𝜀ist, gilt

𝜆^𝑡

max

𝑤_min

≤𝜀

22 / 36

(24)

Rechnung (2)

I

1 𝜆_max

^𝑡

≥ 1

𝜀𝑤_min

𝑡 ≥ ln𝜀⁻¹+ln𝑤⁻¹

min

ln𝜆_max⁻¹

I Wegen1−𝑥 ≤ ln𝑥⁻¹für0<𝑥 < 1ist dafür hinreichend:

≥ ln𝜀⁻¹+ln𝑤⁻¹

min

(25)

Satz

(ohne Beweis)

Für reversible Markov-Ketten gilt:

𝜏(𝜀) ≤ 1

1−𝜆_max log 1 𝑤_min𝜀 𝜏(𝜀) ≥ 1

2(1−𝜆_max)log 1 2𝜀

Woher bekommt man𝜆_max?

24 / 36

(26)

Definition

I reversible Markov-Kette𝑀 =(𝑆 ,P), stationäre Verteilungw

I sei𝐹_𝑀 der gerichtete kantengewichtete Graph mit I Knotenmenge𝑆und

I Kantenmenge𝐸_𝐹 ={(𝑖, 𝑗) |𝑖≠𝑗∧𝑃_{𝑖 𝑗} >0}.

I jede Kante(𝑖, 𝑗)gewichtet mit Zahl𝑐(𝑖, 𝑗) =w𝑖𝑃_{𝑖 𝑗}.

(27)

Definition

I Für reversible Markov-Kette mit Zustandsmenge𝑆 und stationärer Verteilungw

I definiere für jede Teilmenge𝑇 ⊆𝑆

dieKapazität 𝐶(𝑇) = Õ

𝑖∈𝑇

w𝑖

denFluß 𝐹(𝑇) = Õ

𝑖∈𝑇 , 𝑗∉𝑇

w^𝑖P^{𝑖 𝑗}

und Φ(𝑇) = 𝐹(𝑇)/𝐶(𝑇) I DerLeitwertΦder Markov-Kette ist dann

Φ=min

𝑇⊆𝑆max{Φ(𝑇),Φ(𝑆 r𝑇)} = min

𝑇⊆𝑆 ,0<𝐶(𝑇) ≤1/2Φ(𝑇) .

26 / 36

(28)

Satz

Für jede reversible Markov-Kette gilt:

1−2Φ²≤𝜆₂≤1− Φ² 2 .

(29)

Korollar

Für reversible Markov-Ketten (mit𝜆₂=𝜆_max) ist

𝜏(𝜀) ≤ 2

Φ²(ln𝜀⁻¹+ln𝑤⁻¹

min)

Woher bekommt manΦ?

28 / 36

(30)

Definition

I für Paar(𝑖, 𝑗)von Knoten in𝐹_𝑀soll

I von einem „Gut“𝑔_{𝑖 𝑗} die Mengew𝑖w𝑗 von𝑖nach𝑗 transportiert werden.

I gesucht: Flüsse𝑓_{𝑖 𝑗} :𝐸_𝐹 →R+, so dass gilt:

Õ

𝑘

𝑓_{𝑖 𝑗}(𝑖, 𝑘) = w𝑖w𝑗

für alleℓ≠𝑖, 𝑗 :Õ

𝑘

𝑓_{𝑖 𝑗}(𝑘 , ℓ) = Õ

𝑚

𝑓_{𝑖 𝑗}(ℓ , 𝑚) Õ

𝑓 (𝑘 , 𝑗) = ww

(31)

Definition (2)

I Gesamtfluss durch eine Kante𝑒sei

𝑓(𝑒) =Õ

𝑖≠𝑗

𝑓_{𝑖 𝑗}(𝑒)

und

I dierelative Kantenauslastung 𝜌(𝑓) =max

𝑒∈𝐸𝐹

𝑓(𝑒)/𝑐(𝑒)

mit𝑐( (𝑖, 𝑗))=w𝑖P𝑖 𝑗

30 / 36

(32)

Lemma

(ohne Beweis)

Für jede Markov-Kette mit Flüssen𝑓_{𝑖 𝑗}gilt:

Φ≥ 1 2𝜌(𝑓) .

(33)

Beispiel: Hyperwürfel

I reversible Markov-Kette𝑀_{𝐺 ,𝛽}wie in Kapitel 9 für Hyperwürfel𝐻_𝑛der Dimension𝑛mit𝛽 =1/2.

I P𝑖𝑖 =1/2undP𝑖 𝑗 =1/2𝑛für𝑖≠ 𝑗. I stationäre Verteilung

I Gleichverteilung mit𝑤_min=1/2^𝑛 I alsolog 1/𝑤_min=𝑛polynomiell in𝑛 I Schnelles Mischen: Suche Flüsse𝑓_{𝑖 𝑗}

I die1/2²^𝑛transportieren und I kleine Kantenauslastung erzeugen.

32 / 36

(34)

Beispiel: Hyperwürfel (2)

I Wähle: gleichmäßige Verteilung auf alle𝑑!kürzeste Pfade zwischen 𝑖und𝑗(𝑑 =Hammingdistanz)

I Aus Symmetriegründen gleicher Gesamtfluss auf jeder Kante.

I Für jedes𝑑gibt es2^𝑛· ^𝑛_𝑑

Paare(𝑖, 𝑗)mit Abstand𝑑.

I Für einfestesPaar(𝑖, 𝑗)haben alle für den Fluss𝑓_{𝑖 𝑗} verwendeten Pfade Länge𝑑. Also:

Õ

𝑒∈𝐸 𝐹

𝑓_{𝑖 𝑗}(𝑒) =𝑑w𝑖w𝑗 .

(35)

Beispiel: Hyperwürfel (3)

𝑓(𝑒) = 1

|𝐸_𝐹|

𝑛

Õ

𝑑=1

2^𝑛 𝑛

𝑑

·𝑑·w𝑖w𝑗

= 1 𝑛2^𝑛

𝑛

Õ

𝑑=1

2^𝑛 𝑛

𝑑

·𝑑· 1 2²^𝑛

= 1 2²^𝑛

𝑛

Õ

𝑑=1

𝑛 𝑑

·𝑑 𝑛

= 1 2²^𝑛

𝑛

Õ

𝑑=1

𝑛−1 𝑑−1

= 1 2²^𝑛

𝑛−1

Õ

𝑑=0

𝑛−1 𝑑

= 2^𝑛⁻¹ 2²^𝑛 = 1

2·2^𝑛

34 / 36

(36)

Beispiel: Hyperwürfel (4)

I eben:𝑓(𝑒) =1/(2·2^𝑛).

I andererseits𝑐(𝑒) =w𝑖P𝑖 𝑗 =1/(2𝑛·2^𝑛) I also𝜌(𝑓) = ^1/(2·2

𝑛) 1/(2𝑛·2^𝑛) =𝑛 I daherΦ≥ ₂_𝜌¹₍_𝑓₎ = ₂¹_𝑛 I daher1− ₂_𝑛¹₂ ≤𝜆₂ ≤1− ₈¹_𝑛₂ I also1/(1−𝜆₂) ∈Θ(𝑛²) I zusammen mitln𝑤⁻¹

min=𝑛

I Korollar von vorhin: Markov-Kette schnell mischend

(37)

Zusammenfassung

I bei schnellem Mischen geht es um ganze Familien von Markov-Ketten (passend zu von Probleminstanzen)

I und nicht um eine einzelne Markov-Kette

I Kriterien, um festzustellen, ob sie schnell mischend sind

36 / 36