10.3 Schnell mischende Markov-Ketten

Allgemeines zu schnell mischenden Markov-Ketten findet man zum Beispiel in dem Buch

„Introduction to Markov Chains“ von Behrends (2000). Außerdem haben wir von einem Teil eines Vorlesungsskriptes von Steger (2001) über schnell mischende Markov-Ketten profitiert. Außerdem ist der Überblick von Randall (2006) empfehlenswert.

10.1 Anmerkungen zu Eigenwerten

10.1 Lemma. Es seiPeine zeilenstochastische Matrix. Dann ist1ein Eigenwert vonPund für jeden EigenwertλvonPgilt:|λ|61.

10.2 Beweis. Der erste Teil der Aussage ist wegenP(1,. . .,1)^>= (1,. . .,1)^>klar.

Sei nun λ ∈ C Eigenwert und P(x₁,. . .,x_n)^> = λ(x₁,. . .,x_n)^>. Es sei i₀ ein Index mit

|x_i0|=maxj|x_j|. Es liegen also allex_jim Kreis um den Ursprung mit Radius|x_i0|. Es gilt:

|λ|·|x_i0|=|λ·x_i0|=

X

j

P_i0jx_j

6X

j

P_i0j|x_j|6X

j

P_i0j|x_i0|=|x_i0|X

j

P_i0j=|x_i0|. Also ist|λ|61.

Für reversible Markov-Ketten kann man die Aussage von Lemma10.1verschärfen.

10.3 Lemma. IstP die stochastische Matrix einer reversiblen Markov-Kette, dann hatP nur reelle Eigenwerte.

Für einen Beweis konsultiere man z. B. das Vorlesungsskript von Steger (2001) oder Kapitel 3 im Manuskript von Aldous und Fill (1999)

10.4 Im Folgenden benutzen wir die Abkürzungλ_max =max{ |λ| |λist Eigenwert vonPundλ6=1}.

Auf Grund des Vorangegangenen ist klar, dassλ_max61ist.

10.5 Fallsλ_N < 0ist geht man auf bewährte Weise vonPzur MatrixP⁰= ¹₂(P+I)über. Für deren Eigenwerte gilt dannλ_i⁰= ¹₂(λ_i+1), so dass alle Eigenwerte echt größer0sind. In diesem Fall ist dann alsoλ_max=λ₂.

10.2 Konvergenzverhalten ergodischer Markov-Ketten

Wir interessieren uns nun für die Frage, wie lange es dauert, bis man bei einer Markov-Kette, die man mit einer Verteilung oder in einem bestimmten Zustand begonnen hat, davon ausgehen kann, dass die Wahrscheinlichkeiten, in bestimmten Zuständen zu sein, denen der stationären Verteilung „sehr nahe“ sind.

Dazu definieren wir als erstes eine Art Abstandsbegriff für diskrete Wahrscheinlichkeitsvertei- lungen.

10.6 Definition Für zwei Verteilungenpundqist dietotale Variationsdistanz kp−qk_tv = 1

2 X

j∈S

|pj−qj|.

3 Man kann sich überlegen, dasskp−qk_tv =maxT⊆S|p(T) −q(T)|ist, wobeip(T)zu verstehen ist alsP

j∈Tpj(und analogq(T)). Daher ist stets06kp−qk_tv 61.

10.7 Definition Für eine ergodische Markov-Kette mit MatrixPund stationärer Verteilungwund für alle Verteilungenpsei

δ_p(t) =kpP^t−wk_tv

die totale Variationsdistanz zwischenwund der Verteilung, die man nachtSchritten ausgehend vonperreicht hat.

AlsVariationsdistanz zum Zeitpunkttbezeichnen wir das Maximum∆(t) =maxpδ_p(t). 3 Man kann zeigen, dass das Maximum für einen Einheitsvektorei = (0,. . .,0,1,0,. . .,0)ange- nommen wird. Also gilt:

∆(t) =max

i kP^t_i−wk_tv wobeiP^t_i diei-te Zeile vonP^tsei.

10.8 Satz. Für eine ergodische Markov-Kette mit MatrixPund stationärer Verteilungwexistieren Konstanten Cundα < 1so, dass gilt:

∆(t) =max

i kP^t_i−wk_tv 6Cα^t

Der nachfolgende Beweis stammt aus dem Buch von Levin, Peres und Wilmer (2009).

10.9 Beweis. Wegen der Ergodizität existiert eint₀so, dass inP^t0 nur echt positive Einträge vorkom- men. Bezeichnetwdie stationäre Verteilung (undWdie Matrix, deren Zeilen alle gleichwsind), dann gibt es einδmit0 < δ < 1so, dass für allei,j∈Sgilt:

P^t_ij⁰>δwj

Es seiϑ=1−δ, also auch0 < ϑ < 1. Durch

P^t0= (1−ϑ)W+ϑQ

wird eine MatrixQfestgelegt.Qist eine zeilenstochastische Matrix.

Die Überlegungen in Abschnitt8.2zeigen, dass für jede stochastische Matrix Mgilt, dass MW=Wist. Zum Beispiel gilt für jedesk∈N₀: (i)Q^kW=W. Außerdem ist (ii)WP^t0=W.

Durch Induktion zeigt man nun: Für jedesk∈N+ist P^t0k= (1−ϑ^k)W+ϑ^kQ^k

Der Induktionsanfang ist klar. Für den Induktionsschritt rechnet man P^t0(k+1) =P^t0kP^t0

=

(1−ϑ^k)W+ϑ^kQ^k

P^t0 nach Induktionsvoraussetzung

= (1−ϑ^k)WP^t0+ϑ^kQ^kP^t0

= (1−ϑ^k)W+ϑ^kQ^kP^t0 nach Bemerkung (ii) oben

= (1−ϑ^k)W+ϑ^kQ^k((1−ϑ)W+ϑQ)

= (1−ϑ^k)W+ϑ^k(1−ϑ)Q^kW+ϑ^k+1Q^k+1

= (1−ϑ^k)W+ϑ^k(1−ϑ)W+ϑ^k+1Q^k+1 nach Bemerkung (i) oben

= (1−ϑ^k+1)W+ϑ^k+1Q^k+1

Die Tatsache, dassP^t0k= (1−ϑ^k)W+ϑ^kQ^kist, nutzt man wie folgt. Multiplikation mitP^jund Umordnen liefert

P^t0k+j−W=ϑ^k

Q^kP^j−W

Man betrachtet nun eine beliebige Zeileidieser Matrizengleichung, summiert die Beträge der Einträge in dieser Zeile und dividiert durch2. Auf der linken Seite ergibt sichkP^t_i^0k+j−wk_tv. Auf der rechten Seite ergibt sichϑ^kk(Q^kP^j)_i−wk_tv, was man durchϑ^knach oben abschätzen kann.

Für beliebigest∈N₊sei nunk=tdivt₀ undj=tmodt₀(alsot=t₀k+j). Dann ist kP^ti−wk_tv =kP^t_i^0k+j−wk_tv

6ϑ^k

= 1 ϑ

ϑ^1/t0t₀

ϑ^1/t0t₀k

61 ϑ

ϑ^1/t0j+t₀k

daj < t₀undϑ < 1

= 1 ϑ

ϑ^1/t0t

10.10 Im Folgenden benutzen wir die Abkürzung

w_min=min

j wj

10.11 Satz. Für jede reversible Markov-Kette mit stationärer Verteilungwgilt:

∆(t)6 λ^t_max w_min .

Wenn alsoλ_max < 1ist (was bei reversiblen Markov-Ketten der Fall ist), dann nähert sich die Markov-Kette in einem gewissen Sinne „schnell“ der stationären Verteilung. Wir präzisieren das noch wie folgt:

10.3 Schnell mischende Markov-Ketten

10.12 Häufig ist man an einer ganzen Familie von Markov-KettenM(I)interessiert. Dabei ergibt sich jedesM(I)auf Grund einer InstanzIdes eigentlich zu lösenden Problems. Zum Beispiel könnte jedesIein Graph sein, und die Zustände vonM(I)sind gerade die Matchings vonI.

10.13 Definition Es seiMeine ergodische Markov-Kette mit stationärer Verteilungw. Fürε > 0sei τ(ε) =min{t|∀t⁰>t:∆(t⁰)6ε}

dieε-Konvergenzzeitder Markov-KetteM. 3

10.14 Definition Eine Familie von Markov-KettenM(I)heißtschnell mischend, falls dieε-Konvergenz-

zeit polynomiell in|I|und ln1/εist. 3

10.15 Wegen Satz10.11ist eine reversible Markov-Kette jedenfalls dann schnell mischend, wenn für ein t, das polynomiell in|I|und log1/εist, gilt:

λ^t_max w_min 6ε. Äquivalente Umformungen ergeben

λ^t_max 6 εw_min

1

λ_max t

> 1 εw_min

t > lnε⁻¹+lnw⁻¹_min lnλ⁻¹_max

Wegen1−x6lnx⁻¹für0 < x < 1ist das jedenfalls dann der Fall, wenn t> lnε⁻¹+lnw⁻¹_min

1−λ_max

Schnelles Mischen liegt also jedenfalls dann vor, wenn lnw⁻¹_min und1/(1−λ_max)polynomiell in|I| sind.

Damit haben wir zumindest eine Hälfte des folgenden Satzes bewiesen, der obere und untere Schranken fürτ(ε)angibt:

10.16 Satz.

τ(ε)6 1

1−λ_maxlog 1 w_minε τ(ε)> 1

2(1−λ_max)log 1 2ε

Es stellt sich die Frage, woher man (zumindest näherungsweise) Kenntnis vonλ_maxbzw. im Falle von reversiblen Markov-Ketten vonλ₂ bekommen kann. Eine Möglichkeit ist der sogenannte Leitwert einer Markov-Kette. Wir werden ihn mit Hilfe gewichteter Graphen einführen, die später

10.17 Definition Für eine reversible Markov-KetteM= (S,P)mit stationärer VerteilungwseiF_Mder gerichtete gewichtete Graph mit KnotenmengeSund KantenmengeE_F={(i,j)|i6=j∧P_ij> 0}.

Jede Kante(i,j)ist gewichtet mit der reellen Zahlc(i,j) =wiP_ij. 3 10.18 Definition Für eine reversible Markov-Kette mit ZustandsmengeSund stationärer Verteilung

wdefinieren wir für jede TeilmengeT ⊆S

die Kapazität C(T) = X

i∈T

wi

den Fluß F(T) = X

i∈T,j /∈T

wiPij

und Φ(T) = F(T)/C(T) DerLeitwertΦder Markov-Kette ist dann

Φ=min

T⊆Smax{Φ(T),Φ(SrT)}.

3 Eine kurze Überlegung zeigt, dassΦ(T)die bedingte Wahrscheinlichkeit ist, dass man bei der Markov-Kette mit stationärer Verteilung einen Übergang von innerhalb vonT nach außerhalb von T beobachtet. Wenn Φ(T) klein ist, dann ist T sozusagen eine Art „Falle“, aus der die Markov-Kette schlecht heraus kommt.

Man kann nun mit einigem technischen Aufwand zeigen:

10.19 Satz. Für jede reversible Markov-Kette gilt:

1−2Φ²6λ₂61−Φ² 2 . Zusammen mit Punkt10.15ergibt sich:

10.20 Korollar. Für reversible Markov-Ketten (mitλ₂=λ_max) ist τ(ε)6 2

Φ²(lnε⁻¹+lnw⁻¹_min)

Man kennt mehrere Methoden, um den Leitwert jedenfalls mancher Markov-Ketten zu berechnen.

Die folgende Definition ist eine Art graphentheoretische Version des Leitwertes:

10.21 Definition Für einen ungerichteten Graphen(V,E)ist dieKantenvervielfachungµdas Minimum der Zahlen

|{(i,j)|i∈T∧j /∈T∧(i,j)∈E}|

|T|

wobei über alle TeilmengenT ⊆Vminimiert werde mit|T|6|V|/2. 3 10.22 Man kann sich überlegen, dass für die Markov-KettenM_G,β aus Definition9.2gilt:Φ=βµ/d.

Damit ist man bei der Aufgabe gelandet, die Kantenvervielfachung von Graphen zu bestimmen.

Das kann man zum Beispiel mit Hilfe der Methode der sogenannten kanonischen Pfade von Sinclair machen. Die Verallgemeinerung für beliebige reversible Markov-Ketten betrachtet Mehr- güterflüsse.

10.23 Definition Für jedes Paar(i,j)von Knoten inF_Msoll von einem „Gut“g_ijdie Mengewiwjvon inachjtransportiert werden. Dazu werden Flüssef_ij:E_F→R₊gesucht, so dass die folgenden naheliegenden Forderungen erfüllt sind:

X

k

f_ij(i,k) = wiwj

für allel6=i,j:X

k

f_ij(k,l) = X

m

f_ij(l,m) X

k

f_ij(k,j) = wiwj

Der Gesamtfluss durch eine Kanteesei

f(e) =X

i6=j

f_ij(e)

und dierelative Kantenauslastung

ρ(f) = max

e∈E_Ff(e)/c(e).

3 Dann gilt die folgende Aussage, die wir hier nicht beweisen:

10.24 Lemma. Für jede Markov-Kette mit Flüssenf_ijgilt:

Φ> 1 2ρ(f) .

Um auf einen großen Leitwert schließen zu können, muss man daher versuchen, Flüsse mit kleiner (i. e. polynomieller) relativer Kantenauslastung zu finden.

Wir wollen dies nun auf Random Walks im Hyperwürfel anwenden.

10.25 Beispiel. Dazu sei eine Dimensionalitätnbeliebig aber fest gewählt undMdie Markov-Kette, die sich gemäß Definition9.2 fürβ = 1/2aus demn-dimensionalen HyperwürfelH_n als zu Grunde liegenden Graphen ergibt. Dasnsei per definitionem die „Größe“ der Probleminstanz.

Mist reversibel gemäß Punkt9.3. Da inHn jeder Knoten Gradnhat, sind die Übergangs- wahrscheinlichkeiten alsoP_ii=1/2undP_ij =1/2nfüri6=j. Aus Symmetriegründen ist klar, dass die stationäre Verteilung die Gleichverteilung ist mitwi =1/2ⁿ; damit ist natürlich auch w_min=1/2ⁿ.

Offensichtlich ist ln1/w_min∈Θ(n)polynomiell inn. Um einzusehen, dassMschnell mischend ist, genügt es folglich wegen Lemma10.24, Flüssef_ij zu finden, so dassρ(f)polynomiell (inn) ist.

Dazu gehen wir wie folgt vor. Jeder Flussf_ij muss gerade die „Menge“1/2²ⁿtransportieren.

Sie wird wie folgt verteilt: Zwischeniundjgibt esd! kürzeste Pfade, wobeiddie Hammingdi- stanz zwischeniundjist. Auf jedem dieser Pfade transportieren wir den gleichen Anteil der Gesamtmenge.

Die Bestimmung der relativen Kantenauslastung wird dadurch erleichtert, dass aus Symme- triegründen auf jeder Kante der gleiche Gesamtfluss vorliegt.

Für jedesdgibt es2ⁿ· ⁿ_d

Paare(i,j)mit Abstandd. Für einfestesPaar(i,j)haben alle für den Flussf_ij verwendeten Pfade Längedund es ist folglich

X

Also ist

f(e) = 1

|E_F| Xn

d=1

2ⁿ

n

d

·d·wiwj

= 1 n2ⁿ

Xn

d=1

2ⁿ

n

d

·d· 1 2²ⁿ

= 1 2²ⁿ

Xn

d=1

n

d

·d n

= 1 2²ⁿ

Xn

d=1

n−1 d−1

= 1 2²ⁿ

n−1X

d=0

n−1 d

= 2ⁿ⁻¹ 2²ⁿ = 1

2·2ⁿ

Andererseits ist für alle Kantenc(e) =wiP_ij =1/(2n·2ⁿ)und somit ρ(f) = 1/(2·2ⁿ)

1/(2n·2ⁿ) =n.

Wegen Korollar10.20sind diese Markov-Ketten also schnell mischend.

Man mache sich noch einmal klar, was das bedeutet (siehe Definition 10.14): Es sei p = e0 die Anfangs-„Verteilung“ bei der man sicher im Knoten (0,0,. . .,0)des n-dimensionalen Hyperwürfels startet. Es seiptdie nachtSchritten erreichte Wahrscheinlichkeitsverteilung. Für jedesε=2^−kist dann dieε-Konvergenzzeit, also die Anzahl Schritte nach derkpt−wk_tv < ε immer gilt, polynomiell in ln1/ε=kundn. Und das, obwohl der Hyperwürfel2ⁿKnoten hat!

Zusammenfassung

Oft hat man es mit ergodischen Markov-Ketten zu tun, die sogar reversibel sind. In diesem Fall gibt es Kriterien, um festzustellen, ob sie schnell mischend sind.

Literatur

Aldous, David und James Allen Fill (1999). „Reversible Markov Chains and Random Walks on Graphs“. In:url:http://www.stat.berkeley.edu/~aldous/RWG/book.html(siehe S.82).

Behrends, Ehrhard (2000). Introduction to Markov Chains. Advanced Lectures in Mathematics.

Vieweg (siehe S.82).

Levin, Davind A., Yuval Peres und Elizabeth L. Wilmer (2009).Markov Chains and Mixing Times.

AMS (siehe S.83).

Randall, Dana (2006). „Rapidly Mixing Markov Chains with Applications in Computer Science and Physics“. In:Computing in Science and Engineering8.2, S. 30–41 (siehe S.82).

Steger, Angelika (2001). „Schnell mischende Markov-Ketten“. In:url:http://wwwmayr.informatik.

tu-muenchen.de/lehre/2001SS/ra/slides/markov-skript.ps(siehe S.82).