8.2 Irreduzible und ergodische Markov-Ketten

8.1 Grundlegendes zu Markov-Ketten

Eine Markov-Kette ist ein stochastischer Prozess, der in diskreten Zeitschritten abläuft. Dabei wird jeweils von einem Zustand in einen nächsten übergegangen.

In diesem Abschnitt sind nur einige grundlegende Definitionen und Tatsachen (meist ohne Be- weise) zusammengestellt. Ausführlicheres findet man zum Beispiel in den Büchern von Behrends (2000) und in dem auch Online unter http://www.dartmouth.edu/~chance/teaching_aids/

books_articles/probability_book/book.htmlverfügbaren Werk von Grinstead und Snell (1997), sowie etwa bei Feller (1968) und Kemeny und Snell (1976).

8.1 Definition Eine endlicheMarkov-Ketteist durch ein PaarM= (S,P)festgelegt. Dabei bezeichnet S eine endliche Menge von Zuständen und P eine zeilenstochastische S×S-Matrix, die die Übergangswahrscheinlichkeitenenthält. (Für allei,j∈Sist also06P_ij61undP

jP_ij=1.) 3 Für allei,j∈SistP_ij als Wahrscheinlichkeit zu interpretieren, dassMvom Zustandiin den Zustandjübergeht. Diese Wahrscheinlichkeit hängt also nur voniab, und nicht etwa von vorher durchlaufenen Zuständen oder davon, der wievielte Schritt ausgeführt wird.

im Allgemeinen erlaubt man bei Markov-Ketten auch abzählbar unendlich große Zustands- mengen.Dieser Fall ist im Folgenden stets ausgeschlossen.

8.2 Im Folgenden bezeichnetX_tstets die Zufallsvariable, die den Zustand einer Markov-Kette zum Zeitpunktt angibt. Es ist alsoP(X_t+1=j|Xt=i) =P_ij. Auch der AnfangszustandX₀ ist im Allgemeinen nicht deterministisch, sondern gemäß einer Verteilung festgelegt.

8.3 Istqein Vektor, der zu einem Zeitpunkttangibt, mit welcher Wahrscheinlichkeitqieine Markov- Kette in Zustandiist, dann istqPder entsprechende Vektor für Zeitpunktt+1, denn es gilt:

P(Xt+1=j) =X

i

P(Xt=i)P(Xt+1=j|Xt=i) =X

i

qiP_ij= (qP)j.

Analog ergibt sichqP^tfür die Verteilung nachtSchritten.

Wir schreiben P^(t)_ij für die Wahrscheinlichkeit, dass die Markov-Kette in t Schritten von Zustandiin Zustandjübergeht. Es ist alsoP_ij^(t) = (P^t)_ij.

8.4 Definition

• Eine nichtleere Teilmenge C ⊆ S von Zuständen einer endlichen Markov-Kette heißt abgeschlossen, falls für allei∈Cund allej∈SrCgilt:P_ij=0.

• Eine abgeschlossene TeilmengeCheißtirreduzibel, falls keine echte (nichtleere) Teilmenge vonCauch abgeschlossen ist.

• Eine Markov-Kette heißeirreduzibel, fallsSals abgeschossene Teilmenge irreduzibel ist. 3 Jede Markov-Kette besitzt mindestens eine abgeschlossene Teilmenge, nämlichC=S.

Sr(C₁∪ · · · ∪C_r). Die Zustände inT(sofern welche existieren) heißentransientund die Zustände

in denC_krekurrent(oder auchpersistent). 3

8.6 Definition

• Die Wahrscheinlichkeit, ausgehend von ZustandinachtSchrittenerstmalsin Zustandj überzugehen, werde mitf^(t)_ij =P(X_t=j∧∀16s6t−1:X_s6=j|X₀=i)bezeichnet.

• Die Wahrscheinlichkeitf^∗_ij, ausgehend von Zustandiirgendwann Zustandjzu erreichen, istf^∗_ij=P

t>0f^(t)_ij .

• Der Erwartungswertm_ijfür die benötigte Anzahl Schritte, um ausgehend von Zustandi irgendwann zum ersten Mal Zustandjzu erreichen, kann definiert werden als

m_ij= P

t>1t·f^(t)_ij fallsf^∗_ij=1

∞ sonst

Man beachte, dass auch im Fallf^∗_ij=1immer nochm_ij=∞sein kann. 3 8.7 Jedem Random Walk auf einem GraphenG, wie wir ihn im vorangegangenen Kapitel betrachtet haben, entspricht offensichtlich eine endliche Markov-KetteM_G, indem manP_ij=0setzt, falls keine Kante voninachjexistiert, und andernfallsP_ij =1/d(i), wobeid(i)der Ausgangsgrad des Knotensiist.

Umgekehrt entspricht jeder Markov-KetteMein GraphG_M, dessen Knoten die Zustände i∈Ssind und in dem eine Kante voninachjgenau dann vorhanden ist, wennP_ij > 0ist. In diesem Fall kann man sich auch noch die Kante mitP_ijgewichtet vorstellen.

Man kann nun zeigen:

8.8 Lemma. Es sei eine endliche Markov-Kette gegeben. Dann gilt: Ein Zustandi ist genau dann transient, wenn eine der folgenden (äquivalenten) Bedingungen erfüllt ist:

• f^∗_ii< 1.

• P

t>0P_ii^(t) <∞.

• Ein Random Walk, der in i startet, kehrt mit Wahrscheinlichkeit0 unendlich oft nachi zurück.

Analog ergibt sich:

8.9 Lemma. Es sei eine endliche Markov-Kette gegeben. Dann gilt: Ein Zustandi ist genau dann rekurrent, wenn eine der folgenden (äquivalenten) Bedingungen erfüllt ist:

• f^∗_ii=1.

• P

t>0P_ii^(t) =∞.

• Ein Random Walk, der in i startet, kehrt mit Wahrscheinlichkeit1 unendlich oft nachi zurück.

8.10 Definition Ein rekurrenter Zustandieiner Markov-Kette heißt

• positiv persistent, fallsm_ii<∞ist, und

• null-persistent, fallsm_ii=∞ist. 3

8.2 Irreduzible und ergodische Markov-Ketten

8.11 Für die Anwendungen in dieser Vorlesung sind vor allem irreduzible Markov-Ketten interessant.

In diesem Fall ist die gesamte Kette die einzige irreduzible Teilmenge von Zuständen und es gibt also gar keine transienten Zustände.

8.12 Definition DiePerioded_i eines Zustandesiist der größte gemeinsame Teiler aller Zahlen der MengeN_i={t|P^(t)_ii > 0∧t∈N+}. Ein Zustand mit Periode1heißt auchaperiodisch.

Ein Zustand, der aperiodisch und positiv persistent ist, heißt auchergodisch. 3 8.13 Definition Eine Markov-Kette istaperiodisch, wenn alle ihre Zustände aperiodisch sind. Eine irreduzible und aperiodische Markov-Kette heißt auchergodisch. 3 Man beachte, dass für aperiodische Zuständenichtgilt, dass für alletautomatischP_ii^(t)> 0ist.

Man kann aber zeigen:

8.14 Lemma. Es seiM⊆Neine Menge natürlicher Zahlen mit der Eigenschaft, dassM+M={k+`| k,`∈M}⊆Mund gcdM=1. Dann gibt es eink₀∈Nmit{k₀,k₀+1,k₀+2,. . .}⊆M, d. h.M enthält ab irgendeinemk₀allenatürlichen Zahlen.

Bei den uns in dieser Vorlesung interessierenden Anwendungen von Markov-Ketten kann man sich mitunter auf aperiodische beschränken. Wir skizzieren im Folgenden zunächst, warum.

Insofern ist es für den weiteren Verlauf der Vorlesung „in Ordnung“, wenn man vor allem an aperiodische Markov-Ketten denkt.

8.15 Ist eine Markov-KetteMmit MatrixPnicht aperiodisch, dann kann man daraus wie folgt eine neue, aperiodische Markov-KetteM⁰konstruieren: InMwerden alle Wahrscheinlichkeiten mit 1/2multipliziert und für jeden Zustandidie WahrscheinlichkeitP_iium1/2erhöht. Mit anderen Worten istP⁰= ¹₂(I+P). (Ibezeichne die Einheitsmatrix.)

Bei dieser Vorgehensweise bleiben einige „Dinge“ erhalten. Zum Beispiel gilt: IstwP=w, dann ist auch wP⁰ = w und umgekehrt. Allgemeiner haben sogar die beiden Matrizen die gleichen Eigenvektoren. Und aus einem EigenwertλvonPwird ein Eigenwert1/2+λ/2vonP⁰. Wir werden im Folgenden sehen, warum gerade das interessant ist.

8.16 Satz. Es seiPdie Matrix einer ergodischen Markov-Kette. Dann gilt:

• W=limt→∞P^texistiert.

• Wbesteht aus identischen Zeilenw.

• Alle Einträge vonw= (w₁,. . .,w_n)sind echt größer0undP_n

i=1w_i =1.

8.17 Beweis. Da die Markov-Kette ergodisch ist, folgt aus Lemma8.14, dass es eine PotenzP^kgibt, deren Einträge alle echtgrößer Null sind. Um die Notation zu vereinfachen nehmen wir im Folgenden einfach an, dass schonPdiese Eigenschaft habe. Ansonsten müsste man im Folgenden statt dessen immer mitP^karbeiten.

Sei nun zunächstyein beliebiger Vektor.

1. Wir zeigen zunächst: Istd > 0der kleinste inPvorkommende Eintrag und sindm₀und M₀der kleinste resp. der größte Wert eines Vektorsyundm₁ undM₁ der kleinste resp.

der größte Wert vonPy, dann gilt:M₁−m₁6(1−2d)(M₀−m₀).

Die Einträge jeder Zeile vonPaddieren sich zu1. Für jedesiist(Py)_i=P

jP_ijy_j. Offen- sichtlich ist

• M₁=maxi

P

jP_ijy_j6dm₀+ (1−d)M₀ Also istm₀6m₁6M₁6M₀.

Außerdem istM₁−m₁6(dm₀+ (1−d)M₀) − (dM₀+ (1−d)m₀) = (1−2d)(M₀−m₀).

2. Durch Induktion ergibt sich hieraus für die kleinsten und größten Einträgem_kundM_kvon P^ky:m₀6m₁6· · ·m_k6M_k6· · ·6M₁6M₀undM_k−m_k6(1−2d)^k(M₀−m₀). Die Folgen derm_kund derM_ksind also beschränkt und monoton, d. h. sie besitzen jeweils einen Grenzwertm=lim_k→∞m_kbzw.M=lim_k→∞M_k.

3. O. B. d. A. nehmen wir nun an, dassPmindestens2Zeilen und Spalten hat (im Fall1ist die zu beweisende Aussage trivialerweise richtig). Folglich ist 0 < d 6 1/2 und damit 061−2d < 1. Dann ist aber lim_k→∞M_k−m_k=0und daherM=m.

4. Es seiu=M=m. Da alle Einträge inP^kyzwischenm_kundM_kliegen, ist limk→∞P^ky= u, wobeiuder konstante Vektor ist, dessen Einträge alle gleichusind.

Wir betrachten nun den Fall, dassy=ejder Einheitsvektor ist, dessenj-te Komponente1ist und alle anderen gleich0.

5. Dann istP^kejdiej-te Spalte vonP^k. Für jedesjkonvergiert also die Folge derj-ten Spalten von P^k gegen einen konstanten Vektor. Also existiert lim_k→∞P^k = W und besteht aus lauter konstanten Spalten, d. h. mit anderen Worten aus lauter gleichen Zeilenw.

6. Um zu zeigen, dass alle Einträge inwecht größer0sind, benutzen wir die Voraussetzung, dassPkeine Nulleinträge hat. Dann gilt für jedes j:Pej enthält nur echt positive Werte, d. h. in diesem Fall istm₁ > 0und daher auchm > 0. Diesesmist aber gerade diej-te Komponente vonw.

7. Die Tatsache, dass P_n

i=1w_i = 1 ist, ergibt sich daraus, dass für alle k die PotenzenP^k stochastische Matrizen sind, d. h. Zeilensumme1haben.

Im Folgenden habewstets die gleiche Bedeutung wie im obigen Beweis.

8.18 Satz. Für jede ergodische Markov-Kette mit MatrixPgilt:

1. wP=w.

2. FallsvP=vist, istv= (P

jv_j)w.

3. Es gibt genau eine Verteilungw(i. e. Summe der Einträge gleich1) mitwP=w.

8.19 Beweis.

1. W=limk→∞P^k=limk→∞P^k+1= (limk→∞P^k)·P=WP. Insbesondere gilt also für jede ZeilewvonW:wP=w.

2. WennvP =v ist, dann auchvP^k =v für jedeskund folglich vW= v. Istr = P

jv_j die Summe der Komponenten vonv, dann ist andererseitsvW=rw, alsov=rw.

3. Unter allen Vektorenrwgibt es offensichtlich genau einen, für den die Summe aller Einträge gleich1ist.

8.20 Definition Eine Verteilungwheißtstationär, fallsw=wPist. 3 8.21 Als erstes Beispiel wollen wir die stationäre Verteilung von Markov-KettenM_Gberechnen, die durch Graphen induziert werden. Dazu sei G = (V,E) ein endlicher, zusammenhängender, ungerichteter Graphen, der nicht bipartit ist. Dann gehört jeder Knoten inGzu einem Zyklus ungerader Länge; außerdem gehört jeder Knoten zu einem Zyklus der Länge 2 (zu einem Nachbarn und zurück). Also hat in M_G jeder Zustand Periode 1 und die Markov-Kette ist aperiodisch. Da der Graph als ungerichtet und zusammenhängend angenommen wurde, ist die Kette auch irreduzibel, also auch ergodisch.

In diesem Fall kann man die eindeutige stationäre Verteilung(w₁,. . .,w_n)leicht angeben:

8.22 Lemma. Für allev∈Vistw_v=d(v)/2m.

8.23 Beweis. Da die stationäre Verteilung gegebenenfalls eindeutig ist, genügt es nachzuweisen, dass qmitq_v=d(v)/2meine Verteilung und stationär ist.

X

v∈V

qv = X

v∈V

d(v)/2m=1/2mX

v∈V

d(v) =1.

(qP)v = X

u∈V

quPuv= X

(u,v)∈E

quPuv= X

(u,v)∈E

d(u) 2m · 1

d(u) = X

(v,u)∈E

1

2m = d(v) 2m .

8.24 Wegen der Bemerkung in Punkt8.15gilt der dritte Teil der Aussage aus Satz8.18für irreduzible Markov-Ketten, auch wenn sie nicht aperiodisch sind:Jede irreduzible Markov-KettePbesitzt genau eine stationäre Verteilungw.

Man beachte aber, dass lim_t→∞P^t für irreduzible Markov-Ketten im Allgemeinen nicht existiert! FürP=

0 1

1 0

und allekist z. B.P^2k=IundP^2k+1=P.

8.25 Für ergodische Markov-Ketten existiert lim_t→∞P^t=W. Folglich existiert auch der sogenannte Cesàro-Grenzwert limt→∞At, wobeiAt= _t+1¹ Pt

k=0P^kist und es ist limt→∞At=W.

Da jeder EintragP_ij^(k)die Wahrscheinlichkeit angibt, inkSchritten voninachjzu gelangen, ist jeder Eintrag an Stelle (i,j) von At der erwartete Anteil (als Zahl zwischen0 und 1) von Zeitpunkten zwischen0undt, zu denen man in Zustandjist, wenn man in Zustandistartet.

Diese Interpretation ist natürlich immer richtig (nicht nur für ergodische Markov-Ketten).

Der interessante Punkt ist, dass man auch für periodische irreduzible Markov-Ketten noch beweisen kann (wir unterlassen das hier):

8.26 Satz. Es seiPdie Übergangsmatrix einer irreduziblen Markov-KetteM. Dann gilt:

• limt→∞At=Wexistiert.

• Alle Zeilen vonWsind gleich.

• Die Zeilewist die eindeutig bestimmte stationäre Verteilung vonM.

Mit anderen Worten: BezeichnetN_i(j,t)die Anzahl der Besuche von Zustandjwährend der erstent Schritte bei Start ini, so istlimt→∞N_i(j,t)/t=w_junabhängig vom Anfangszustandi.

nach Aperiodizität unverzichtbar ist.

8.27 Satz. Für jede ergodische Markov-KettePund jede Verteilungvgilt:limt→∞vP^t=w.

8.28 Beweis. Es gilt limk→∞vP^k=vW. Da sich die Einträge invzu1summieren und alle Zeilen von Wgleichwsind, istvW=w.

8.29 Satz. Für jede irreduzible Markov-Kette mit stationärer Verteilungw = (w₁,. . .,w_n)gilt für allei: w_i=1/m_ii.

8.30 Beweis. Wir beginnen mit einfachen Überlegungen zu denm_ij. 1. Fallsi6=jist, ist

m_ij=P_ij·1+X

k6=j

P_ik(m_kj+1) =1+X

k6=j

P_ikm_kj

2. Fallsi=jist, ist

m_ii=P_ii·1+X

k6=i

P_ik(m_ki+1) =1+X

k6=i

P_ikm_ki

3. Es bezeichne nunEdie Matrix, deren Einträge alle gleich1seien,Mdie Matrix mit

Mij=

m_ij fallsi6=j 0 fallsi=j undDdie Matrix mit

Dij=

0 fallsi6=j

m_ii fallsi=j

Dann lassen sich die eben genannten Gleichungen ausdrücken als Matrixgleichung M+D=E+PM.

Dazu äquivalent ist

(I−P)M=E−D.

DawP=wist, istw(I−P) =0und folglichwE=wD. Das bedeutet aber ausgeschrieben nichts anderes als

(1,1,. . .,1) = (w₁m₁₁,w₂m₂₂,. . .,w_nm_nn)

Zusammenfassung

1. Ergodische Markov-Ketten besitzen eine eindeutig bestimmte stationäre Verteilung.

2. Für irreduzible Markov-Ketten gilt das auch, aber man kann die stationäre Verteilung im Allgemeinen nicht mehr durch Grenzwertübergang derP^kerhalten.

Literatur

Behrends, Ehrhard (2000). Introduction to Markov Chains. Advanced Lectures in Mathematics.

Vieweg (siehe S.72).

Feller, W. (1968).An Introduction to Probability Theory and Its Applications. third. Bd. I. John Wiley &

Sons (siehe S.72).

Grinstead, Charles M. und J. Laurie Snell (1997).Introduction to Probablity: Second Revised Edition.

American Mathematical Society.isbn: 0-8218-0749-8 (siehe S.72).

Kemeny, John G. und J. Laurie Snell (1976).Finite Markov Chains. Springer-Verlag (siehe S.72).