Ubungsblatt 3 zur Vorlesung ”Angewandte Stochastik” ¨
Elementare Eigenschaften von Markov-Ketten, Stoppzeit
Herausgabe des ¨Ubungsblattes: Woche 11, Abgabe der L¨osungen: Woche 12 (bis Freitag, 16.15 Uhr), R¨uckgabe und Besprechung: Woche 13 oder asap
Must
Aufgabe 17 [FTW mit bedingten Wahrscheinlichkeiten: bFTW]
(vgl. WTS-Lemma 1.7)B1, B2, . . .sei eine Partition von Ω (dieBi’s sind disjunkt und∪∞i=1Bi= Ω). Weiter sei f¨ur alleBi, i≥1,P[Bi]>0 erf¨ullt. Des weiteren habe man einC, so dassP[C]>0. Zeigen Sie, dann gilt f¨ur jedesA∈ A:
P[A|C] = X∞ i=1
P[A|C∩Bi]P[Bi|C].
Dabei definieren wirP[A|C∩Bi]P[Bi|C] := 0 fallsBi∩C=φ.
Standard
Aufgabe 18 [Mehrere Schritte][3 Punkte]
Sei (Xn)n≥0 eine Markov-Kette mit ¨UbergangsmatrixP, Initialverteilung λund ZustandsraumZ+. Zeigen Sie, dass f¨ur alle (i0, i1, . . . , in−1, j1, . . . , jk)∈(Z+)n+k undk≥1, n≥0, i≥0 gilt
P[Xn+1=j1, Xn+2=j2, . . . , Xn+k=jk|Xn=i, Xn−1=in−1, . . . , X0=i0]
=P[X1=j1, X2=j2, . . . , Xk=jk|X0=i] =pij1pj1j2. . . pjk−1jk.
Aufgabe 19 [Der Random Walk RW als Markov-Kette][3 Punkte]
Sei (Xi)i≥1 eine Folge von iid Zufallsgr¨ossen. Es gelte P[Xi = 1] =p= 1−P[Xi =−1], p∈(0,1) (nicht symmetrisch!). Definiere nun Sn := Sn−1+Xn und sei die Startverteilung P[S0 = i] = λi ≥0 ∀i ∈ Z.
Beschreiben Sie diese Ausgangslage mit Hilfe einer ¨Ubergangsmatrix und einer Initialverteilung (es ist kein Problem, dass der RW auf Z und nicht auf Z+ definiert ist). Beweisen Sie, dass es sich hierbei um eine Markov-Kette handelt.
Aufgabe 20 [Stoppzeit][3 Punkte]
Uberpr¨¨ ufen Sie, ob folgende Ausdr¨ucke eine Stoppzeit (Markov-Zeit) definieren:
a)N := max{n|Xn=j}
b)N := min{n|Pn
j=1(−1)jXj <−K}woK∈N.
Aufgabe 21 [die einfachste, nichttriviale Markov-Kette][2 Punkte]
Zeigen Sie durch Induktion, dass mitp, q∈(0,1) und P =
1−p p q 1−q
die MatrixPn von der Form 1 p+q
q+p(1−p−q)n p−p(1−q−p)n q−q(1−p−q)n p+q(1−q−p)n
ist. Wie ist ”P∞”? Was folgern Sie daraus?
Honours
Aufgabe 22 [Markov-Chain Monte Carlo (MCMC)][2+1 Punkte]
Mit der gleichen Ausgangslage wie in Aufgabe 21, w¨ahlen wirp01= 0.3 und p10 = 0.4. Simulieren Sie mit mindestens 1000 Durchg¨angen in einer geeigneten Rechenumgebung folgende Wahrscheinlichkeiten:
a) mit Startwert 0, Wahrscheinlichkeit, nach 5, 10, 15, 20, 50, 100, 1000 Schritten in 0 zu sein, b) mit Startwert 1, Wahrscheinlichkeit, nach 5, 10, 15, 20, 50, 100, 1000 Schritten in 0 zu sein, und vergleichen Sie die Resultate mit dem Resultat aus Aufgabe 21.
