Wolfgang L¨ohr Wintersemester 2017/18
Ubungen zur Vorlesung ¨ Stochastische Prozesse
Ubungsblatt 3¨
Markovketten & Rekurrenz
Aufgabe 3.1 (Maxima von Markovketten). (4 Punkte) Seiµein Wahrscheinlichkeitsmaß aufZund Y1, Y2, . . .unabh¨angig, identisch verteilte (u.i.v.) Zufallsvariablen mit L(Yn) =µ. Definiere Sn =Pn
k=1Yn. Entscheiden Sie f¨ur die folgenden Prozesse durch Beweis oder Gegenbeispiel ob es sich im Allgemeinen um eine Markovketten handelt, und geben Sie in diesem Fall die ¨Ubergangsmatrix an.
(a) (Zn)n∈N0 mitZn:= maxk∈{0,...,n}Yk. (b) (Mn)n∈N0 mitMn:= maxk∈{0,...,n}Sk.
(c) (Xn)n∈N0 mitXn:= (Mn, Sn).
Aufgabe 3.2 (Markovketten und Eigenwerte). (4 Punkte) (a) Sei p die ¨Ubergangsmatrix einer Markovkette X = (Xn)n∈N0. Zeigen Sie, dass 1 ein
Eigenwert von p ist.
Sei nun X die Irrfahrt auf dem folgenden Graph mit Knotenmenge {1,2,3}:
1 2 3
(b) Geben Sie die ¨Ubergangsmatrix p an, und berechnen SieP2{X1 = 1} undP2{X2 = 1}.
(c) Zeigen Sie, dass (1,0,−1)T und (1,−2,1)T (rechts-)Eigenvektoren von p sind.
(d) Berechnen Sie P2{Xn= 1} f¨ur allgemeinesn∈Nund limn→∞P2{Xn= 1}.
Hinweis: Diagonalisieren Sie p.
Aufgabe 3.3 (Rekurenz und Transienz). (4 Punkte) (a) Zeigen Sie, dass rekurrenz eine Klasseneigenschaft ist, also dass f¨ur x!y gilt:
x rekurrent ⇔ y rekurrent.
(b) Sei G(x, y) =P
n∈N0p(n)xy . Zeigen Sie: isty transient, so ist G(x, y)<∞f¨ur alle x∈E.
(c) Sei nun E = {0, . . . , n} und p die stochastische Matrix mit px,x+1 = px,x−1 = 12 f¨ur x∈ {1, . . . , n−1}, sowiep0,0=pn,n= 1. Geben Sie an, welche Zust¨ande rekurrent und welche transient sind. Bestimmen Sie ferner alle (bzgl. p) abgeschlossenen Teilmengen von E und entscheiden Sie, ob pirreduzibel ist.
Bitte wenden!
Aufgabe 3.4 (Hidden Markov models). (4 Punkte) Ein hidden Markov model (HMM) besteht aus einer Markovkette Y = (Yn)n∈N0 mit ab- z¨ahlbarem Zustandsraum S und einer Funktion f:S → E. Der Ausgabeprozess oder durch (Y, f) dargestellte Prozess ist dann der durch Xn := f(Yn) definierte stochastische Prozess X= (Xn)n∈N0 mit Zustandsraum E.
(a) Zeigen Sie durch ein Beispiel, dass X nicht notwendig die Markov-Eigenschaft besitzt.
(b) Sei M = (Mn)n∈N0 der Prozess aus Aufgabe 3.1(b). Geben Sie ein HMM an, das M darstellt (also dessen Ausgabeprozess die selbe Verteilung hat wie M).
(c) Zeigen Sie, dass sich jeder gegebene stochastische Prozess durch ein geeignet gew¨ahltes HMM darstellen l¨asst.
Bemerkung:Die Frage, f¨ur welche ProzesseX manSendlich w¨ahlen kann ist nicht so leicht zu beantworten und war in den 1960er Jahren Gegenstand intensiver Forschung.
Abgabe (freiwillig) Di, 07.11. in der ¨Ubung
