Prof. Dr. Uwe K¨ uchler Institut f¨ ur Mathematik
Statistik stochastischer Prozesse 5. ¨ Ubung, 18. 06. 2007
1. Es seien P und Q zwei Wahrscheinlichkeitsverteilungen auf (Ω, A) mit P Q. Die Kullback-Information von P uber ¨ Q ist definiert durch
K(P, Q) = E
Ph ln dP
dQ i
.
a) Es sei A
oeine Teil-σ-Algebra von A. Man zeige K(P |
A0, Q|
A0) K(P, Q)
Hinweis: F¨ ur jede konvexe Funktion Φ gilt die Jensensche Unglei- chung
E
QΦ( dP
dQ )|A
0≥ Φ
E
Q( dP dQ |A
0)
Q − f.s.
Man wende diese Ungleichung auf die streng konvexe Funktion Φ(x) := x(ln x) + 1 − x, x > 0
an und beachte K (P, Q) = E
QΦ(
dPdQ).
b) Sind P
1, P
2, Q
1, Q
2Wahrscheinlichkeitsmaße auf (Ω, A) mit P
iQ
i, i = 1, 2, so beweise man
K(P
1⊗ P
2, Q
1⊗ Q
2) = K (P
1, Q
1) − K (P
2, Q
2)
c) Man berechne K(F
1, F
2) f¨ ur (F
i)
i=1,2mit
F
i= N (µ
i, σ
2), σ
2> 0 bekannt F
i= N (m, σ
2i), m ∈ R bekannt F
i= N (m
i, σ
2i), m
i∈ R, σ
i2> 0
F
i= Bin (1, p
i), p
i∈ (0, 1) F
i= Poiss(λ
i), λ
i> 0
d) Es sei (X, Y ) ein zentrierter Gaußscher Vektor mit dem Korrela- tionskoeffizienten %. Die gemeinsame Verteilungsfunktion sei F
X,Y, die Randverteilungsfunktionen seien F
Xbzw. F
Y. Man zeige:
K(F
X,Y, F
X⊗ F
Y) = − 1
2 ln(1 − ρ
2)
K(F
X,Y), F
X⊗ F
X) + K(F
X⊗ F
Y, F
X,Y) = ρ
21 − ρ
22. Es seien P
µ,σ2und P
µ0, σ
02die Wahrscheinlichkeitsverteilungen zweier Wienscher Prozesse in den Zeitpunkten t
0, t
1, . . . , t
mmit 0 = t
0< t
1<
. . . , t
m= T , die die Parameter µ, σ
2bzw. µ
0, σ
20besitzen. Man berechne den Likelihoodquotienten
dP
µ,σ2dP
µ0,σ20
