1) Es sei x = (x 1 , x 2 ,. . . , x n ) T ∈ R n und p = (p 1 , . . . , p n ) T ∈ R + n , X n

Prof. Dr. Uwe K¨ uchler Sommersemester 2007 Dr. Renate Winkler

Institut f¨ ur Mathematik

Stochastik I

L¨ osungsans¨ atze zur 5. Zusatz¨ ubung

1) Es sei x = (x 1 , x 2 ,. . . , x n ) ^T ∈ R n und p = (p 1 , . . . , p n ) ^T ∈ R ⁺ n , X n

k=1

p k = 1. Ist f eine konvexe Funktion auf einem Intervall (a, b) mit x k ∈ (a, b), k = 1, . . . , n, so gilt

f X n

k=1

p k x k

!

≤ X n

k=1

p k f (x k ). (∗)

Man beweise (∗).

L¨ osung: Der Beweis erfolgt induktiv ¨ uber n. Der Induktionsanfang ist bei n = 2 per Definition der Konvexit¨at gegeben. Nun gelte (∗) f¨ ur n, dann gilt (∗) auch f¨ ur n + 1, denn mit q n = p n + p n+1 , y n = (p n x n + p n+1 x n+1 )/q n ergibt sich

f (

n+1 X

k=1

p k x k ) = f (

n−1 X

k=1

p k x k + q n y n ) ≤ IV n−1 X

k=1

p k f (x k ) + q n f (y n ) ≤ IA n+1 X

k=1

p k f (x k )

2) Es sei Ω eine abz¨ahlbare Menge und P eine Wahrscheinlichkeitsverteilung auf Ω. Durch H(P ) := − X

ω∈Ω

P ({ω})lnP ({ω})

ist die sogenannte Entropie von P definiert.

a) Man zeige, dass H (P ) ≥ 0 gilt. Wann gilt H (P ) = 0?

b) Es sei Ω = {1, 2, . . . , n} und Q die gleichm¨aßige Verteilung auf Ω. Man zeige, dass f¨ ur jede andere Verteilung P auf Ω gilt H (P) < H (Q).

L¨ osung: a) Sei Ω = {ω 1 , ω 2 , . . .} und bezeichne p i = P ({ω i }). O.B.d.A. gelte p i > 0 f¨ ur alle i. Dann ist

H (P ) = − P

i

p i ln p i = P

i

p i (− ln p i ) ≥ 0 da p i ∈ (0, 1] und

H (P ) = 0 gdw. p i (− ln p i ) = 0 f¨ ur alle i gdw. f¨ ur alle i entweder p i = 0 oder p i = 1 gilt gdw. nur ein Element aus Ω positive Wahrscheinlichkeit, und zwar Wahrscheinlichkeit 1 hat.

b) Es gilt Q({i}) = _n ¹ f¨ ur i = 1, . . . , n und H (Q) = P n i=1

1

n (− ln _n ¹ ) = n _n ¹ ln n = ln n.

Unter Benutzung des Fakts, dass ln eine konkave Funktion ist (-ln ist konvex) schließt man mit Hilfe von ¨ Ubungsaufgabe 1 f¨ ur jede Verteilung P mit P (i) = p i :

H (P ) = X n

i=1

p i (− ln p i ) = X n

i=1

p i ln 1 p i

≤ ln(

X n

i=1

p i

1 p i

) = ln n = H(Q)

3) Es seien n ≥ 1 und p ∈ (0, 1) Die Zufallsgr¨oße S n besitze eine Binomialverteilung mit den Parametern n und p.

a) Man zeige, dass f¨ ur alle a > 0 gilt

P | S n

n − p| ≥ a

!

≤ 1 4n a ²

b) Es sei f eine stetige Funktion von [0, 1] in R 1 . Man zeige, dass die Funktion f n (p) := Ef ( ^S _n

) erweitert durch f n (0) = f (0), f n (1) = f (1) f¨ ur jedes n ein Polynom in p ist. Beweisen Sie, dass (f n ) gleichm¨aßig bez. p ∈ [0, 1] gegen f konvergiert (Weierstraßsches Approximationstheorem).

L¨ osung: a) Da S n binomialverteilt mit den Parametern n, p ist, gilt

E S n = n p und Var S n = n p(1 − p). F¨ ur die Zufallsgr¨oße Y n := _n ¹ S n ergibt sich E Y n = p und Var Y n = _n ¹ p(1 − p). Mit der Tschebyschevschen Ungleichung folgt

P |Y n − p| ≥ a

!

≤ VarY n

a ² = p(1 − p) n a ² ≤ 1

4n a ² .

L¨ osung: b) Wir schreiben der Deutlichkeit halber P p , E p f¨ ur die Wahrscheinlichkeits- verteilung mit dem Parameter p und die Erwartungswerte unter dieser Verteilung.

Y n := ¹ _n S n nimmt die Werte _n ⁱ jeweils mit Wahrscheinlichkeit i

n

p ⁱ (1 − p) ⁿ⁻ⁱ an.

Demzufolge ist

f n (p) := E p f (Y n ) = X n

i=0

f i n

i n

p ⁱ (1 − p) ⁿ⁻ⁱ ein Polynom n-ten Grades in p, genannt Bernstein-Polynom.

f ist stetig auf dem abgeschlossenen Intervall [0, 1], also ist f gleichm¨aßig stetig und beschr¨ankt durch eine Konstante C > 0.

Zu beliebigem ε > 0 existiert also ein δ = δ(ε/2), so dass |f (x) − f (y)| < ε/2 f¨ ur alle x, y mit |x − y| < δ. Wir teilen Ω in Ω δ := {|Y n − p| < δ} und Ω \ Ω δ . Nach a) gilt P (Ω \ Ω δ ) = P (|Y n − p| ≥ δ) ≤ _{4n δ} ¹

und wir sch¨atzen ab:

|f n (p) − f (p)| = |E p f (Y n ) − f (p)| ≤ E p |f (Y n ) − f (p)|

= Z

Ω

|f (Y n ) − f (p)|dP p

| {z }

≤ ε/2

+ Z

Ω\Ω

|f (Y n ) − f (p)|dP p

| {z }

≤ 2C/(4n δ ² )

≤ ε f¨ ur hinreichend großes n ≥ n(ε).

Diese Absch¨atzung gilt gleichm¨aßig f¨ ur alle p ∈ [0, 1].