P T P πP T πP P π p ∈ ∆ H ( p )=max H ( p ) . ′ 1 n n p =( p ,...,p ) ∈ ∆ n n ∈ N ∆ n

Dipl.-Math. D. Andres

3. Übung

zur Informations- und Kodierungstheorie

Abgabe amDonnerstag, den 26.4.2007 in der Übung

Aufgabe 10: (Maximierung der Entropie) 10Punkte

Sei

n ∈ N

und

∆ n

^dieMengederWahrsheinlihkeitsverteilungenauf

n

^{Elementen.Finden}

Sieein

p = (p 1 , . . . , p n ) ∈ ∆ n

^{, welhes die Entropie maximiert,d.h.}

H(p) = max

p ^′ ∈ ∆ n

H(p ^′ ).

Aufgabe 11: (Stohastishe Matrizen) 2+2+3+3 Punkte

Sei

P

^eine stohastishe Matrix und

π

^{eine W}ahrsheinlihkeitsverteilung. Zeigen oder widerlegen Sie:

(a)

πP

^{ist W}ahrsheinlihkeitsverteilung.

(b)

πP ^T

^{ist W}ahrsheinlihkeitsverteilung.

() 1ist Eigenwert von

P

^.

(d) 1 istEigenwert von

P ^T

^.

Sei

Q = (A, Σ, X )

^einestohastisheQuellemitAlphabet

Σ = {0, 1, 2}

^undstohastishem Automaten

A

^mit Zustandsmenge

Z = {z 1 , z ₂ , z ₃ , z ₄ , z ₅ , z ₆ }

^und Übergangsmatrix

P = (p(z j |z i )) _i,j =























1 5

1 5

1 5

1 5

1

5 0

1

2 0 ¹ ₂ 0 0 0

0 ¹ ₃ ¹ ₃ 0 0 ¹ ₃

1 4

1

4 0 0 ¹ ₄ ¹ ₄

1

2 0 0 ¹ _{5 10} ³ 0 0 0 ¹ ₂ ¹ ₂ 0 0





















 ,

ferner sei dieFunktion

X

^{gegeben durh}

X(z 1 ) = X(z 2 ) = X(z 3 ) = 0, X(z 4 ) = 1, X(z 5 ) = X(z 6 ) = 2

unddieAnfangsverteilung

π ⁽⁰⁾ = (1, 0, 0, 0, 0, 0)

^.MitwelherWahrsheinlihkeitproduziert dieQuelle dieWörter

(a)

X ₀ X ₁ X ₂ X ₃ = 0011

^,

(b)

X ₀ X ₁ X ₂ = 012

^,

()

X ₀ X ₁ X ₂ X ₃ = 0100

^,bzw.

(d)

X ₀ X ₁ X ₂ X ₃ X ₄ = 02200

^?

Aufgabe 13: (Unabhängigkeit) 5+5 Punkte

Sei

Q = (A, Σ, X )

^eine stohastishe Quelle.Zeigen oder widerlegenSie:

(a) Wenn dieQuelle

Q

^{unabhängigist,dannistder} stohastishe Prozess

(X t )

^unabhän-

gig.

(b) Wenn derstohastisheProzess

(X t )

^{unabhängigist,dannistdieQuelle}

Q

^unabhän-

gig.

Seien stohastishe Automaten

A 1

^,

A 2

^und

A 3

^mitÜbergangsmatrizen

(a) P ₁ =













1 2

1

2 0 0

1 2

1

2 0 0

0 0 ¹ ₂ ¹ ₂ 0 0 ¹ ₂ ¹ ₂













(b) P ₂ =













0 0 ¹ ₂ ¹ ₂ 0 0 ¹ ₂ ¹ ₂

1 2

1

2 0 0

1 2

1

2 0 0













(c) P ₃ =







1 0 0

1 2

1

2 0

1 3

1 3

1 3







und Anfangsverteilungen

π ⁽⁰⁾ = (a, b, c, d)

^{für(a), (b),bzw.}

π ⁽⁰⁾ = (a, b, c)

^{für () gegeben.}

Berehnen Siefür

P ∈ {P 1 , P ₂ , P ₃ }

t lim →∞

1 t + 1

t

X

k=0

P ^k und lim

t →∞

1 t + 1

t

X

k=0

π ^(k) .

Tipp für ():Der Beweis von

n

P

i=1 1 3

i 1 2

n−i

≤ ¹ ₂ n− 1

könnte hilfreihsein.