i=1 i mitk ∈ N ist. ZeigenSie:

(1)

Dipl.-Math. D. Andres

2. Übung

zur Informations- und Kodierungstheorie

Abgabe amDonnerstag, den 19.4.2007 in der Übung

Aufgabe 5: (Informationstheoretishe Shranke) 10Punkte

Sei

n ∈ N

und

D n = { d 1 , d 2 , . . . , d m }

^die ^Menge ^der Dreiekszahlen

d ≤ n

^, ^wobei ^eine

Dreiekszahl eine Zahl vonder Form

d = P ^k

i=1 i

^mit

k ∈ N

ist. ZeigenSie:

| D n | ≥ log 2 n − 1

Aufgabe 6: (Datenkompression) 5+5 Punkte

Eine einfahe Programmiersprahe besteht aus der Menge

M = { begin, end, shif t, recursive, setvariable }

vonmöglihenBefehlen. In einemProgrammtretenjeweils300000

begin

^-^und

end

^-Befehle

auf, jeweils 600000

recursive

^-^und

setvariable

^-Befehle ^und ^1200000

shif t

^-Befehle. ^Dieses

Programmsollkomprimiert werden, d.h. eine Präxkodierung

c : M −→ { 0, 1 }

gefundenwerden,sodassdiedurhshnittliheLängederCodewörtermöglihstkleinwird.

(a) Zeigen Sie, dass diese Länge mindestens

log 2 5 − ¹ 5

^beträgt!

(b) Geben Sieeine Kodierungan, beider diese Länge höhstens

log 2 5 + ⁴ 5

^beträgt!

(2)

SeidieMenge

M = { m 1 , m 2 , m 3 , m 4 , m 5 , m 6 , m 7 }

^gegeben. ^Nah ^jedem ^Element

m i

^soll

k i

malgesuht werden,wobeidie

k i

^wie ^folgt^gegeben ^sind:

i k i

1 80000

2 40000

3 40000

4 40000

5 20000

6 20000

7 10000

(a) Sei

c : M −→ { 0, 1 }

^eine ^beliebige ^binäre Präxkodierung von

M

^. ^Zeigen ^Sie, ^dass

für diedurhshnittlihe Anzahl

L(c)

^der ^F^ragen ^an^das ^Orakel^gilt:

L(c) ≥ ¹³ ⁵

^.

(b) Finden Sieeine binärePräxkodierung

c ˜

^von

M

^, ^so ^dass

L (˜ c ) ≤ 2 log 2 5 − ²⁷ ²⁵

^.

() Ist Ihrein (b) gefundene Kodierungoptimal, d.h. giltfürjede weitere binärePräx-

kodierung

c

^von

M

^,^dass

L (˜ c ) ≤ L ( c )

^?

Hinweis:

log 2 5 ≈ 2, 322

^.

Aufgabe 8: (Divergenzlemma) 4+6 Punkte

Seien

n ∈ N

,

a 1 , . . . , a n ≥ 0

nihtnegative reelle Zahlen und

(p ¹ , . . . , p n )

^eine ^Wahrshein-

lihkeitsverteilungmit

p i > 0

^für ^alle

i

^.

(a) Zeigen Sie:

n

X

i=1

1 n log 2 p i ≤ log 2

1 n

(b) Zeigen SiedieUngleihung vomgeometrishen und arithmetishen Mittel:

√ n a 1 a 2 · · · a n ≤ a 1 + a 2 + · · · + a n

n

(3)

BestimmenSie dieEntropien

i=1 i mitk ∈ N ist. ZeigenSie:

n ∈ N

D n = { d 1 , d 2 , . . . , d m }

d ≤ n

d = P k

i=1 i

k ∈ N

| D n | ≥ log 2 n − 1

M = { begin, end, shif t, recursive, setvariable }

begin

end

recursive

setvariable

shif t

c : M −→ { 0, 1 }

log 2 5 − 1 5

log 2 5 + 4 5

M = { m 1 , m 2 , m 3 , m 4 , m 5 , m 6 , m 7 }

m i

k i

k i

i k i

c : M −→ { 0, 1 }

M

L(c)

L(c) ≥ 13 5

c ˜

M

L (˜ c ) ≤ 2 log 2 5 − 27 25

c

M

L (˜ c ) ≤ L ( c )

log 2 5 ≈ 2, 322

n ∈ N

a 1 , . . . , a n ≥ 0

(p 1 , . . . , p n )

p i > 0

i

n

X

i=1

1

n log 2 p i ≤ log 2

1 n

√ n a 1 a 2 · · · a n ≤ a 1 + a 2 + · · · + a n

n

(a) H 1

2 , 1 8 , 1

8 , 1 8 , 1

16 , 1 16

, (b) H

2 5 , 2

5 , 1 5

, bzw. (c) H 3

7 , 16 49 , 8

49 , 4 49

.

d = P ^k

log 2 5 − ¹ 5

log 2 5 + ⁴ 5

L(c) ≥ ¹³ ⁵

L (˜ c ) ≤ 2 log 2 5 − ²⁷ ²⁵

(p ¹ , . . . , p n )