Lesung 6

(1)

Steffen

^Reith

1.6.17

(2)

3. 1.

Datenkompression

Bee

^Ziel ^d. ^Quell _Kodierung îst ês êinen

möglichst

kompakten Code zu

finden

^, ^um ^d. Übertragungs ^kanal auszulasten ^.

⇒ möglichst ^hoher

Informationsgehalt

Bekannte Verfahren

^:

.

Entropie

kodierungen ⁽ ^Shannon ^, ^Fano ^,

Huffman )

- Arithmetisch Kodierung

. Substitutions verfahren ^CLZ ⁷⁷, LZW )

(3)

Defni ^Sei ê ^: Zt ^→ ÎT êine Kodierung ^, ^dann

heißt

1 ccnll

him

^-

In t.sn In ¹

K_ompressiousrate_lv.no

⁾

Defi

^Sei ^c ^: Êl ^→ ÎT^' êine ^Codierung ûnd ^{E- lre} ^, ^. î. ^rules ^,

dann heißt

Fez

^lclrll ^.

_pcr

⁾

die mittlere

Wahrscheinlichkeit

^vonCodewort^r ^istlänge^, , ^wenn

per

⁾ ^die ^Auftretens

(4)

3. 1.1 . Shannon ^. Codierung

Idee ^: _"

häufige

^" ^Buchstaben ^bekommen ^kurze ^Code ^wörter

und " seltene ^"

Buchstaben lange

^Codewörto

Shannon

schlägt

folgendes Verfahren ^vor , wobei ^wir ^kurz pi

für

pcoi⁾ ^schreiben ^.

i, Sei Z ⁼ hon_, ^. _, rnb das ^Quell

alphabet

, wobei

pihpi.ie

^,

1 Ei Eu ^- 1 L Wahrscheinlichkeiten absteigende ^sortieren

)

ii , Berechne _kumulierte Summen

4A

) P, ⁼ 0

( ^Is )

Pin

⁼

Pitpi

(5)

iii , Die Shannon Codierung ^c ^ist ^dann ^wie

folgt definiert

^:

cloi ) ⁼ _aeg " Die ersten _mi Nachkommen stellen

der Binär darstellung ^von Pi ^"

, wobei

mi ⁼ def

flog

^.

^IT ⁾

Bsg

^: ^Sei ^Z ^' ^la ^, ^b. ^c. ^d. ^e ^} ^mit Pca⁾ ⁼ ^% ^,

plbkplckpld

⁾ ⁼

hßuäfntsitatbeu

} ^III. ^%

^, ^p^, ^> ^o.nu ^, ^p^, ⁼ ^ruhen ^. ⁵⁶ ^, ^R^, ⁼ ^5kt

⁴⁸²⁶¹⁸

bekommen kurze

Und 175 ⁼

6/8+48

⁼ 7/8 ^und _mit ^und _mz.mg _zmyzmsn =3 ^T

Codewörter ^r

Somit ^cla ⁾ ^-0 _, ^clb

)

⁼ ¹⁰⁰ _, ^c

(c)

⁼ ¹⁰¹ _, ^c ^(d) ⁼ ¹¹⁰ _, ^de ) ^" ^T

(6)

Der Code ist

sogar präfix

^frei ^! ^Ist ^das ^immer ^so ^?

Satan ^Das

Verfahren

^von ^Shannon konstruierte einen

präfix

^freien ^Code ^,

Beweise Ein ^ähnliches

Argument

^wie ^bei ^der ^Ungleichung ^von

Kraft führt

^zum ^Ziel ^.

Sei ^c ^: -2 ^→ ho.is ^* ^die konstruierte

Codierung

^.

Wir wissen

Pi

⁼ ⁰ , a.az as ^... ^. ⁼

%

⁺

¥

⁺

¥

^t ^. ^. ^. ^.

und

logztp.TT

^mi ^.

Somit

gilt ^für

^{jedes j} ⁷^, ⁱⁿ

(7)

Pj

^-

^Pi

^"

^Pin

^-

^Pi

⁼

_pis

^,

⇐ ⁽

^*

⁾

Angenommen ^der ^Code ^wäre ^nicht

präfix frei

^, ^dann ^ex ^. ⁱ ^und

j

^mit

^icj

^, ^{cloi )} ⁼ â. âz ^. ^. ^. âmi ûnd ^ccojk ^bebz ^...

bmj

^,

wobei _mi Emj ^,

Dies

gilt

^, ^da ^pehp.in ^. ^. âuch ^mit ^mz Êms Ê. ^. ^. ^.

^erfüllt

^ist ^.

Weiterhin ist _a. ⁼ be_, ^aibz _, ^... ^. _, ami ⁼ bmi ^und ^somit

gilt Ocpj

^.

^Pi

⁼

( a.

t.ie#Ei+bzmmiiIm.t

_. ^...

⁾

la .tn#taznin:mt... :# ₎

< 2- ^mi ⁼ Juni

Widerspruch

^zu ^L ^* ⁾ , d.h. der

(8)

Code ^von ^c ist

präfix ^frei

^.

Lesung 6

Steffen

Datenkompression

Bee

möglichst

finden

Informationsgehalt

Bekannte Verfahren

Entropie

Huffman )

heißt

him

K_ompressiousrate_lv.no

Defi

Fez

pcr

Wahrscheinlichkeit

per

häufige

Buchstaben lange

schlägt

für

alphabet

pihpi.ie

)

4A

Pin

Pitpi

folgt definiert

flog

IT )

Bsg

plbkplckpld

} III. %

482618

6/8+48

)

(c)

sogar präfix

Verfahren

präfix

Argument

Kraft führt

Codierung

Pi

%

¥

¥

logztp.TT

gilt für

Pj

Pi

Pin

Pi

pis

⇐ (

)

präfix frei

j

icj

bmj

gilt

erfüllt

gilt Ocpj

Pi

( a.

t.ie#Ei+bzmmiiIm.t

)

la .tn#taznin:mt... :# )

Widerspruch

präfix frei

#

_pcr

^IT ⁾

} ^III. ^%

⁴⁸²⁶¹⁸

gilt ^für

^Pi

^Pin

^Pi

_pis

⇐ ⁽

⁾

^icj

^erfüllt

^Pi

⁾

la .tn#taznin:mt... :# ₎

präfix ^frei

^#