Vorlesung 2

(1)

Codierung ^theorie

^-

Vorlesung ²

27.4.17 Steffen Reith

(2)

1

Def

^: ^Sei ^c ^: ^Z ⁺ ^→ ^IT ⁺ ^eine

^Codierung

^, ^so ^dass

o.O ^' ^e E ex ^. mit

tcloll

^# lclo ^') ^I

, dann

heißt

^c

hängen

^variabel ^.

Längen

^variable

Codierung

^eu

spielen

^z.B.

^bei

^der

Datenkompression

eine wichtige

Rolle

^,

Probleme

^AH ⁰ ^, ^IH ¹ ^, ^ZH ¹⁰

Zzz ^↳ lififo

JAZZ ^↳

lifilöieo

ZIAZ ^↳ 1011

:#

⁰

⇒ ohne Treuen zeichen entstehen

Mehrdeutigkeiten ( Decoding

^unmöglich

⁾

(3)

Denk

^Sei ^c ^: ^Zt ^→ ^Tlt ^ein

Codierung

, dann

heißt

^c ²

präfix ^frei

, wenn

f.

â. ô.O ^' ê ^-2 ^kein ^WEIT

ex ^. mit ^Cco ₎ ⁼ cco ^') ^w

÷

_äfix

Man

sagt

^, ^dass ^e ^die ^Fano ^-

Bedingung erfüllt

^.

Benin

^. ^Ist ^ein ^Code

präfix ^frei

^, ^dann ^ist ^kein ^innerer

Knoten der Baum

darstellung

^mit ^einem ^Buchstaben ^des

Quell

alphabets

^markiert ^.

gg #

^. ^Ist ^ein ^Code ^nicht

^präfix ^frei

^, ^so ^braucht ^man ^ein

verboten Spezielles TreuenSymbol ^L

vgl

^. ^" ^Pause^" ^im ^Morse ^code

⁾

(4)

Die Baum darstellung

^einer

^Codierung

^kann ^man ^als ³

Wahrscheinlichkeit experiment auffassen

^:

#

^Z

112 0 112

0-1 To ^0A ^÷

^I

^¥

⁾ ^.

^.pl#=tz ^PLZ

⁾ ^{=p (3)} ⁼

^#

Been

^. ^Hat ^ein ^Codewort ^die

_Länge

^l _, ^dann ^" ^erwischt ^" ^man

es mit Wahrscheinlichkeit ^he ( binäre

Alphabet ⁾

Im allgemeinen ^Fall

ergibt

^sich

11

# Te .

• Im obigen Fall hat jeder^e ^innere Knoten

genau ^zwei ^Kinder ^.

⇒ eine Folge ^von ^Münzwürfen

führt

^zu ^einem

^Buchstaben

^aus

Von *

Z -

, d. ^h

für

^d. Wahrscheinlichkeit

gilt

^:

(5)

4

ZIF

⁼ ^t ^, ^Sollte ^es ^innere ^Knoten

_geben

_, ^die ^nicht ^den

OEZ

1 uol.nl maximalen Grad haben

, dann

muß

^" ⁼ ¹ ^" ^durch

,, El ^" ersetzt werden . Dies

führt

^zur ^"

^Kraft

^sehen ^Ungleichung

"

:

s~eouG.kraft.lu

. Für

jede _{Folge (} lihisisn

von natürlichen Zahlen ^ex ^. ^ein

präfix

^freier ^Code ^mit ^Code

alphabet

^IT ^und ^Codewort _längen ^le_, ^... _, lu

gdw

Z

Y

^#

^Ili

^kt ^.

1 kihn

Beweis

:

" ⇒ ^" Dies ist ^eine ^direkte Folge ^aus

obigen Beobachtung

" ⇐ ^" konstruieren geeigneten ^Code

für

^# ^# ⁽ ^andere

(6)

Fälle

analog )

^. ⁰ ^. ^B. ^d. ^A.

gilt ^hin

⁷

^li

^, ^dann ^sei ⁵

S _^ ⁼

aeg ⁰ und sie ,

= Sit 2- ^li ^" ( * ) _. Sie

bin

lsi )_,

ei die

Binär darstellung ^von ^si

eingeschränkt auf

^die ^ersten ^li ^Nachkomme

stellen ^. ^So entstehen Code wörter .

Belen

^Dieser ^Code ^ist

präfix ^frei

^und

erfüllt

^die

Kraft

^sehe Ungleichung Aus #

folgt für 1kg

^' ^Eu ^- ⁱ

Sitj

⁼ sitj ^. ^, ⁺

2-

^litt

'

)_, si ⁺ z

- litj

⇐ sie j ^- ^sis ^, 2- litt ( * ^*

)

Ann ^: Der ^Code ist ^nicht

präfix ^frei

⇒ _es ex . Summen Sei und _sie ^.

die ^auf

^den ^ersten

litj

^Nachkommen ^stellen ^si übereinstimmen_.

(7)

Die Biuär

darstellungen

^haben ^immer ^die ^Form ⁶

0, ^. ^... _, da

ja Zu

^Yzei ^E ¹

gilt

^,

Also ist die

Differenz _Siej

^- ^si ^sehr ^klein ^und

_sogar

Siej

^- ^Si ^c ^2-

^litj

^,

denn die

Binär darstellungen

^von ^si ^bzw ^, ^sie _j unterscheiden sich

frühestens

ⁱⁿ ^der

liej

^- ^{ten Stelle} ^,

Gp zu

Ungleich

_ung ⁽ ^* ^*

)

^⇒ ^Code

mußpräfix ^frei

^sein ^.

#

Benin Diese Konstruktion funktioniert

^auch

für

^# ^ITS ² ^, ^dann

muß

^statt

Binär darstellung

^die ^#^IT ^- ^adisehe Darstellung

gewählt

werden .

Vorlesung 2

Codierung theorie

Vorlesung 2

Def

Codierung

tcloll

heißt

hängen

Längen

Codierung

spielen

bei

Datenkompression

Rolle

Probleme

lifilöieo

:#

Mehrdeutigkeiten ( Decoding

)

Denk

Codierung

heißt

präfix frei

f.

÷

sagt

Bedingung erfüllt

Benin

präfix frei

darstellung

alphabets

gg #

präfix frei

vgl

)

Die Baum darstellung

Codierung

Wahrscheinlichkeit experiment auffassen

#

0-1 To 0A ÷

¥

.pl#=tz PLZ

#

Been

Länge

Alphabet )

ergibt

11

führt

Buchstaben

für

gilt

ZIF

geben

muß

führt

Kraft

s~eouG.kraft.lu

jede Folge ( lihisisn

präfix

alphabet

gdw

Y

Ili

Beweis

obigen Beobachtung

für

analog )

gilt hin

li

bin

eingeschränkt auf

Belen

präfix frei

erfüllt

Kraft

folgt für 1kg

Sitj

2-

)

Codierung ^theorie

Vorlesung ²

^Codierung

^bei

⁾

präfix ^frei

präfix ^frei

^präfix ^frei

⁾

^Codierung

0-1 To ^0A ^÷

^¥

^.pl#=tz ^PLZ

^#

_Länge

Alphabet ⁾

^Buchstaben

_geben

^Kraft

jede _{Folge (} lihisisn

^Ili

gilt ^hin

^li

präfix ^frei

präfix ^frei

die ^auf

Differenz _Siej

_sogar

^litj

mußpräfix ^frei