Lesung 7

(1)

Lesung ⁷

Steffen

^Reith

8.6.17

(2)

Kompression

Bisher

^:

Entropie Kodierungen

^koalieren

häufige Symbole

kurz

und

seltene

lang

^,

Aber : Jedes Codewort hat eine

.ge#ahLige ^Länge

⇒ es kommt zu _" Verschnitt ^"

Fragen

^: ô ^Geht ês âuch ^besser ^?

.

Gibt

ês êine ûnter

Schranke für

^die

Kompression

^?

Idee ^: Codive eine Nachricht ^nicht ^Zeichen weise

, sondern die

ganze

^Nachricht ^.

Wir ordnen êiner ^Nachricht ^me ^-2 ^* êin Întervall

(3)

2

[ _a.

BER

^E ^[ ^0,1

GR

^zu ^. ^Die

Kodierung

^ist ^dann ^ein

XE [ _a. b

ER

^mit ^der ^kürzesten

Binär darstellung

Häufige Nachrichten bekommen

_"

_große

^"

Intervalle

, damit ist die

Wahrscheinlichkeit groß

^, ^dass ^man ^eine ^kurze

Binär

^-

darstellung findet

^.

⇒

Größen

verhältnisse der Intervalle ^⇐ den

Auftretens

^-

Wahrscheinlichkeit

der Nachrichten

Für

^eine

gedachten

^'s ^lose ^Quelle ^mit

Alphabet

^Z ^=L ^an ^. ^- ^,

^ons

funktioniert folgendes

Vorgehen ^:

(4)

Sei m ⁼ 0in ^. ^. ^. ^. ^Tim

i , setze ^a-^. ⁰ _, b- ¹ und

j

⁼ ¹

ii,

teile

das

Intervall

[ _a. _{b [} in n Teile te _, ^...

.tn

, wobei

die

Breite

von tn _, ¹ ^Ehen

proportional

^zu

plrij ⁾ ^ist

Wähle

a und b so

, dass [ _a. b [ das

Zeichen

rij repräsentiert iii. j

⁼

j

⁺¹

iv _, Wenn

jtm

^, ^dann ^gehe ^zu ⁱⁱ^,

(5)

4

Bsg

^, ^E- ^ha^, ^b. ^c ^} ^,

^pla

⁾ ⁼ ¹¹² ^und

plb

⁾ ^-

PKI

^> ⁴⁴

Nachricht in ⁼ abac mkcab

a b ^c

l

^. ^l ^l ^l ^l ^l ^l

±

¥

^. ^" ^. ^.

^yt

^YT ^E ⁴⁴ ³¹⁴ ⁴¹⁴

4 ^i. 4

,

\

: ^' _.

: ^' ... tp

I

¹ ^I ^'

it

Î Î Î Î

°

.

...

'

Ig jii

^. ^Ig ^3- ⁷¹⁸ ^I

-8 ,

.

'

. 4 4

, -

' '

i.

- -

,

.

- i.

p^.

i 1. 1 ^'_d 1 1 I I

8-³²¹^:^I¹

sei ,

¹ ^' ^. ^' ^-

^If

^.^p^. ^' ^. ^. ^. ^.

^II

^I⁴ ⁷¹⁸

±

ff ff

^z.ee^,

^Intervall ^:(

^feft ^,

In ^[

64

(6)

Bekannt

^: ^Sei [ ^a, b [ _R ^E [ 0,1

ER

_, ^dann ^ex ^, ^ein

re ¹ mit RE [ _a. b [ _IR

( Stichwort ^: Q

liegt

^dicht ⁱⁿ ^R

⁾

Im

obigen Spezialfall ergibt

^sich

^0,010011

^, ^d.h. ^die

Codierung

^von ^m ^ist ⁰¹⁰⁰¹¹ ^,

Frage

^:

^Wie lang nuß

^ein ^Codewort

für

^ein ^Intervall ^sein ^?

Oder ^: Wie

eng

^müssen ^die

Binär

_zahlen

gewählt

^werden^,

um ein Intervall sicher zu treffen ^?

Sei

Z =L

_an .

... ons ^und ^me

Zk

eine _"

typische

^" ^Nachricht

^der

(7)

6

Länge

^k ^einer

_gedächtnis

^losen ^Quelle ^,

Für

große

^k ^tritt

pi

^. ^k ^das ^Zeichen ^ri

auf

^, ^d.hn

für

^das

Intervall [ _a. bl

ergibt

^sich ^eine ^Breite ^:

b- a =

pi

^. ^.

pn

^ike ^mal ^. ^pz^Pzek^: ^. ^.^-

÷

^mal^ip ^i. ^. ^. ^. ^.

^Pi

^.^pik^. ^- ^. ^Pn^- ^mal

=

güik

^.

pick

^. ^. ^... ^.

pitik

=

ftp.cpik

Sei 0.be ^... be ^die ^Binär

darstellung

^einer ^rationalen ^Zahl ^r ^,

dann ^rs , 2- ^e

(8)

Soll

also ^r sicher im Intervall

liegen

^, ^dann

muß gelten 2-

^l ^f

ftp.cpiik

⇐

.lk?pi.k.logzpi

⇐ l ⁷, K ^.

Fpi

^.

logzpli

Da

_LEIN wählen wir

Tk ? ^pilogzfsil

^,

^d. ^h

^.

K^.

? pilog.fi

^kl ^E

^At

^K

^? ^Pilogzfni

(9)

8

Die

^mittlere Codewort

länge

^ist ^L ⁼

%

_, ^also

? ^pilogztpi

^tl ^t

^tut ^? ^pilogz ^Fi

Dh

^.

für

^k ^→ ^o

^beträgt

^die ^mittlere ^Codewort

^länge

? ^pi ^logz ^Ii

Benin Diese

^Schranke ist

optimal

^und ^kann ^von ^keinem

anderen Verfahren unterschritten

^werden ^!

( vgl

^.

^Sätze

^5.1 ^und ^5.2 ⁱⁿ

^D. ^Hoffmann

^,

^Einführung

in die

Informations

^- ^und

Lesung 7

Lesung 7

Steffen

Bisher

Entropie Kodierungen

häufige Symbole

und

lang

.ge#ahLige Länge

Fragen

Gibt

Schranke für

Kompression

ganze

BER

GR

Kodierung

ER

Binär darstellung

Häufige Nachrichten bekommen

große

Intervalle

Wahrscheinlichkeit groß

Binär

darstellung findet

Größen

Auftretens

Wahrscheinlichkeit

Für

gedachten

Alphabet

ons

funktioniert folgendes

j

teile

Intervall

.tn

Breite

proportional

plrij ) ist

Wähle

Zeichen

rij repräsentiert iii. j

j

jtm

Bsg

pla

plb

PKI

l

¥

yt

I

it

Ig jii

sei ,

If

II

ff ff

Intervall :(

In [

Bekannt

ER

liegt

)

obigen Spezialfall ergibt

0,010011

Codierung

Frage

Wie lang nuß

für

eng

Binär

gewählt

Z =L

Zk

typische

der

Länge

gedächtnis

Lesung ⁷

.ge#ahLige ^Länge

_große

^ons

plrij ⁾ ^ist

^pla

^yt

^If

^II

^Intervall ^:(

In ^[

⁾

^0,010011

^Wie lang nuß

^der

_gedächtnis

^Pi

Tk ? ^pilogzfsil

^d. ^h

^At

^? ^Pilogzfni

? ^pilogztpi

^tut ^? ^pilogz ^Fi

^beträgt

^länge

? ^pi ^logz ^Ii

^Sätze

^D. ^Hoffmann

^Einführung

Codierung ^stheorie )