Codierung theorie Lesung 4

(1)

Codierung ^theorie ^Lesung ⁴

Steffen Reith

11.5.17

(2)

2.

Kanalkapazität

^und ^der

Informations

begriffs

Für diesen Abschnitt ist besonders die Arbeit von C. E. Shannon _,

i. A Mathematical Theory

of

Communication ^"

, 1948 zu ^nennen ^.

Shannon

gilt

^als ^Begründer ^d.

Informations

^theorie

VEIT ⁺ Quelle ^{" E} ^[

+

o Sender

oknpfänger

og ^" ^€ ^[

"

o Senke

c. It ^→ ITT c- ^t : IT ⁺ → Zt

Kommunikations modell

Rausch

nach Shannon ^quelle

(3)

BEI

^Der Einfachheit ^halber ^sei ^-2=20,13 ^. _Versorgt ^man ^den

Sender _in einem

Zeitraum

von T Einheiten ^mit ^einem Bit string ^d.

Längen

^, ^so ^kann ^der ^Sender ^diese

übertragen

, wenn ^er 2 ^" verschiedene Signale auf Übertragungs^.

Kanal _im Zeitraum _T verschicken Kann ^.

Defy

^: ^Mit ^T Zeiteinheiten

gilt ^für

^einem kommunikations kanal

NLT ) ⁼_deg _,_, ^Anzahl ^der ^erlaubten / möglichen Signale ⁱⁿ ^T Zeiteinheiten ^"

(4)

Also werden 1092 ^NCT ⁾

F- Bits

pro

^{Zeit heit}

übertragen

^.

In der Praxis stabilisiert ^sich ^dieser Quotient ^über _" _lange Zeit ^"

Deff

^"

Kanalkapazität

^"

Ein ^diskreter

Übertragungs

^kanal ^besitzt ^die

Kanalkapazität

Iogz ^NLT ⁾

C ⁼ him ^-

T ^→ ^N T

Bend

^Wir ^an_geben^. Aber^die^:

Zeiteinheit Kanalkapazität

Was ist

Information

ⁱⁿ ^Bits

/ Bits ?

^pro

(5)

Ideen^:

Information

^ist ^die

Verringerung

^/ Beseitigung ^von

Ungewissheit ^,

Bspn^: ^{Wir sollen} âus âllen ^Bit strings ^d. Länge ³ êinen bestimmten

rausfinden

^. Dazu können ^wir einer übergeordneten ^Instanz Fragen ^der ^Form ^,^, ^Ist ^das ite Zeichen 1 ? ^" stellen _, die

wahrheitsgemäß

beantwortet werden .

Eine solche Instanz

heißt

ⁱⁿ ^d.

(

Theoretischen

) Informatik

Orakeln

.

(6)

111

000 Ist das erste Ooo

011 011

100 110

0,0

Zeichen ¹ ?

• _geo

" Nein ^"

001 001

101

Ungewiss

^heit

verringert

_•

Sich

Also ^:

• 8 Möglichkeiten auf ⁴ eingrenzen ^: ¹ ^Bit

. 8 ^- ^" ^- 2- ^" ^- ^: 2 Bit

Allgemein ^:

2k Möglichkeiten auf ^2h _eingrenzen

^bedeutet

(7)

k ^- l Bit

Information

⁽_gewinnen⁾ ^.

Defy

^Sei ^ns.m ^. ^Die Eingrenzung ^von ⁿ Möglichkeiten

auf

^m Möglichkeiten entspricht

logz ^Li

^Bits

(8)

Bap Bitstring

Menge

{ 00,01 _, 100,101 , 1100 _, 1101,1110 ^, ¹¹¹¹ }

ist

^. ²⁰⁰³

0

200,0130

1 Bit

2013

1

0

•

^v

nßitoo

21009

0 0

0

ßit

73¥02

1019.8%9<67%0

^.gg ^S

021100

}

1 sjt

µ ⁰

0

{ ¹¹⁰¹100,101,1100^, ^1110,1111J, ⁰^Bitter^en ¹ ^O

pßit 0211013 0021110

⁰ ⁰^O ^tibit^dtbit¹ ^}

{ ¹¹⁰⁰ ^, ¹ ^Bit ¹ _1B.gr

1101 _,

1110,1111 } ¹

021111J

(9)

Auf jedem Pfad

^wird ^von ⁸

auf

^eine Möglichkeit eingeschränkt^,

d. h ^.

auf

jedem

Pfad

^von ^Wurzel ^zu ^Blatt ^muss ^die ^Summe

3 Bits betragen ^l ^⇒ überprüfen ⁾

BEI

^Man ^kann ^die

Informationsgewinnung

^mit ^der Eintrittswahrscheinlichkeit eines Ereignisse vergleichen

Mit _dem Bild d. nächsten Seite macht folgende

Def

^Sinn

Defmi Der

Informationsgehalt eines

Ereignisses , das mit Wahrscheinlichkeit pso ^eintritt ^ist

Ilp ⁾

⁼ ^def

^logz #

⁼ ^-

^logzp

(10)

pdk

₀ ^. ^200g

200,0130

F- 42

2013

1

:

= 1/4

1,2021009

^. ⁰

0 0

p ^>

ti

° nß

021019

p ^r

021100

+3 T ⁴² }

4 _p^' ^o

0 P ^>12

{ ¹¹⁰¹100,101,1100^, ^1110,1111J

^10=1121 0/3

, ^Paz ^{^}^{ ¹¹⁰⁰¹¹⁰¹^1110,1111⁰ ^,^, p^}^> ¹¹²

0211013 ^0021110 ^0211119

⁰⁰ ^P^> ^% ^Pilz¹ⁱ ^}

Codierung theorie Lesung 4