( )= { | ∈ N } ∈ ( ) = = ∈ N ∈ ( ∪ ) = ⇒ = ⇒ = ⇒ = ⇒ = ⇒ ⊆⊆⊆ = → ε = → GrundlagenderTheoretischenInformatik/EinführungindieTheoretischeInformatikI =( { } , { , } , { , } , ) Beispiel Beispiel Dank

Vorlesung

Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I

Bernhard Beckert

Institut für Informatik

Sommersemester 2007

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 1 / 140

Dank

Diese Vorlesungsmaterialien basieren ganz wesentlich auf den Folien zu den Vorlesungen von

Katrin Erk (gehalten an der Universität Koblenz-Landau) Jürgen Dix (gehalten an der TU Clausthal)

Ihnen beiden gilt mein herzlicher Dank.

– Bernhard Beckert, April 2007

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 2 / 140

Beispiel

Beispiel 6.15

GrammatikG_ab

= ({

S

}, {

a,b

}, {

R₁,R₂

},

S

)

mit R₁

=

S

→

aSb

R₂

=

S

→

ε Mögliche Ableitung:

S

= ⇒

_R

1 aSb

= ⇒

_R

1 aaSbb

= ⇒

_R

1 aaaSbbb

= ⇒

_R

2 aaabbb Also: a³b³

∈

L

(

G₂

)

Lemma 6.16

Die Grammatik G_aberzeugt die Sprache L

(

G_ab

) = {

aⁿbⁿ

|

n

∈

N0

}

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 72 / 140

Beispiel

Beweis

DassG_abtatsächlich genau diese Sprache erzeugt, zeigen wir allgemein, indem wir alle möglichen Ableitungen vonG_abbetrachten.

⊆

⊆⊆: zu zeigen: Jedes terminale Wort, das vonG_aberzeugt wird, hat die Form aⁿbⁿ.

Wir zeigen für allew

∈ (

V

∪

T

)

^∗: FallsS

= ⇒

^∗

Gab w, dann gilt entweder w

=

aⁿSbⁿoderw

=

aⁿbⁿfür einn

∈

N0.

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 73 / 140

Beispiel

Beweis (Forts.)

Dazu verwenden wir eineInduktion über die Länge einer AbleitungvonS nachw.

Induktionsanfang:w

=

S

=

a⁰Sb⁰ Induktionsschritt:Es gelteS

= ⇒

^∗

Gab w

= ⇒

Gab w⁰, und fürwgelte nach der Induktionsvoraussetzung bereitsw

=

aⁿbⁿoderw

=

aⁿSbⁿ. Außerdem sei w

= ⇒

Gab w⁰eine Ableitung in einem Schritt. Nun ist zu zeigen:w⁰

=

a^mb^m oderw⁰

=

a^mSb^mfür irgendeinm.

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 74 / 140

Beispiel

Beweis (Forts.)

Fall 1:w=aⁿbⁿ. Dann konnte keine Regel angewandt werden, dawschon terminal ist, also tritt dieser Fall nie auf.

Fall 2:w=aⁿSbⁿ. Dann wurde vonwnachw⁰entweder RegelR₁oderR₂ angewandt.

FallsR₁angewandt wurde, dann giltw

=

aⁿSbⁿ

= ⇒

_R

1 aⁿaSbbⁿ

=

aⁿ⁺¹Sbⁿ⁺¹

=

w⁰.

FallsR₂angewandt wurde, dann gilt w

=

aⁿSbⁿ

= ⇒

_R

2 aⁿεbⁿ

=

w⁰. Dies Wort ist terminal und hat die geforderte Formaⁿbⁿ.

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 75 / 140

Beispiel

Beweis (Forts.)

⊇

⊇

⊇: zu zeigen: Für allenkannaⁿbⁿvonG_aberzeugt werden:S

= ⇒

^∗

Gab aⁿbⁿ

∀

n

∈

N0.

Umaⁿbⁿzu erzeugen, wende man aufS n-mal die RegelR₁und dann einmal die RegelR₂an.

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 76 / 140

Beispiel: Dycksprache

Definition 6.17 (Dycksprache) Gegeben:

– k

∈

N

– Σk :=

{

x₁,x₁,x₂. . . ,x_k,x_k

}

ein Alphabet mit 2kSymbolen

Die DyckspracheD_k ist diekleinste Mengedie folgende Bedingungen erfüllt:

1 ε

∈

D_k,

2 Fallsw

∈

D_k, so auchx_iw x_i.

3 Fallsu,v

∈

D_k, so auchuv.

Interpretiert man diex_i als öffnende, diex_i als zugehörige schließende Klammern, so kann man die Dycksprache als dieMenge aller korrekten Klammerausdrückesehen.

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 77 / 140

Beispiel: Dycksprache

Walther von Dyck b^1856,d¹⁹³⁴

Mathematiker Hochschulpolitiker

Erster Rektor der TU München

Einer der Gründungsväter des Deutschen Museums

[Foto: Deutsches Museum]

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 78 / 140

Teil II

1 Sprache, Grammatik

2 Warum Sprachen?

3 Die Chomsky-Hierarchie

4 Probleme über Sprachen

5 Endlich, unendlich und dann?

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 79 / 140

Darstellung von Problemen

Fakt

So ziemlich alle Probleme können als Probleme über Sprachen formuliert werden.

Beispiel 7.1 (Primzahlen) Alphabet Σnum:=

{|}

Sprache L_primes:=

{||

. . .

|

| {z }

pmal

|

pprim

}

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 80 / 140

Darstellung von Problemen

Eingabealphabet

Σ

= {

0,1, . . . ,n

−

1

}

erlaubt Darstellung einer Ganzzahl zur Basisn

Beispiel 7.2 5 binär: 101

5 unär:

|||||

(oder auch 11111)

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 81 / 140

Darstellung von Problemen

Speicheraufwand

n-äre Darstellung(n>1) einer Zahlkführt zu einer Speicherersparnis:

log_nk (n-är) statt k (unär)

Nur der Schritt von unär auf binär ist wesentlich, denn log_nk

=

¹

log₂n

·

log₂k

=

c

·

log₂k (von binär aufn-är nur lineare Einsparung)

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 82 / 140

Darstellung des Erfüllbarkeitsproblems SAT

Problem SAT

Gegeben: Eine aussagenlogische Formelw

Frage: Gibt es eine Belegung der booleschen Variablen inw, so dasswzutrueauswertet?

Signatur für aussagenlogische Formeln Signatur: Σsat:=

{∧,∨,¬,(,),

x,0,1

}

Dabei Darstellung von boolscher Variablenx_i alsx gefolgt voni binär kodiert.

Dadurch Formel der Längenum (unerheblichen) Faktor lognlänger.

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 83 / 140

Darstellung des Erfüllbarkeitsproblems SAT

Definition 7.3 (Satisfiability) Sprache

L_sat :=

{

w

∈

Σ^∗_sat: wist eine aussagenlogische Formel, und es gibt eine Belegung für diex_i, so dass die Formelwzutrueauswertet

}

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 84 / 140

Darstellung des Erreichbarkeitsproblems in Graphen

Erreichbarkeitsproblem

Gegeben: Ein Graph mit Eckenv₁bisv_n

Frage: Gibt es einen Weg von Eckev₁zu Eckev_n?

Signatur für Graphen

Signatur: Σgraph:=

{

v,e,0,1,

(,),

#}

Darstellung von

Eckev_i alsv gefolgti binär kodiert Kantee_i,j alse

(

string₁#string₂), wobei

– string₁die binäre Darstellung voni, – string₂die binäre Darstellung vonj

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 85 / 140

Darstellung des Erreichbarkeitsproblems in Graphen

Definition 7.4 (Erreichbarkeitsproblem) Sprache

L_reach:=

{

w

∈

Σ^∗_graph: es gibt einen Weg inw von der ersten Eckev₁ zur letzten Eckev_n

}

B. Beckert – Grundlagen d. Theoretischen Informatik: Warum Sprachen? SS 2007 86 / 140

Teil II

1 Sprache, Grammatik

2 Warum Sprachen?

3 Die Chomsky-Hierarchie

4 Probleme über Sprachen

5 Endlich, unendlich und dann?

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 87 / 140

Die Chomsky-Hierarchie

Noam Chomsky b¹⁹²⁸

Professor für Linguistik und Philosophie am MIT Bedeutender Linguist

Bedeutender Beitrag zur Informatik:

Erste Beschreibung der Chomsky-Hierarchie (1956)

Bedeutender linker Intellektueller und Globalisierungskritiker

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 88 / 140

Die Chomsky-Hierarchie

Was muss eine Grammatik erfüllen?

Sie darf nurendlich viele Regelnhaben

Jede Regelprämisse mussmindestens eine Variableenthalten Das Wort kann im Lauf der Ableitung beliebig wachsen und wieder schrumpfen.

(Weitere) Beschränkung der Form, die Regeln haben dürfen, führt zu – Grammatiktypenund damit auch zu

– Sprachtypen

von verschiedenen Schwierigkeitsgraden.

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 89 / 140

Die Chomsky-Hierarchie

Definition 8.1 (Rechtlineare Grammatik)

Eine GrammatikG

= (

V,T,R,S

)

heißtrechtslinear gdw

∀(

P

→

Q

) ∈

R P

∈

V undQ

∈

T^∗

∪

T⁺V

Das heißt, bei jeder Regelanwendung:

Links eineeinzelne Variable Rechtshöchstens eine Variable

Wenn rechts eine Variable steht, steht sieganz rechts im Wort.

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 90 / 140

Die Chomsky-Hierarchie

Definition 8.2 (Kontextfreie Grammatik)

Eine GrammatikG

= (

V,T,R,S

)

heißtkontextfrei gdw

∀(

P

→

Q

) ∈

R P

∈

VundQ

∈ (

V

∪

T

)

^∗

Das heißt, bei jeder Regelanwendung:

Links eineeinzelne Variable

Die Prämisse macht keine Aussage, was der Kontext dieser Variablen ist („kontextfrei“)

Rechts steht etwas beliebiges

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 91 / 140

Die Chomsky-Hierarchie

Definition 8.3 (Kontextsensitive Grammatik)

Eine GrammatikG

= (

V,T,R,S

)

heißtkontextsensitiv gdw

∀(

P

→

Q

) ∈

R:

1

∃

u,v,α

∈ (

V

∪

T

)

^∗

∃

A

∈

V P

=

uAvundQ

=

uαv mit

|α| ≥

1 ,oder die Regel hat die FormS

→

ε

2 Snicht inQ

Das heißt, bei jeder Regelanwendung:

Eine VariableAwird in einen Stringαmit

|α| ≥

1 überführt

Die Ersetzung vonAdurchαfindet nur statt, wenn der in der Regel geforderteKontext(uundv), vorhanden ist

Das Wort wird nicht kürzer, außer beiε

∈

L

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 92 / 140

Die Chomsky-Hierarchie

Definition 8.4 (Beschränkte Grammatik)

Eine GrammatikG

= (

V,T,R,S

)

heißtbeschränkt gdw

∀(

P

→

Q

) ∈

R:

1

|

P

| ≤ |

Q

|

,oder

die Regel hat die FormS

→

ε

2 Snicht inQ

Das heißt, bei jeder Regelanwendung:

Die Conclusio ist mindestens so lang wie die Prämisse, außer beiε

∈

L.

Das Wort wird nicht kürzer, außer beiε

∈

L

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 93 / 140

Die Chomsky-Hierarchie

Aufbauend auf den Grammatikarten kann man Sprachklassen definieren

Definition 8.5 (Sprachklassen)

Klasse definiert als Sprache heißt L3, REG {L

(

G

) |

Gist rechtslinear} Typ 3,regulär L₂, CFL {L

(

G

) |

Gist kontextfrei} Typ 2,kontextfrei L1, CSL {L

(

G

) |

Gist kontextsensitiv} Typ 1,kontextsensitiv L1, CSL {L

(

G

) |

Gist beschränkt} Typ 1,beschränkt L0, r.e. {L

(

G

) |

Gbeliebig} Typ 0,aufzählbar

L {L

|

L

⊆

Σ^∗} beliebigeSprache

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 94 / 140

Die Chomsky-Hierarchie

Grammatiken können kompliziert sein!

Beispiel 8.6 (Grammatik füraⁿbⁿcⁿ)

GrammatikG_abc

= ({

S,X₁,X₂

},{

a,b,c

},{

R₁, . . .R₅

},

S

)

mit R₁

=

S

→

abc

|

aX₁bc

R₂

=

X₁b

→

bX₁ R₃

=

X₁c

→

X₂bcc R₄

=

bX₂

→

X₂b R₅

=

aX₂

→

aa

|

aaX₁

Ist diese Grammatikkontextsensitiv?

Ist siebeschränkt?

B. Beckert – Grundlagen d. Theoretischen Informatik: Die Chomsky-Hierarchie SS 2007 95 / 140