Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I

(1)

Vorlesung

Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I

Bernhard Beckert

Institut für Informatik

Sommersemester 2007

B. Beckert – Grundlagen d. Theoretischen Informatik: SS 2007 1 / 328

Dank

Diese Vorlesungsmaterialien basieren ganz wesentlich auf den Folien zu den Vorlesungen von

Katrin Erk (gehalten an der Universität Koblenz-Landau) Jürgen Dix (gehalten an der TU Clausthal)

Ihnen beiden gilt mein herzlicher Dank.

– Bernhard Beckert, April 2007

Inhalt von Teil IV

Die vonKellerautomaten(Push-Down-Automaten,PDAs) erkannten Sprachen sind genau die vom Typ 2 (kontextfrei).

Normalformenfür kontextfreie Grammatiken.

Pumping-Lemmafür kontextfreie Sprachen.

Effiziente Algorithmen fürProbleme über PDAs

Teil IV

Kellerautomaten und kontextfreie Sprachen

1 Ableitungsbäume

2 Umformung von Grammatiken

3 Normalformen

4 Pumping-Lemma für kontextfreie Sprachen

5 Pushdown-Automaten (PDAs)

6 Abschlusseigenschaften

7 Wortprobleme

8 Der CYK-Algorithmus

B. Beckert – Grundlagen d. Theoretischen Informatik: Ableitungsbäume SS 2007 4 / 328

(2)

Zur Erinnerung: kontextfreie Grammatiken

Kontextfreie Grammatiken Kontextfreie Regel:

Eine Variable wird durch ein Wort ersetzt, (egal in welchem Kontext die Variable steht) Es wird eineeinzelneVariable ersetzt.

Das Wort in der Conclusio kann Variablen und Terminale inbeliebiger Mischungenthalten.

Zur Erinnerung: kontextfreie Sprachen

Beispiel 1.1 (kontextfreie Sprachen)

{

aⁿbⁿ

|

n

∈

N0

}

{

aⁿbaⁿ

|

n

∈

N0

} {

ww^R

|

w

∈ {

a

,

b

}

^∗

}

Ableitungsbäume

Definition 1.2 (Ableitungsbaum zu einer Grammatik) Sei

G

= (

V

,

T

,

R

,

S

)

eine kontextfreie Grammatik.

EinAbleitungsbaum (parse tree)zuGist ein angeordneter Baum B

= (

W

,

E

,

v₀

)

Ableitungsbäume

Definition 1.3 (Ableitungsbaum zu einer Grammatik, Fortsetzung) Zudem muss gelten:

Jeder Knotenv

∈

W ist mit einem Symbol ausV

∪

T

∪ {ε}

markiert.

Die Wurzelv₀ist mitSmarkiert.

Jeder innere Knoten ist mit einer Variablen ausV markiert.

Jedes Blatt ist mit einem Symbol ausT

∪ {ε}

markiert.

Istv

∈

Wein innerer Knoten mit Söhnenv₁

, . . . ,

v_k in dieser Anordnung und istAdie Markierung vonv undA_i die Markierung vonv_i,

dann istA

→

A₁

. . .

A_k

∈

R.

Ein mitεmarkiertes Blatt hat keinen Bruder

(denn das entspräche einer Ableitung wieA

→

abεBc).

(3)

Ableitungsbäume

Ablesen eines Wortes vom Ableitungsbaum Wenn Wortwvon GrammatikGerzeugt wird,

dann gibt es einen Ableitungsbaum mit den Buchstaben vonw als Blätter von links nach rechts.

Merke

Die Blätter eines Ableitungsbaumes sind angeordnet.

Es gibt eine Ordnung unter den Söhnen eines Knotens.

Ableitungsbäume

Definition 1.4

Seienb₁

,

b₂Blätter. Dann:

b₁

<

b₂gdw b₁, b₂sind Brüder, und b₁liegt ”links” von b₂, oder

∃

v

,

v₁

,

v₂

∈

W v

→

v₁, v

→

v₂, v₁

<

v₂ und v_i ist Vorfahre von b_i für i

∈ {

1

,

2

}

.

Definition 1.5

Sei

{

b₁

, . . . ,

b_k

}

die Menge aller Blätter inBmitb₁

< . . . <

b_k, und seiA_i die Markierung vonb_i.

Dann heißt das WortA₁

. . .

A_k dieFrontvonB.

Ableitungsbäume

Theorem 1.6

Sei G

= (

V

,

T

,

R

,

S

)

eine kontextfreie Grammatik.

Dann gilt für w

∈

T^∗: S

= ⇒

^∗_G w

gdw Es existiert ein Ableitungsbaum zu G mit Front w .

Beweis.

Einfach aus den Definitionen.

Ableitungsbäume: Beispiel

Beispiel 1.7

Grammatik für die Menge aller aussagenlogischen Formeln über den Variablen

{

x

,

x₀

,

x₁

,

x₂

, . . .}

:

G

= ({

S

,

A

,

N

,

N⁰

}, {

x

,

0

, . . . ,

9

,(, ),∧,∨,¬},

R

,

S

)

mit der Regelmenge

R

= {

S

→ (

S

∧

S

) | (

S

∨

S

) | ¬

S

|

A A

→

x

|

xN

N

→

1N⁰

|

2N⁰

| . . . |

9N⁰

|

0 N⁰

→

0N⁰

|

1N⁰

| . . . |

9N⁰

|

ε}

(4)

Ableitungsbäume: Beispiel

Ableitungsbaum für((¬x∧x38)∨x2)

A x S

N

’ N ε S

( S )

( )

S A x

2 S

’ 3 S A x

8

N ε

N N’

Ableitungsbäume: Beispiel

Ableitung für((¬x∧x38)∨x2)

Der Ableitungsbaum steht für vieleäquivalenteAbleitungen, darunter diese:

S

(

S

∨

S

) ⇒

((

S

∧

S

) ∨

S

) ⇒ ((¬

S

∧

S

) ∨

S

) ⇒ ((¬

A

∧

S

) ∨

S

) ⇒ ((¬

x

∧

S

) ∨

S

) ⇒ ((¬

x

∧

A

) ∨

S

) ⇒ ((¬

x

∧

xN

) ∨

S

) ⇒ ((¬

x

∧

x3N⁰

) ∨

S

) ⇒ ((¬

x

∧

x38N⁰

) ∨

S

) ⇒ ((¬

x

∧

x38

) ∨

S

) ⇒ ((¬

x

∧

x38

) ∨

A

) ⇒ ((¬

x

∧

x38

) ∨

xN

) ⇒ ((¬

x

∧

x38

) ∨

x2N⁰

) ⇒ ((¬

x

∧

x38

) ∨

x2

)

Links- und Rechtsableitung

Definition 1.8 (Linksableitung) Eine Ableitung

w₁

= ⇒

_Gw₂

= ⇒

_G

. . . = ⇒

_G w_n

heißtLinksableitungfallsw_i₊₁durch Ersetzen der linkesten Variable inw_i entsteht für allei

<

n.

DieRechtsableitungist analog definiert.

Mehrdeutigkeit

Definition 1.9 (Mehrdeutigkeit) Eine cf-GrammatikGheißtmehrdeutig

gdw

es gibt ein Wortw

∈

L

(

G

)

,

zu dem es inGzwei verschiedene Linksableitungengibt.

EineSpracheL

∈

L₂heißtinhärent mehrdeutig gdw

alle kontextfreien Grammatiken fürLsind mehrdeutig.

Bemerkung

Eine GrammatikGist mehrdeutig, gdw :

es gibt zwei verschiedene Ableitungsbäume inGmit gleicher Front.

(5)

Mehrdeutigkeit: Beispiele

Beispiel 1.10 (Mehrdeutigkeit)

EindeutigeGrammatik für aussagenlogische Formeln:

S

→ (

S

∧

S

) | (

S

∨

S

) | ¬

S

|

A A

→

x

|

xN

N

→

1N⁰

|

2N⁰

| . . . |

9N⁰

|

0 N⁰

→

0N⁰

|

1N⁰

| . . . |

9N⁰

|

ε}

MehrdeutigeGrammatik für aussagenlogische Formeln:

K

→

K

∧

K

|

D Regel mit Klammer-Ersparnis!

D

→ (

D

∨

D

) |

L L

→ ¬

A

|

A

→

v

|

w

|

x

|

y

|

z

Mehrdeutigkeit: Beispiele

D L A x

D L

y K

K K

D (

D ) D L A

v w

A L

K

K D

L A

x y

L D

K K

D ( D D )

L L

A A

w v

Mehrdeutigkeit: Beispiele

Beispiel 1.11 (Inhärente Mehrdeutigkeit) Die Sprache

L:=

{

aⁱb^jc^k

|

i

=

j oderj

=

k

}

istinhärent mehrdeutig.

Teil IV

Kellerautomaten und kontextfreie Sprachen

1 Ableitungsbäume

2 Umformung von Grammatiken

3 Normalformen

7 Wortprobleme

B. Beckert – Grundlagen d. Theoretischen Informatik: Umformung von Grammatiken SS 2007 20 / 328

(6)

Startsymbol nur links

Einfache Annahme

Im folgenden soll für alle cf-Grammatiken gelten:

Das StartsymbolSkommt nie auf einer rechten Regelseite vor.

Umformung

Ist das bei einer Grammatik nicht gegeben, kann man es wie folgt erreichen:

Führe ein neues StartsymbolS_neuein Füge die Regel

S_neu

→

S hinzu.

Nutzlose Symbole

Nutzlose Symbole und Regeln: Intuition

Variablen und Symbole, die vom Startsymbol aus unerreichbar sind.

Variablen, von denen aus kein Terminalwort abgeleitet werden kann.

Regeln, die solche Variablen und Symbole enthalten

Nutzlose Symbole

Definition 2.1 ((co-)erreichbare, nutzlose Symbole) SeiG

= (

V

,

T

,

R

,

S

)

eine Grammatik.

Ein Symbolx

∈ (

V

∪

T

)

heißt

erreichbar: Es gibtα

,

β

∈ (

V

∪

T

)

^∗:S

= ⇒

^∗_G α^xβ co-erreichbar: Es gibtw

∈

T^∗:x

= ⇒

^∗_G w

nutzlos: xist nicht erreichbar oder nicht co-erreichbar.

Nutzlose Symbole

Theorem 2.2 (cf-Grammatik ohne nutzlose Symbole) Ist G

= (

V

,

T

,

R

,

S

)

eine cf-Grammatik mit L

(

G

) 6=

0/, dann existiert eine cf-Grammatik G⁰

= (

V⁰

,

T⁰

,

R⁰

,

S⁰

)

mit:

G⁰ist äquivalent zu G.

Jedes x

∈ (

V

∪

T

)

ist erreichbar und co-erreichbar.

Beweis

Man kannG⁰ausGeffektiv konstruieren:

Wie im folgenden beschrieben, die nutzlosen Symbole bestimmen.

Diese Symbole und alle Regeln, die sie enthalten, entfernen.

(7)

Nutzlose Symbole

Algorithmus zur Berechnung der co-erreichbaren Variablen Input:GrammatikG

= (

V

,

T

,

R

,

S

)

Output:co-erreichbare Variablen Alt :=0/

Neu :=

{

A

∈

V

| ∃

w

∈

T^∗

(

A

→

w

∈

R

)}

whileAlt

6=

Neu

{

Alt := Neu

Neu := Alt

∪ {

A

∈

V

| ∃α ∈ (

T

∪

Alt)^∗

(

A

→

α

∈

R

)}

}

outputNeu

Nutzlose Symbole

Algorithmus zur Berechnung der erreichbaren Symbole Input:GrammatikG

= (

V

,

T

,

R

,

S

)

Output:erreichbare Symbole Alt :=0/

Neu :=

{

S

}

whileAlt

6=

Neu

{

Alt :=Neu

Neu :=Alt

∪ {

x

∈ (

V⁰⁰

∪

T⁰⁰

) | ∃

A

∈

Alt

∃α,

β

∈ (

V⁰⁰

∪

T⁰⁰

)

^∗

(

A

→

αxβ

∈

R

)}

}

outputNeu

Normalform für Regeln

Theorem 2.3 (Normalform)

Zu jeder Grammatik G (beliebigen Typs) existiert eine äquivalente Grammatik G⁰, bei der für alle Regeln P

→

Q

∈

R⁰gilt:

Q

∈

V^∗und P beliebig Q

∈

T und P

∈

V

Für alle Typen außer den linearen hat G⁰denselben Typ wie G.

Normalform für Regeln

Beweis.

Für jedes Terminalt

∈

T erzeuge man eine neue VariableV_t. V⁰

=

V

∪ {

V_t

|

t

∈

T

}

R⁰entsteht ausR, indem für jede RegelP

→

Q

∈

RinQalle Vorkommen eines Terminalstdurch die zugehörige VariableV_t ersetzt werden.

Außerdem enthältR⁰für jedest

∈

T eine neue RegelV_t

→

t. AlsoL

(

G⁰

) =

L

(

G

)

,

und für alle Sprachklassen außerL3hatG⁰denselben Typ wieG.

(8)

Elimination von ε -Regeln

Idee

Variablen, aus denenεableitbar ist, sollten eliminiert werden

Definition 2.4 (ε-Regel, nullbare Variablen) Eine Regel der Form

P

→

ε (Peine Variable) heißtε-Regel.

Eine VariableAheißtnullbar, falls

A

= ⇒

^∗ε

Elimination von ε -Regeln

Theorem 2.5 (ε-Regeln sind eliminierbar)

Zu jeder cf-Grammatik G existiert eine äquivalente cf-Grammatik G⁰ ohneε-Regeln und nullbare Variablen,

fallsε

6∈

L

(

G

)

,

mit der einzigenε-Regel S

→

εund der einzigen nullbaren Variablen S, fallsε

∈

L

(

G

)

und S das Startsymbol ist.

Elimination von ε -Regeln

Algorithmus zur Berechnung der nullbaren Variablen

Input:GrammatikG

= (

V

,

T

,

R

,

S

)

So.B.d.A. in keiner Regel rechts Output:nullbare Variablen

Alt:=0/

Neu:=

{

A

∈

V

|

A

→

ε

∈

R

}

whileAlt

6=

Neu

{

Alt:=Neu

für alle

(

P

→

Q

) ∈

Rdo

{

ifQ

=

A₁

. . .

A_n andA_i

∈

Neufür 1

≤

i

≤

nandP

6∈

Neu

,

thenNeu:=Neu

∪ {

P

}

} }

outputNeu

Elimination von ε -Regeln

Beweis (Forts.)

AusgangsgrammatikGhabe die Normalform, bei der für jede RegelP

→

Q:

Q

∈

V^∗oderQ

∈

T.

Für jede RegelP

→

A₁

. . .

A_ngeneriere alle möglichen Kombinationen P

→

α1

. . .

αn

mit

αi

∈ {ε,

A_i

}

fallsA_i nullbar α_i

=

A_i fallsA_i nicht nullbar Dann

Füge alle diese neuen Regeln zur Grammatik hinzu Entferne alle Regeln der FormA

→

εmitA

6=

S

(9)

Elimination von ε -Regeln

Beweis (Forts.) Zu zeigen:

Für die neue GrammatikG⁰gilt:L

(

G⁰

) =

L

(

G

)

Vorgehen:

Ghat die Normalform:

Für jede RegelP

→

QgiltQ

∈

V^∗oderQ

∈

T. Wir beweisen die etwas stärkere Behauptung

für alleA

∈

V für allew

∈ (

V

∪

T

)

^∗

− {ε}

(

A

= ⇒

^∗_G w

)

gdw

(

A

= ⇒

^∗

G0 w

) ,

Daraus folgt sofortL

(

G⁰

) =

L

(

G

)

.

Elimination von ε -Regeln

Beweis (Forts.)

”⇒” Wir zeigen: AusA

= ⇒

^∗_GwfolgtA

= ⇒

^∗

G0 w(Induktion über Länge einer Ableitung vonAnachwinG).

Induktionsanfang: Länge = 0.

Dann istw

=

A, undA

= ⇒

^∗

G0 Agilt immer.

Induktionsschritt: Es sei schon gezeigt: Wenn inGinn Schritten eine AbleitungB

= ⇒

^∗_Gudurchgeführt werden kann, dann folgt, daß inG⁰die Ableitung B

= ⇒

^∗

G0 umöglich ist.

Elimination von ε -Regeln

Beweis (Forts.)

Außerdem gelte in der AusgangsgrammatikG:A

= ⇒

^∗_Gw

6=

εinn

+

1 Schritten.

Dann gilt:

A

= ⇒

_G w⁰

= ⇒

^∗_G w, w⁰

=

A₁

. . .

A_`

= ⇒

^∗

Gw₁

. . .

w_`

=

w,

und es wird jeweilsA_i zuw_i in höchstensnSchritten für geeignete w⁰

,

A₁

, . . . ,

A_`

,

w₁

, . . . ,

w_`.

Per Induktionsvoraussetzung gilt also schon:

EntwederAi=⇒^∗

G0 wi

oderw_i=εfür 1≤i≤`.

Elimination von ε -Regeln

Beweis (Forts.)

Fall 1: w_i

=

ε,A_i ist nullbar.

Dann gibt es inG⁰eine RegelA

→

A₁

. . .

A_i₋₁A_i₊₁

. . .

A_`nach der obigen Konstruktionsvorschrift fürG⁰, falls

A₁

. . .

A_i₋₁A_i₊₁

. . .

A_`

6=

ε. Das ist der Fall, denn sonst hätten wir:

A

= ⇒

w⁰

=

ε

= ⇒

^∗w

=

ε(aus nichts wird nichts), aberw

=

ε^ist ausgeschlossen.

Fall 2: w_i

6=

ε. Dann gilt nach Induktionsvoraussetzung A_i

= ⇒

^∗

G0 w_i.

(10)

Elimination von ε -Regeln

Beweis (Forts.)

Wir haben also folgendes gezeigt:

SeiI

= {

i

∈ {

1

. . . `} |

w_i

6=

ε} 6=0/^.

Dann gibt es inR⁰eine RegelA

→

A_i₁

. . .

A_i_mmitI

= {

i₁

, . . . ,

i_m

}

, und dieA_i sind so angeordnet wie in der ursprünglichen RegelA

→

A₁

. . .

A_`.

Mit dieser neuen Regel können wirwso ableiten:

A

= ⇒

_G₀ A_i₁

. . .

A_i_m

= ⇒

^∗

G0 w_i₁

. . .

w_i_m

=

w

Elimination von ε -Regeln

Beweis (Forts.)

”⇐” Wir zeigen: AusA

= ⇒

^∗

G0 wfolgtA

= ⇒

^∗_G w(Induktion über Länge einer Ableitung vonAnachw inG⁰):

Induktionsanfang: Länge = 0. Dann istw

=

A, undA

= ⇒

^∗

GAgilt immer.

Induktionsschritt: Es gelte für alle AbleitungenA

= ⇒

^∗

G0 weiner Länge von höchstensn, daßA

= ⇒

^∗_G w.

IstA

= ⇒

^∗

G0 weine Ableitung der Längen

+

1, so gibt es ein

`

, Wörterw₁

, . . . ,

w_`und VariablenA₁

, . . . ,

A_`mitA

= ⇒

_G₀ A₁

. . .

A_`

= ⇒

^∗

G0 w

=

w₁

. . .

w_`. Es gilt jeweilsA_i

= ⇒

^∗

G0 w_i in höchstensnSchritten, undw_i

6=

ε.

Elimination von ε -Regeln

Beweis (Forts.)

Nach der Induktionsvoraussetzung folgt daraus:

für die OriginalgrammatikGgibt es AbleitungenA_i

= ⇒

^∗

Gw_i damit gibt es auch eine AbleitungA₁

. . .

A_`

= ⇒

^∗_Gw.

Da es inG⁰eine AbleitungA

= ⇒

G0 A₁

. . .

A_`gibt, gibt es inR⁰eine Regel A

→

A₁

. . .

A_`. Wie ist diese Regel ausRentstanden?

Eine Regel inR⁰entsteht aus einer Regel inR, indem einige nullbare Variablen gestrichen werden. Es gab also inGnullbare VariablenB₁bisB_m, so daßRdie Regel

A

→

A₁

. . .

A_`₁B₁A_`₁₊₁

. . .

A_`₂B₂

. . .

A_mB_mA_m₊₁

. . .

A_`

enthält. (mkann auch 0 sein, dann war die Regel selbst schon inR.)

Elimination von ε -Regeln

Beweis (Forts.) Also gilt inG:

A

= ⇒

_GA₁

. . .

A_`₁B₁A_`₁₊₁

. . .

A_`₂B₂

. . .

A_mB_mA_m₊₁

. . .

A_`

= ⇒

^∗

GA₁

. . .

A_`₁A_`₁₊₁

. . .

A_`₂

. . .

A_mA_m₊₁

. . .

A_`

= ⇒

^∗

Gw da jaB_i

= ⇒

^∗_Gεmöglich ist.

(11)

Elimination von ε -Regeln: Beispiel

Beispiel 2.6

R: R⁰:

S

→

ABD S

→

ABD

|

AD

|

BD

|

D A

→

ED

|

BB A

→

ED

|

BB

|

B B

→

AC

|

ε B

→

AC

|

A

|

C C

→

ε

D

→

d D

→

d

E

→

e E

→

e

Für die RegelmengeRin der linken Spalte sind die VariablenA

,

B

,

Cnullbar.

Der obige Algorithmus erzeugt ausRdie rechts aufgeführte RegelmengeR⁰.

Elimination von ε -Regeln

Beobachtung

Der Algorithmus lässt nutzlose Variablen zurück, die nicht in Prämissen auftauchen

(und deshalb nicht co-erreichbar sind).

Hier:C.

Der Algorithmus lässt nutzlose Regeln zurück.

Hier:B

→

AC

|

C.

Elimination von ε -Regeln

Korollar

L₂

⊆

L₁

Das heißt, jede kontextfreie Sprache ist auch kontextsensitiv

Beweis

Regeln einer kontextsensitiven Grammatik müssen folgende Form haben:

entwederuAv

→

uα^v

mitu

,

v

,α ∈ (

V

∪

T

)

^∗

,|α| ≥

1

,

A

∈

V oderS

→

ε

undSkommt in keiner Regelconclusio vor.

Diesen Bedingungen genügt die kontextfreie Grammatik nach Elimination der ε-Regeln.

Elimination von Kettenproduktionen

Definition 2.7 (Kettenproduktion) Eine Regel der Form

A

→

B mitA,B

∈

V heißtKettenproduktion.

Theorem 2.8 (Kettenproduktionen sind eliminierbar)

Zu jeder cf-Grammatik existiert eine äquivalente cf-Grammatik ohne Kettenproduktionen.

(12)

Elimination von Kettenproduktionen

Beweis

SeiG

= (

V

,

T

,

R

,

S

)

eine kontextfreie Grammatik ohneε-Regeln, außer ggf.S

→

ε.

Konstruiere neue Grammatik wie folgt:

1 Für alle

VariablenpaareA,B∈V, A6=B mitA=⇒^∗B RegelnB→α∈R, α6∈V

füge zuRhinzu:

A

→

α

2 Lösche alle Kettenproduktionen

Normalform für cf-Grammatiken

Theorem 2.9 (Normalform für cf-Grammatiken)

Zu jeder cf-Grammatik existiert eine äquivalente cf-Grammatik ohneε-Regeln

(bis auf S

→

ε, fallsεzur Sprache gehört;

in diesem Fall darf S in keiner Regelconclusio vorkommen), ohne nutzlose Symbole,

ohne Kettenproduktionen,

so daß für jede Regel P

→

Q gilt: entweder Q

∈

V^∗oder Q

∈

T .

Normalform für cf-Grammatiken

Beweis

1 Man teste zunächst, obSnullbar ist. Falls ja, dann verwende manS_neu als neues Startsymbol und füge die RegelnS_neu

→

S

|

εzum Regelsatz hinzu.

2 Man eliminiere nutzlose Symbole.

3 Man eliminiere alleε-Regeln außerS_neu

→

ε^.

4 Man bringe die Grammatik in die Normalform,

bei der für jede RegelP

→

Q gilt: entwederQ

∈

V^∗oderQ

∈

T.

5 Man eliminiere Kettenproduktionen.

6 Zum Schluss eliminiere man noch einmal alle nutzlosen Symbole (wg. Schritt 3)

Teil IV

Kellerautomaten und kontextfreie Sprachen

1 Ableitungsbäume

3 Normalformen

7 Wortprobleme

B. Beckert – Grundlagen d. Theoretischen Informatik: Normalformen SS 2007 48 / 328

(13)

Normalformen

Unterschied: Grammatiktypen und Normalformen

Gemeinsamkeit: Sowohl Grammatiktypen als auch Normalformen schränken die Form von Grammatikregeln ein.

Unterschied:

Grammatiktypen (rechtslinear, kontextfrei usw.) führen zuunterschiedlichen Sprachklassen Normalformeln führen zu

den selben Sprachklassen

Normalformen

Wozu dann Normalformen?

Weniger Fallunterscheidungen bei Algorithmen, die mit Grammatiken arbeiten.

Struktur von Grammatiken einfacher zu „durchschauen“

Zwei Normalformen

Chomsky-Normalform: Baut auf den Umformungen des vorigen Teils auf.

Greibach-Normalform: Ähnlich den rechtslinearen Grammatiken.

Chomsky-Normalform

Definition 3.1 (Chomsky-Normalform)

Eine cf-GrammatikG

= (

V

,

T

,

R

,

S

)

ist inChomsky-Normalform (CNF), wenn gilt:

Ghat nur Regeln der Form

A

→

BC mitA

,

B

,

C

∈

Vund

A

→

a mitA

∈

V,a

∈

T (nichtε!)

Istε

∈

L

(

G

)

, so darfGzusätzlich die RegelS

→

εenthalten.

In diesem Fall darfSin keiner Regelconclusio vorkommen.

Genthält keine nutzlosen Symbole.

Chomsky-Normalform

Theorem 3.2 (Chomsky-Normalform)

Zu jeder cf-Grammatik existiert eine äquivalente cf-Grammatik in Chomsky-Normalform.

Beweis

Schritt 1:Wende aufGdie Umformungen des letzten Abschnitts an.

Ergebnis:

Ghat keine nutzlosen Symbole Alle Regeln haben die Form

1 A

→ α

mitA

∈

V und

α ∈

V^∗,

|α| ≥

2, und

2 A

→

amitA

∈

V,a

∈

T

(14)

Chomsky-Normalform

Beweis (Forts.)

Schritt 2:Regeln so umformen, daß keine Conclusio eine Länge größer 2 hat.

Ersetze jede Regel

A

→

A₁

. . .

A_nmitA

,

A_i

∈

V

,

n

≥

3 durch:

A

→

A₁C₁ C₁

→

A₂C₂

... C_n₋₂

→

A_n₋₁A_n

Dabei sind dieC_i neue Variablen inV.

Greibach-Normalform

Definition 3.3 (Greibach-Normalform)

Eine cf-GrammatikG

= (

V

,

T

,

R

,

S

)

ist inGreibach-Normalform (GNF), wenn gilt:

Ghat nur Regeln der Form

A

→

aαmit A

∈

V und a

∈

T undα

∈

V^∗

Istε

∈

L

(

G

)

, so darfGzusätzlich die RegelS

→

εenthalten.

In diesem Fall darfSin keiner Regelconclusio vorkommen.

Genthält keine nutzlosen Symbole.

Teil IV

Kellerautomaten und kontextfreie Sprachen

1 Ableitungsbäume

3 Normalformen

4 Pumping-Lemma für kontextfreie Sprachen

7 Wortprobleme

B. Beckert – Grundlagen d. Theoretischen Informatik: Pumping-Lemma für kontextfreie Sprachen SS 2007 55 / 328

Wiederholung: Pumping-Lemma für reguläre Sprachen

Theorem 4.1 (Pumping-Lemma für L3-Sprachen) Sei L

∈

RAT.

Dann existiert ein n

∈

N^{, so dass:}

Für alle

x

∈

L mit

|

x

| ≥

n existiert eine Zerlegung

x

=

uvw u

,

v

,

w

∈

Σ^∗ mit

|

v

| ≥

1

|

v

| <

n

uv^mw

∈

L für alle m

∈

N

(15)

Pumping-Lemma für kontextfreie Sprachen

Theorem 4.2 (Pumping-Lemma für kontextfreie Sprachen) Sei L kontextfrei

Dann existiert ein n

∈

N^{, so dass:}

Für alle

z

∈

L mit

|

x

| ≥

n existiert eine Zerlegung

z

=

uvwxy u

,

v

,

w

,

x

,

y

∈

Σ^∗ mit

|

vx

| ≥

1

|

vwx

| <

n

uv^mwx^my

∈

L für alle m

∈

N

Pumping-Lemma für kontextfreie Sprachen

Beweisidee

Bei der Ableitung eines hinreichend langen Wortes muss es eine Variable geben, die mehr als einmal auftaucht.

Dies führt zu einer Schleife in der Ableitung, die aufgepumpt werden kann.

Pumping-Lemma für kontextfreie Sprachen

Anwendung des Pumping-Lemmas für cf-Sprachen Wenn das cf-Pumping-Lemma für eine Sprache nicht gilt, dann kann sie nicht kontextfrei sein.

Beispiel 4.3 (Sprachen, die nicht kontextfrei sind)

Für folgende Sprachen kann man mit Hilfe des cf-Pumping-Lemmas zeigen, dass sie nicht kontextfrei sind:

{

a^p

|

pprim

} {

aⁿbⁿcⁿ

|

n

∈

N

} {

zzz

|

z

∈ {

a

,

b

}

^∗

}

d.

Teil IV

Kellerautomaten und kontextfreie Sprachen

1 Ableitungsbäume

3 Normalformen

5 Pushdown-Automaten (PDAs)

7 Wortprobleme

B. Beckert – Grundlagen d. Theoretischen Informatik: Pushdown-Automaten (PDAs) SS 2007 60 / 328

(16)

Erzeugende Grammatiken – akzeptierende Automaten

Erinnerung: Reguläre Sprachen

werden erzeugt von rechtslinearen Grammatiken werden akzeptiert von endlichen Automaten

Jetzt: Kontextfreie Sprachen

werden erzeugt von kontextfreien Grammatiken werden akzeptiert vonPushdown-Automaten

Idee des Push-Down-Automaten

Beispiel 5.1

Die „prototypische“ cf-Sprache

{

aⁿbⁿ

|

n

∈

N0

}

Endliche Automaten reichen nicht aus.

Sie können sich nicht merken, wie oft sie einen Zustand durchlaufen haben.

Füraⁿbⁿmuss man abermitzählen.

Idee des Push-Down-Automaten

Idee: Wie kann man diese Sprache akzeptieren?

Weitere Informationen auf demStacksichern Späterzurückholen

Ähnlich einem „Prozeduraufruf“

Grammatikregel wieS

→

aAbentspricht Aufruf einer Prozedur für dasA.

Stack, Stapel, Keller Last in, first out

Zuletzt gespeicherte Information liegt immer „obenauf“

Beliebig viel Information kann gespeichert werden (Aber kein beliebiger Zugriff!)

Push-Down-Automat

Push-Down-Automat (PDA): Informell

Wie endlicher Automat, aberzusätzlichereinen Stack

Übergangsrelation bezieht das oberste Stacksymbol in den Übergang ein Bei Zustandsübergang: lesen und schreiben auf Stack

(17)

Push-Down-Automat

Definition 5.2 (Push-Down-Automat) EinPush-Down-Automat (PDA)ist ein Tupel

M

= (

K

,Σ,Γ,∆,

s₀

,

Z₀

,

F

)

Dabei ist

K eine endliche Menge von Zuständen Σ das Eingabealphabet

Γ das Stack- oder Kelleralphabet s₀

∈

K der Startzustand

Z₀

∈

Γ das Anfangssymbol im Keller F

⊆

K eine Menge von finalen Zuständen

∆ die Zustandsübergangsrelation, eine endliche Relation:

∆

⊂ (

K

× (Σ ∪ {ε}) ×

Γ)

× (

K

×

Γ^∗

)

Push-Down-Automat

Arbeitsschritt eines PDA In Abhängigkeit

vom aktuellen Zustand

vom nächsten Eingabezeichen (oder auch unabhängig davon) vom obersten Kellersymbol

geschieht folgendes

nächstesEingabezeichenwirdgelesen oder nicht(beiε), das obersteKellersymbolwirdentfernt,

derZustandwirdgeändert,

es werden null oder mehrZeichen auf den Kellergeschoben Bei neuen Keller-Wortγ

=

A₁

. . .

A_nwirdA_nzuerst auf den Keller geschoben usw., so daß am SchlussA₁obenauf liegt.

Push-Down-Automat

Notation

a

,

b

,

cfür Buchstaben ausΣ u

,

v

,

wfür Wörter ausΣ^∗ A

,

Bfür Stacksymbole ausΓ γ,ηfür Stackinhalte ausΓ^∗

Push-Down-Automat: Konfiguration

Konfiguration eines PDA: Informell

Konfiguration beschreibt die aktuelle Situation des PDAkomplett Bestandteile:

aktueller Zustand

noch zu lesendes Restwort kompletter Stackinhalt

Für KonfigurationenC₁

,

C₂bedeutet C₁

`

C₂

daß der PDA in einem Schritt vonC₁nachC₂gelangen kann.

(18)

Push-Down-Automat: Konfiguration

Definition 5.3 (Konfiguration eines PDA,`)

EineKonfigurationCeines PDAM

= (

K

,

Σ,Γ,∆,s₀

,

Z₀

,

F

)

ist ein Tripel

(

q

,

w

,γ) ∈

K

×

Σ^∗

×

Γ^∗

.

qder aktuelle Zustand

wder noch zu lesendes Restwort γder komplette Stackinhalt

Definition 5.4 (Startkonfiguration)

Bei Eingabewortwist dieStartkonfiguration:

(

s₀

,

w

,

Z₀

)

Push-Down-Automat: Konfiguration

Definition 5.5 (Nachfolgekonfiguration) C₂heißtNachfolgekonfigurationvonC₁,

C₁

`

C₂ falls

∃

a

∈

Σ

∃

A

∈

Γ

∃

w

∈

Σ^∗

∃γ,η ∈

Γ^∗ so dass

entweder C₁

= (

q₁

,

aw

,

Aγ),C₂

= (

q₂

,

w

,ηγ

), und

(

q₁

,

a

,

A

)

∆

(

q₂

,η)

, oder C₁

= (

q₁

,

w

,

Aγ),C₂

= (

q₂

,

w

,ηγ)

, und

(

q₁

,

ε,A

)

∆

(

q₂

,η)

,

Push-Down-Automat: Rechnung

Definition 5.6 (Rechnung eines PDA) SeiAein Push-Down-Automat.

C

`

^∗_AC⁰

gdw es eine Reihe von Konfigurationen C₀

,

C₁

, . . . ,

C_n

(

n

≥

0

)

so daß C

=

C₀, C⁰

=

C_n,

C_i

`

_AC_i₊₁für alle 0

≤

i

<

n

Dann heißtC₀

,

C₁

, . . . ,

C_neineRechnungvonA

Push-Down-Automat: Akzeptierte Sprache

Definition 5.7 (von PDA akzeptierte Sprache)

Ein PDAMkann auf zwei verschiedene Arten eine Sprache akzeptieren:

überfinale Zustände überleeren Keller

L_f

(

M

) = {

w

∈

Σ^∗

| ∃

q

∈

F

∃γ ∈

Γ^∗

(

s₀

,

w

,

Z₀

) `

^∗_M

(

q

,ε,

γ)

}

L_l

(

M

) = {

w

∈

Σ^∗

| ∃

q

∈

K

(

s₀

,

w

,

Z₀

) `

^∗_M

(

q

,ε,

ε)

}

Bemerkung

Das zu akzeptierende Wortwmuss vonMganz gelesen werden:

(

s₀

,

w

,

Z₀

) `

^∗

(

q

,ε,·)

ist gefordert.

(19)

Push-Down-Automat

Bemerkung

Das unterste Symbol im Keller kann gelöscht werden.

Dann aberhängtder PDA

Er kann nicht mehr weiter rechnen Es gibt keineNachfolgekonfiguration

Push-Down-Automat: Beispiel

Beispiel 5.8

Sprache der Palindrome über

{

a

,

b

}

: L

= {

w

∈ {

a

,

b

}

^∗

|

w

=

w^R

}

Lwird über leeren Keller akzeptiert von dem PDA M:= ({s₀

,

s₁

},{

a

,

b

}, {

Z₀

,

A

,

B

},∆,

s₀

,

Z₀

,

0)/ mit . . .

Push-Down-Automat: Beispiel

Beispiel (Forts.) Idee:

Ein Palindromw

=

w^Rhat die Form vv^R oder vav^R oder vbv^R für einv

∈ {

a

,

b

}

^∗

Der AutomatM^liest^v und merkt sich jeden Buchstaben.

Er rät indeterminiert die Wortmitte.

Falls das Wort eine ungerade Anzahl von Buchstaben hat, alsow

=

vav^Roderw

=

vbv^R,

dann muss dabei ein Buchstabe überlesen werden.

Der Stack enthält nunv^R.

Mmuss jetzt nur noch jeden weiteren gelesenen Buchstaben mit dem jeweils obersten Kellersymbol vergleichen.

Push-Down-Automat: Beispiel

Beispiel (Forts.)

(

s₀

,ε,

Z₀

)

∆

(

s₁

,ε)

εakzeptieren

(

s₀

,

a

,

Z₀

)

∆

(

s₀

,

A

) (

s₀

,

a

,

A

)

∆

(

s₀

,

AA

) (

s₀

,

a

,

B

)

∆

(

s₀

,

AB

) (

s₀

,

b

,

Z₀

)

∆

(

s₀

,

B

) (

s₀

,

b

,

A

)

∆

(

s₀

,

BA

) (

s₀

,

b

,

B

)

∆

(

s₀

,

BB

)











Stack aufbauen

(20)

Push-Down-Automat: Beispiel

(

s₀

,

ε,A

)

∆

(

s₁

,

ε)

(

s₀

,

ε,B

)

∆

(

s₁

,

ε)

Richtungswechsel für Palindrome mit ungerader Buchstabenanzahl

(

s₀

,

a

,

A

)

∆

(

s₁

,

ε)

(

s₀

,

b

,

B

)

∆

(

s₁

,

ε)

Richtungswechsel für Palindrome mit gerader Buchstabenanzahl

(

s₁

,

a

,

A

)

∆

(

s₁

,

ε)

(

s₁

,

b

,

B

)

∆

(

s₁

,

ε)

Stack abbauen

Push-Down-Automat: Beispiel

Für das EingabewortabbabbarechnetM^so:

(

s₀

,

abbabba

,

Z₀

) ` (

s₀

,

bbabba

,

A

) ` (

s₀

,

babba

,

BA

) ` (

s₀

,

abba

,

BBA

) ` (

s₀

,

bba

,

ABBA

) ` (

s₁

,

bba

,

BBA

) `

(

s₁

,

ba

,

BA

) ` (

s₁

,

a

,

A

) ` (

s₁

,ε,ε)

Push-Down-Automat: Beispiel

Beispiel 5.9 Die Sprache

L

= {

w

∈ {

a

,

b

}

^∗

|

#a

(

w

) =

#b

(

w

)}

wird über finalen Zustand akzeptiert von dem PDA

M

= ({

s₀

,

s₁

}, {

a

,

b

},{

Z₀

,

A

,

A

,

B

,

B

},∆,

s₀

,

Z₀

, {

s₀

})

mit . . .

Push-Down-Automat: Beispiel

Beispiel (Forts.) Idee:

auf dem Stack mitzählen, wievielA-Überhang oderB-Überhang momentan besteht

Der Stack enthält zu jedem Zeitpunkt entweder nurA/A(A-Überhang) oder nurB/B(B-Überhang)

oder nur das SymbolZ₀(Gleichstand).

Das untersteAbzw.Bauf dem Stack ist durch einen Unterstrich gekennzeichnet.

So weißM, wenn er dies Stacksymbol löscht, daß dann bis zu diesem Moment gleichvielas wiebs gelesen wurden.

(21)

Push-Down-Automat: Beispiel

(

s₀

,

a

,

Z₀

)

∆

(

s₁

,

A

) (

s₀

,

b

,

Z₀

)

∆

(

s₁

,

B

) (

s₁

,

a

,

A

)

∆

(

s₁

,

AA

) (

s₁

,

b

,

B

)

∆

(

s₁

,

BB

) (

s₁

,

a

,

A

)

∆

(

s₁

,

AA

) (

s₁

,

b

,

B

)

∆

(

s₁

,

BB

) (

s₁

,

a

,

B

)

∆

(

s₀

,

Z₀

) (

s₁

,

b

,

A

)

∆

(

s₀

,

Z₀

) (

s₁

,

a

,

B

)

∆

(

s₁

,

ε)

(

s₁

,

b

,

A

)

∆

(

s₁

,ε)

Push-Down-Automat: Finaler Zustand / leerer Keller

Theorem 5.10 (finale Zustände→leerer Keller) Zu jedem PDAM1existiert ein PDAM2mit

L_f

(

M1

) =

L_l

(

M2

)

Beweisidee

Wir simulieren die MaschineM1, die über finale Zustände akzeptiert, durch die MaschineM2, die über leeren Keller akzeptiert.

M2arbeitet wieM1, mit dem Unterschied:

Wenn ein Zustand erreicht wird, der inM1final war, kannM2seinen Keller leeren.

Push-Down-Automat: Finaler Zustand / leerer Keller

Theorem 5.11 (leerer Keller→finale Zustände)

Zu jedem PDAM1existiert ein PDAM2mit L_l

(

M1

) =

L_f

(

M2

)

Beweisidee

Wir simulieren die MaschineM1, die über leeren Keller akzeptiert, durch die MaschineM2, die über finale Zustände akzeptiert.

M2arbeitet wieM1,

legt aber ein zusätzliches Symbol ganz unten in den Keller.

WennM1seinen Keller geleert hätte (also das neue unterste Symbol sichtbar wird),

kannM2in einen finalen Zustand gehen.

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Theorem 5.12 (PDA akzeptieren L2)

Die Klasse der PDA-akzeptierten Sprachen istL₂.

Beweis

Dazu beweisen wir die folgenden zwei Lemmata, die zusammen die Aussage des Satzes ergeben.

(22)

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Lemma 5.13 (cf-Grammatik→PDA)

Zu jeder kontextfreien Grammatik G gibt es einen PDAM^mit L

(

M

) =

L

(

G

)

Beweis

O.B.d.A. sei die kontextfreie GrammatikG

= (

V

,

T

,

R

,

S

)

in Greibach-Normalform: Alle Grammatikregeln haben die Form

A

→

au mitA

∈

V,a

∈

T,u

∈

V^∗

Wir konstruieren zuGeinen PDAM^{, der}^L

(

G

)

akzeptiert.

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Beweis (Forts.) Idee:Der AutomatM

vollzieht die Grammatikregeln nach, die angewendet worden sein könnten, um das aktuelle Eingabewort zu erzeugen und

merkt sich das aktuelle Wort in der Ableitung bzw. dessen Rest

merkt sich auf dem Keller alle Variablen, die im gedachten Ableitungswort noch vorkommen und noch ersetzt werden müssen.

Die linkeste Variable liegt zuoberst:Marbeitet mit der Linksableitung.

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Beweis (Forts.) Genauer:

Erzeugung eines Wortes mitGbeginnt beim StartsymbolS.

DeshalbSbeiMin Startkonfiguration oben auf dem Keller.

Angenommen,Ghat 2 Regeln mitSauf der linken Seite:

S

→

aA₁A₂undS

→

bB₁B₂

Angenommen, der erste Buchstabe des Input-Worteswist eina.

WennwvonGerzeugt wurde, hatGdie erste der zweiS-Produktionen angewendet.

Entsprechend: Der AutomatM^schiebt^A1A₂auf den Stack.

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Beweis (Forts.) Genauer:

Der zweite Buchstabe des Eingabeworts muss durch Anwendung einer RegelA₁

→

a₁αerzeugt worden sein.

Angenommen, der zweite Buchstabe des Eingabeworts ista₁. Dann müssen die nächsten Buchstaben des Wortes aus den Variablen inα entstehen.

Der Automat entferntA₁vom Stack und legtαauf den Stack.

Wenn es zwei RegelnA₁

→

a₁α1undA₁

→

a₁α2gibt, dann wähltM indeterminiert eine der Regeln aus.

Der PDA hat nur einen einzigen Zustand und akzeptiert über den leeren Keller.

(23)

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Beweis (Forts.) Formal:

M

= (

K

,

Σ

,

Γ

,

∆

,

s₀

,

Z₀

,

F

)

mit

K:=

{

s₀

}

Σ:=T Γ:=V Z₀:=S F:=0/

∆:=

{((

s₀

,

a

,

A

),(

s₀

,α)) |

A

→

aα

∈

R

}

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Beweis (Forts.)

Damit gilt (Beweis s. Buch):

Es gibt eine LinksableitungS

= ⇒

^∗

G xαmitx

∈

T^∗

,

α

∈

V^∗ gdw

M^rechnet

(

s₀

,

x

,

S

) `

^∗_M

(

s₀

,ε,α)

Daraus folgt unmittelbar:

L

(

G

) =

L_`

(

M

)

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Beispiel 5.14 Die Sprache

L

= {

ww^R

|

w

∈ {

a

,

b

}

⁺

}

wird generiert von der GNF-GrammatikG

= ({

S

,

A

,

B

},{

a

,

b

},

R

,

S

)

mit R

= {

S

→

aSA

|

bSB

|

aA

|

bB

A

→

a B

→

b

}

Daraus kann man einen PDA mit den folgenden Regeln konstruieren:

(

s₀

,

a

,

S

)

∆

(

s₀

,

SA

) (

s₀

,

a

,

S

)

∆

(

s₀

,

A

) (

s₀

,

b

,

S

)

∆

(

s₀

,

SB

) (

s₀

,

b

,

S

)

∆

(

s₀

,

B

) (

s₀

,

a

,

A

)

∆

(

s₀

,ε) (

s₀

,

b

,

B

)

∆

(

s₀

,

ε

)

Gleichmächtigkeit: PDAs und kontextfreie Grammatiken

Lemma 5.15 (PDA→cf-Grammatik)

Zu jedem Push-Down-AutomatenMgibt es eine kontextfreie Grammatik G mit L

(

G

) =

L

(

M

)

Beweis

SeiMein PDA, der eine SpracheLüber leeren Kellerakzeptiert.

Wir konstruieren aus dem Regelsatz vonMeine kontextfreie Grammatik, dieLerzeugt.