Kontextfreie Sprachen: Teil II

Formale Sprachen und Komplexit¨ at

Sommersemester 2019

Kontextfreie Sprachen: Teil II

Prof. Dr. David Sabel

LFE Theoretische Informatik

Letzte ¨Anderung der Folien: 11. Juni 2019

Inhalts¨ ubersicht

Effiziente L¨ osung des Wortproblems f¨ ur CFLs:

Der Cocke-Younger-Kasami-Algorithmus Kellerautomaten

Deterministisch kontextfreie Sprachen

Entscheidbarkeitsresultate f¨ ur kontextfreie Sprachen

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 2/57 CYK PDAs Det.CFLs Entscheidbarkeit

Effizientes L¨ osen des Wortproblems f¨ ur CFLs

Algorithmus f¨ ur Typ 1-Sprachen hat exponentielle Laufzeit Jetzt: Algorithmus von Cocke, Younger und Kasami f¨ ur CFLs Ver¨ offentlich in den 1960er Jahren

Kurz: CYK-Algorithmus Polynomielle Laufzeit

Idee des CYK-Algorithmus

Eingabe:

CFG G = (V, Σ, P, S ) in Chomsky-Normalform und Wort w ∈ Σ

Ausgabe:

ja, wenn w ∈ L(G), nein, wenn w 6∈ L(G) Grundidee des Algorithmus:

(Rekursiver) Test, ob Variable A ein Wort u erzeugt.

Verwende Test zum Pr¨ ufen, ob S das Wort w erzeugt.

Idee des CYK-Algorithmus (2)

Pr¨ ufe, ob A ∈ V ein Wort u = a

· · · a

erzeugt:

Wenn u = a ∈ Σ, dann pr¨ ufe ob A → a ∈ P

Anderenfalls (|u| > 1) kann u nur erzeugt werden, wenn:

Es gibt Produktion A → BC ∈ P Es gibt Index 1 ≤ i < n, sodass:

B erzeugt a

· · · a

und C erzeugt a

· · · a

A

B C

| {z }

a1· · ·ai

| {z }

ai+1· · ·an

Daher pr¨ ufe f¨ ur alle A → BC ∈ P und alle i mit 1 ≤ i < n rekursiv, ob B das Wort w = a

· · · a

und C das Wort a

· · · a

erzeugt.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 5/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel

S → AB | BA, A → AA | AB | a, B → BB | b S erzeugt bbbaab, denn S → BA und

B erzeugt bbb, denn B → BB und

B erzeugt bb, denn B → BB und B → b und B → b B erzeugt b, denn B → b

A erzeugt aab, denn A → AB und A erzeugt aa, denn A → AA und

Aerzeugta, dennA→aund Aerzeugta, dennA→a

B erzeugt b, denn B → b

Bevor der rekursive Algorithmus diesen richtigen Pfad findet, sucht er einige erfolglose ab, z.B. f¨ ur S → AB

Pr¨ufe, obAerzeugtbundBerzeugtbbabgilt.

Pr¨ufe, obAerzeugtbbundBerzeugtbabgilt.

Pr¨ufe, obAerzeugtbbbundBerzeugtabgilt.

Pr¨ufe, obAerzeugtbbbaundBerzeugtbgilt.

Naiv finden wiederholt dieselben Tests statt, z.B. ob A erzeugt b gilt.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 6/57 CYK PDAs Det.CFLs Entscheidbarkeit

Idee des CYK-Algorithmus (3)

Effizienz: Statt Rekursion verwende dynamische Programmierung Algorithmus berechnet Menge V (i, j) ⊆ V , sodass

V (i, j ) = {A ∈ V | A ⇒

a

· · · a

}

” V (i, j ) enth¨ alt alle A ∈ V , die a

· · · a

erzeugen“

Berechnung der V (i, j):

Starte mit V (i, 1) = {A | A → a

∈ P }.

Berechne V (i, j ) mit ansteigender L¨ ange j.

F¨ ur j > 1 gilt:

A ∈ V (i, j) g.d.w.

A → BC ∈ P und B ∈ V (i, k), C ∈ V (i + k, j − k)

Berechnung: f¨ ur festes (i, j) betrachte alle k mit k = 1, 2, . . . , j − 1 Finaler Schritt: Pr¨ ufe, ob S ∈ V (1, n) ist.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 7/57 CYK PDAs Det.CFLs Entscheidbarkeit

Algorithmus 8: CYK-Algorithmus

Eingabe: CFG G = (V, Σ, P, S) in Chomsky-NF und Wort w = a

· · · a

∈ Σ

Ausgabe: Ja, wenn w ∈ L(G) und Nein, wenn w 6∈ L(G)

Beginn

f¨ ur i = 1 bis n tue

V (i, 1) = {A ∈ V | A → a

∈ P } f¨ ur j = 2 bis n tue

f¨ ur i = 1 bis n + 1 − j tue V (i, j ) = ∅;

f¨ ur k = 1 bis j − 1 tue V (i, j) = V (i, j ) ∪







A → BC ∈ P, A ∈ V B ∈ V (i, k),

C ∈ V (i + k, j − k)







wenn S ∈ V (1, n) dann return Ja

sonst

return Nein

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 8/57 CYK PDAs Det.CFLs Entscheidbarkeit

Laufzeit des CYK-Algorithmus

Drei geschachtelte F¨ ur-Schleifen

Im inneren wird noch ¨ uber alle Produktionen aus P iteriert Mit n = |w| und |P | = Anzahl der Iterationen kann die Laufzeitkomplexit¨ at mit O(n

· |P |) abgesch¨ atzt werden.

Theorem

Das Wortproblem f¨ ur kontextfreie Sprachen kann in Polynomialzeit entschieden werden.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 9/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel

Sei w = bbddc und G = ({S, A, B}, {b, c, d}, P, S) mit

P = {S → AC, A → BE, A → BD, E → AD, C → c, B → b, D → d}

V (i, j )-Tabelle ist zun¨ achst leer:

V (i, j)

b b d d c

1 2 3 4 5

1 2 3 4 5

i

j

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 10/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel (2)

Sei w = bbddc und G = ({S, A, B}, {b, c, d}, P, S) mit

P = {S → AC, A → BE, A → BD, E → AD, C → c, B → b, D → d}

F¨ ullen der V (i, 1)-Eintr¨ age:

V (i, j )

b b d d c

1 2 3 4 5

1 2 3 4 5

i

j

B B D D C

Beispiel (3)

Sei w = bbddc und G = ({S, A, B}, {b, c, d}, P, S) mit

P = {S → AC, A → BE, A → BD, E → AD, C → c, B → b, D → d}

V(i, j)

b b d d c

1 2 3 4 5

1 2 3 4 5

i

j

B B D D C

A E A S

Da S ∈ V (1, 5) gilt w ∈ L(G)

Kellerautomaten: Motivation

Endliche Automaten (DFA & NFA) haben fast keinen Speicher Einziger Speicher dort: Zust¨ ande Daher endlicher Speicher

Daher z.B. unm¨ oglich {w$w | w ∈ {a, b, c}

} zu erkennen:

Man m¨ usste beim Lesen von w alle gelesenen Zeichen speichern, um sie dann beim Lesen von w zu vergleichen.

Kellerautomaten: F¨ ugen einen Speicher hinzu

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 13/57 CYK PDAs Det.CFLs Entscheidbarkeit

Kellerspeicher

Kellerautomaten haben Kellerspeicher

(Stack, LIFO-Speicher, last-in-first-out-Speicher)

Uendlich großer Speicher als Stapel auf den nur von oben zugegriffen werden kann.

Zustands¨ ubergang:

Endlicher Automat Kellerautomat

Eingabe Zustand und Zeichen Zustand, Zeichen, oberstes Symbol im Keller

Ausgabe n¨ achster Zustand Zustand, Sequenz von Kel- lersymbolen, die das erste Symbol ersetzen

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 14/57 CYK PDAs Det.CFLs Entscheidbarkeit

Kellerautomat: Illustration

a

a

a

· · · a

Eingabeband

Lesekopf (bewegt sich nur nach rechts)

Keller

Zugriff auf Keller nur von oben endliche

Steuerung

A

A

.. . A

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 15/57 CYK PDAs Det.CFLs Entscheidbarkeit

Kellerautomaten: Definition

Definition (Kellerautomat, PDA)

Ein (nichtdeterministischer) Kellerautomat (PDA, pushdown automaton) ist ein Tupel M = (Z, Σ, Γ, δ, z

, #), wobei

Z ist eine endliche Menge von Zust¨ anden, Σ ist das (endliche) Eingabealphabet, Γ ist das (endliche) Kelleralphabet,

δ : (Z × (Σ ∪ {ε}) × Γ) → P

(Z × Γ

) ist die

Zustands¨ uberf¨ uhrungsfunktion (oder nur Uberf¨ ¨ uhrungsfunktion) z

∈ Z ist der Startzustand und

# ∈ Γ ist das Startsymbol im Keller.

(z

, B

· · · B

) ∈ δ(z, a, A) bedeutet: im Zustand z bei Eingabe a und A oben auf dem Keller darf der PDA in Zustand z

wechseln: Dabei wird A durch B

· · · B

ersetzt (B

liegt oben; k = 0 ist erlaubt)

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 16/57 CYK PDAs Det.CFLs Entscheidbarkeit

Illustration: Zustands¨ ubergang

(z

, B

· · · B

) ∈ δ(z, a, A) a a

· · ·

z

A .. .

→

a a

· · ·

z

B

.. . B

.. .

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 17/57 CYK PDAs Det.CFLs Entscheidbarkeit

Bemerkungen

Mit unserer Definition von PDAs:

PDAs sind nichtdeterministisch erlauben ε- ¨ Uberg¨ ange

keine Endzust¨ ande!

Wir werden sehen:

Akzeptieren: Wenn Eingabe verarbeitet und Keller leer Am Anfang: Keller enth¨ alt #

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 18/57 CYK PDAs Det.CFLs Entscheidbarkeit

Konfigurationen

Buchf¨ uhren w¨ ahrend einer Berechnung mit dem PDA:

akueller Zustand, Resteingabe, aktueller Kellerinhalt Wird dargestellt durch PDA-Konfiguration

Definition (Konfiguration eines Kellerautomaten) Sei M = (Z, Σ, Γ, δ, z

, #) ein PDA.

Eine Konfiguration von M ist ein Tripel (z, w, W ) mit z ∈ Z , w ∈ Σ

, W ∈ Γ

.

Die Menge aller Konfigurationen f¨ ur M ist daher Z × Σ

× Γ

. z ist der aktuelle Zustand

w ist die Resteingabe W ist der Kellerinhalt

Transitionsrelation

Definition (Transitionsrelation f¨ ur PDA-Konfigurationen) F¨ ur einen PDA M = (Z, Σ, Γ, δ, z

, #) definieren wir

`

⊆ (Z × Σ

× Γ

) × (Z × Σ

× Γ

) durch

(z, a

· · · a

, A

· · · A

) `

(z

, a

· · · a

, W A

· · · A

) falls (z

, W ) ∈ δ(z, a

, A

) und

(z, w, A

· · · A

) `

(z

, w, W A

· · · A

) falls (z

, W ) ∈ δ(z, ε, A

).

Weitere Notation:

`

= reflexiv-transitive H¨ ulle von `

`

= i-fache Anwendung von `

Wenn M eindeutig: ` statt `

PDA: Akzeptierte Sprache

Definition (Akzeptierte Sprache eines PDA)

Sei M = (Z, Σ, Γ, δ, z

, #) ein PDA. Die durch M akzeptierte Sprache L(M ) ist definiert als

L(M) := {w ∈ Σ

| (z

, w, #) `

(z, ε, ε) f¨ ur ein z ∈ Z}.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 21/57 CYK PDAs Det.CFLs Entscheidbarkeit

Notation als Zustandsgraph

Darstellung analog zu DFA / NFA

F¨ ur (z

, B

· · · B

) ∈ δ(z, a, A) zeichnen wir

z z

(A, a) : B

· · · B

Beachte, dass das Startsymbol im Keller bekannt sein muss (¨ uberlicherweise #)

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 22/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel

PDA M = ({z

, z

}, {a, b}, {B, #}, δ, z

, #) mit

δ(z

, a, #) = {(z

, B#)} δ(z

, b, B) = {(z

, ε)} δ(z

, ε, #) = {(z

, ε)}

δ(z

, a, B) = {(z

, BB)} δ(z

, b, B) = {(z

, ε)} δ(z

, ε, #) = {(z

, ε)}

und δ(z

, c, A) = ∅ in allen anderen F¨ allen Zustandsgraph dazu:

z

z

(#, a) : B #, (#, ε) : ε, (B, a) : BB

(B, b) : ε

(B, b) : ε, (#, ε) : ε

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 23/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel (2)

z

z

(#, a) : B#, (#, ε) : ε, (B, a) : BB

(B, b) : ε

(B, b) : ε, (#, ε) : ε

M akzeptiert ε, denn (z

, ε, #) ` (z

, ε, ε).

M akzeptiert das Wort a

b

f¨ ur i > 0, da (z

, a

b

, #) ` (z

, a

b

, B#) `

(z

, b

, B

#)

` (z

, b

, B

#) `

(z

, ε, #) ` (z

, ε, ε).

andere Worte werden nicht akzeptiert:

f¨ ur jedes gelesene a wird ein B auf den Keller gelegt, das durch lesen von b abgebaut werden muss.

In z

k¨ onnen nur a’s und ein b gelesen werden, dann Wechsel in z

und dort k¨ onnen nur b’s gelesen werden.

L(M) = {a

b

| i ∈ N }

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 24/57 CYK PDAs Det.CFLs Entscheidbarkeit

Weiteres Beispiel

Sei M = ({z

, z

}, {a, b}, {A, B, #}, δ, z

, #) mit δ(z

, a, #) = {(z

, A#), (z

, #)}

δ(z

, b, #) = {(z

, B#), (z

, #)}

δ(z

, a, A) = {(z

, AA), (z

, A)}

δ(z

, b, A) = {(z

, BA), (z

, A)}

δ(z

, a, B) = {(z

, AB), (z

, B)}

δ(z

, b, B) = {(z

, BB), (z

, B)}

δ(z

, ε, A) = {(z

, A)}

δ(z

, ε, B) = {(z

, B)}

δ(z

, ε, #) = {(z

, #)}

δ(z

, a, A) = {(z

, ε)}

δ(z

, b, B) = {(z

, ε)}

δ(z

, ε, #) = {(z

, ε, ε)}

und δ(z

, c, C) = ∅ f¨ ur alle anderen F¨ alle.

L(M) = {w ∈ {a, b}

| w ist Palindrom}:

In z

werden die gelesenen Zeichen (als A, B) auf den Keller gelegt In z

werden sie dann wieder abgearbeitet (durch Lesen von a, b) Wechsel von z

zu z

mit einem Zeichen (f¨ ur Palindrome uau, ubu) oder mit ε (f¨ ur Palindrome uu).

Richtiger Zeitpunkt des Wechsels: Macht der Nichtdeterminismus.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 25/57 CYK PDAs Det.CFLs Entscheidbarkeit

Akzeptanz durch Endzust¨ ande

Definition (PDA mit Endzust¨ anden)

Ein (nichtdeterministischer) Kellerautomat mit Endzust¨ anden (PDA mit Endzust¨ anden) ist ein Tupel M = (Z, Σ, Γ, δ, z

, #, E) wobei

Z ist eine endliche Menge von Zust¨ anden, Σ ist das (endliche) Eingabealphabet, Γ ist das (endliche) Kelleralphabet

δ : Z × ((Σ ∪ {ε}) × Γ) → P

(Z × Γ

) ist die Uberf¨ ¨ uhrungsfunktion z

∈ Z ist der Startzustand,

# ∈ Γ ist das Startsymbol im Keller und E ⊆ Z ist die Menge der Endzust¨ ande.

Ein PDA mit Endzust¨ anden akzeptiert die Sprache

L(M) = {w ∈ Σ

| (z

, w, #) `

(z, ε, W ) und z ∈ E}.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 26/57 CYK PDAs Det.CFLs Entscheidbarkeit

Aquivalenz: Akzeptanz durch Endzust¨ ¨ ande / leeren Keller

Lemma

F¨ ur jeden Kellerautomat mit Endzust¨ anden M kann ein

Kellerautomat M

(ohne Endzust¨ ande) konstruiert werden, so dass L(M) = L(M

) gilt

Lemma

F¨ ur jeden Kellerautomat M kann ein Kellerautomat mit

Endzust¨ anden M

konstruiert werden, so dass L(M) = L(M

) gilt.

Satz

PDAs mit Endzust¨ anden und PDAs ohne Endzust¨ ande (mit Akzeptanz durch leeren Keller) sind ¨ aquivalente Formalismen.

Beweise dazu sind im Skript

Aquivalenz: PDAs und CFLs ¨

Wir zeigen, dass PDAs genau die Typ 2-Sprachen erkennen.

Beweis in zwei Teilen:

1

Konstruktion eines PDA aus CFG in Greibach-NF

2

Konstruktion einer CFG aus einem PDA (sogenannte Tripelkonstruktion)

(PDA mit Einschr¨ ankung:

max. 2 Kellersymbole pro Schritt erzeugen)

CFG → PDA

Ideen:

CFG in Greibach-Normalform gegeben PDA simuliert Linksableitung S ⇒ w

Da CFG in Greibach-NF, sieht eine Linksableitung nach i-Schritten immer so aus: S ⇒

a

· · · a

B

· · · B

. Start mit Eingabe w und S auf dem Keller

Nach i Schritten, ist a

· · · a

verarbeitet und B

· · · B

auf dem Keller

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 29/57 CYK PDAs Det.CFLs Entscheidbarkeit

CFG → PDA (2)

Satz

Jede kontextfreie Sprache wird durch einen Kellerautomaten erkannt.

Beweis:

Sei L eine CFL und G = (V, Σ, P, S) mit L(G) = L \ {ε} in Greibach-NF.

Sei M = ({z

}, Σ, V, δ, z

, S) ein PDA, sodass

δ(z

, a, A) := {(z

, B

· · · B

) | (A → aB

· · · B

) ∈ P } und falls ε ∈ L setze zus¨ atzlich δ(z

, ε, S) := {(z

, ε)}.

In allen anderen F¨ allen sei δ(z

, ε, A) = ∅.

Wir zeigen L(M ) = L.

Zun¨ achst: ε ∈ L g.d.w. (z

, ε, S) ` (z

, ε, ε) und damit ε ∈ L(M).

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 30/57 CYK PDAs Det.CFLs Entscheidbarkeit

CFG → PDA (2)

M= ({z₀},Σ,Σ∪V, δ, z0, S)mitδ(z0, a, A) :={(z₀, B1· · ·Bn)|(A→aB1· · ·Bn)∈P}. . .

Beweis (Fortsetzung):

F¨ ur die weiteren F¨ alle zeigen wir f¨ ur alle i ∈ N (mit Induktion ¨ uber i) S ⇒

a

· · · a

B

· · · B

mit einer Linksableitung

genau dann, wenn

(z

, a

· · · a

w, S ) `

(z

, w, B

· · · B

) f¨ ur alle w ∈ Σ

. Basis i = 0: gilt, denn S ⇒

S und (z

, w, S) `

(z

, w, S) F¨ ur i > 0 und “ ⇒”:

Sei S ⇒

a

· · · a

B

· · · B

eine Linksableitung.

Da G in Greibach-NF, kann diese geschrieben werden als S ⇒

a

· · · a

B

B

· · · B

⇒

a

· · · a

B

· · · B

, wobei B

→ a

B

· · · B

∈ P als letzte Produktion angewendet wurde.

Induktionsannahme liefert: S ⇒

a

· · · a

B

B

· · · B

genau dann, wenn (z

, a

· · · a

w, S) `

(z

, w, B

B

· · · B

).

Verwende w = a

w

und da (z

, B

· · · B

) ∈ δ(z

, a

, B

), gilt (z

, a

· · · a

w

, S) `

(z

, w

, B

· · · B

) f¨ ur alle w

.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 31/57 CYK PDAs Det.CFLs Entscheidbarkeit

CFG → PDA (3)

M= ({z0},Σ,Σ∪V, δ, z0, S)mitδ(z0, a, A) :={(z0, B1· · ·Bn)|(A→aB1· · ·Bn)∈P}. . .

Beweis (Fortsetzung):

F¨ ur i > 0 und “⇐”:

Sei (z

, a

· · · a

w, S) `

(z

, w, B

· · · B

).

Dann muss der letzte Schritt a

gelesen haben D.h. die Folge l¨ asst sich zerlegen in

(z

, a

· · · a

w, S) `

(z

, a

w, B

B

· · · B

) ` (z

, w, B

· · · B

),

wobei (z

, B

· · · B

) ∈ δ(z

, a

, B

).

Dann muss B

→ aB

· · · B

eine Produktion in P sein.

Induktionsannahme liefert: S ⇒

a

· · · a

B

B

· · · B

und wir k¨ onnen obige Produktion anwenden und erhalten S ⇒

a

· · · a

B

· · · B

.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 32/57 CYK PDAs Det.CFLs Entscheidbarkeit

Hilfssatz f¨ ur PDA → CFG-Beweis

Lemma (PDAs mit Erzeugung von ≤ 2 Kellersymbolen) F¨ ur jeden PDA M = (Z, Σ, Γ, δ, z

, #) gibt es einen PDA M

= (Z, Σ, Γ

, δ

, z

, #) mit L(M) = L(M

), sodass gilt: Wenn (z

, B

· · · B

) ∈ δ

(z, a, A) (f¨ ur a ∈ (Σ ∪ {ε})), dann ist k ≤ 2.

Beweis (Skizze):

Transformiere M in M

wie folgt (mit A ∈ Γ und a ∈ (Σ ∪ {ε})):

(z

, B

· · · B

) ∈ δ

(z, a, A) wenn (z

, B

· · · B

) ∈ δ(z, a, A), k ≤ 2.

falls (z

, B

· · · B

) ∈ δ(z, a, A) mit k > 2, dann (z, C

B

) ∈ δ

(z, a, A), und

δ(z, ε, C

) = {(z, C

B

)} f¨ ur alle i mit 4 ≤ i ≤ k, und δ(z, ε, C

) = {(z

, B

B

)}

wobei C

, . . . , C

∈ Γ

neue Kellersymbole sind

(diese werden jeweils neu erzeugt pro ersetztem Eintrag).

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 33/57 CYK PDAs Det.CFLs Entscheidbarkeit

PDA → CFG

Ideen

Verwende PDA mit Erzeugung von ≤ 2 Kellersymbolen Erzeuge Grammatik mit Tripelkonstruktion

Variablen der Grammatik:

Tripel hz

, A, zi, die alle Worte w erzeugt, die den PDA von z

mit Kellerinhalt A und Wort w zu z und leeren Keller f¨ uhren

Produktionen

hz

, A, zi → a wenn z

(A, a) : ε z

hz

, A, zi → ahz

, B, zi wenn z

z

(A, a) : B

hz

, A, zi → ahz

, B, z

ihz

, C, zi wenn z

z

(A, a) : BC

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 34/57 CYK PDAs Det.CFLs Entscheidbarkeit

PDA → CFG (2)

Satz

Kellerautomaten akzeptieren kontextfreie Sprachen.

Beweis: Sei M = (Z, Σ, Γ, δ, z

, #) ein PDA mit k ≤ 2 f¨ ur alle (z

, B

· · · B

) ∈ δ(z, a, A) (und a ∈ (Σ ∪ {ε})).

Konstruiere G = (V, Σ, P, S ) mit S neues Symbol und V = {S} ∪ {hz

, A, z

i | z

, z

∈ Z, A ∈ Γ}

P = {S → hz

, #, zi | z ∈ Z}

∪ {hz

, A, zi → a | (z, ε) ∈ δ(z

, a, A), a ∈ Σ ∪ {ε}, A ∈ Γ}

∪ {hz

, A, zi → ahz

, B, zi | (z

, B) ∈ δ(z

, a, A), z ∈ Z, a ∈ Σ ∪ {ε}, A ∈ Γ}

∪ {hz

, A, zi → ahz

, B, z

ihz

, C, z i | (z

, BC) ∈ δ(z

, a, A),

z, z

∈ Z, a ∈ Σ ∪ {ε}, A ∈ Γ}

Wir beweisen hz

, A, zi ⇒

w g.d.w.(z

, w, A) `

(z, ε, ε).

Da S → hz

, A, zi folgt: w ∈ L(G) ⇐⇒ w ∈ L(M), d. h. L(G) = L(M ).

PDA → CFG (3)

” ⇒“:

Sei hz

, A, zi ⇒

w eine Linksableitung.

Wir verwenden Induktion ¨ uber i.

Basis i = 1: Sei hz

, A, zi ⇒

w

Verwendete Produktion muss hz

, A, zi → a sein

Dann muss (z, ε) ∈ δ(z

, a, A) gelten und damit gilt: (z

, a, A) ` (z, ε, ε).

Schritt: hz

, A, zi ⇒

u ⇒

w. mit i − 1 > 0

Wenn u = a ∈ (Σ ∪ {ε}), dann kann i − 1 > 0 nicht gelten.

Wenn u = ahz

, B, zi, dann (z

, B) ∈ δ(z

, a, A) und u = ahz

, B, zi ⇒

aw

= w.

Dann gilt hz

, B, zi ⇒

w

und die Induktionsannahme liefert

(z

, w

, B) `

(z, ε, ε). Mit (z

, B) ∈ δ(z

, a, A) zeigt dies

(z

, u, A) = (z

, aw

, A) `

(z

, w

, B) `

(z, ε, ε).

PDA → CFG (4)

. . .

Wenn u = ahz

, B, z

ihz

, C, zi, dann ist (z

, BC) ∈ δ(z

, a, A) und u = ahz

, B, z

ihz

, C, zi ⇒

aw

= w

Dann gilt auch hz

, B, z

ihz

, C, zi ⇒

w

und es gibt Linksableitungen hz

, B, z

i ⇒

w

und hz

, C, zi ⇒

w

mit j + l ≤ i − 1, w

= w

w

. F¨ ur beide k¨ onnen wir die Induktionsannahme anwenden und erhalten (z

, w

, B) `

(z

, ε, ε) und (z

, w

, C) `

(z, ε, ε).

Ab¨ andern der 1. Konfigurationsfolge: C auf den Keller & w

anh¨ angen (z

, w

, BC) = (z

, w

w

, BC) `

(z

, w

, C).

Anh¨ angen der 2. Konfigurationsfolge liefert: (z

, w

, BC) `

(z, ε, ε).

Da (z

, BC) ∈ δ(z

, a, A), gilt

(z

, u, BC) = (z

, aw

, BC) `

(z

, w

, BC) `

(z, ε, ε).

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 37/57 CYK PDAs Det.CFLs Entscheidbarkeit

PDA → CFG (5)

” ⇐“:

Sei (z

, w, A) `

(z, ε, ε). Zeige hz

, A, zi ⇒

w mit Induktion ¨ uber i Basis i = 1: Dann gilt w = a ∈ (Σ ∪ {ε}) und (z, ε) ∈ δ(z

, w, A).

Damit gibt es hz

, A, zi → a ∈ P und daher hz

, A, zi ⇒

a.

Schritt: Sei i > 1 und daher (z

, aw

, A) ` (z

, w

, α) `

(z, ε, ε) f¨ ur i − 1 > 0, a ∈ Σ ∪ {ε} und α = ε, α = B oder α = BC.

Wir betrachten alle drei F¨ alle f¨ ur α einzeln:

α = ε: Dieser Fall ist nicht m¨ oglich, da i − 1 > 0 nicht gelten kann.

α = B. Dann ist hz

, A, zi → ahz

, B, zi ∈ P .

Da (z

, w

, B) `

(z, ε, ε), liefert Induktionsannahme hz

, B, zi ⇒

w

und daher: hz

, A, zi ⇒

ahz

, B, zi ⇒

aw

= w.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 38/57 CYK PDAs Det.CFLs Entscheidbarkeit

PDA → CFG (6)

. . .

α = BC. Dann ist hz

, A, zi → hz

, B, z

ihz

, C, zi ∈ P . Schreibe (z

, w

, BC) `

(z, ε, ε) als

(z

, w

w

, BC) `

(z

, w

, C ) `

(z, ε, ε) mit j + k = i − 1.

Weglassen von C und w

im ersten Teil zeigt:

(z

, w

, B) `

(z

, ε, ε),

Da j < i und k < i liefert Induktionsannahme hz

, B, z

i ⇒

w

und hz

, C, zi ⇒

w

. Daher gilt

hz

, A, zi ⇒

ahz

, B, z

ihz

, C, zi ⇒

aw

hz

, C, zi ⇒

aw

w

= w.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 39/57 CYK PDAs Det.CFLs Entscheidbarkeit

Geschafft...

Die gezeigten S¨ atze zusammengefasst ergeben:

Theorem

Kellerautomaten erkennen genau die kontextfreien Sprachen.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 40/57 CYK PDAs Det.CFLs Entscheidbarkeit

Bemerkung

Die bisherigen Beweise zeigen auch, dass man PDAs einschr¨ anken kann auf PDAs mit genau einem Zustand:

Sei M ein PDA.

Transformiere M in Grammatik G mit L(G) = L(M ) Transformiere G in G

in Greibach-Normalform (mit L(G

) = L(G) \ ε)

Transformiere Grammatik G

in PDA M

mit L(M

) = L(G) unsere Konstruktion verwendet nur einen Zustand!

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 41/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel

z

z

(#, a) : B#, (#, ε) : ε, (B, a) : BB

(B, b) : ε

(B, b) : ε, (#, ε) : ε

Der vorherige Beweis konstruiert die Grammatik G = (V, Σ, P, S) mit V = {S, hz

, B, z

i, hz

, B, z

i, hz

, B, z

i, hz

, B, z

i,

hz

, #, z

i, hz

, #, z

i, hz

, #, z

i, hz

, #, z

i}

P = {S → hz

, #, z

i, S → hz

, #, z

i.}

∪ {hz

, B, z

i → b, hz

, B, z

i → b, hz

, #, z

i → ε, hz

, #, z

i → ε}

∪ {hz

, #, z

i → ahz

, B, z

i, hz

, #, z

i → ahz

, B, z

i}

∪ {hz

, B, z

i → ahz

, B, z

ihz

, B, z

i, hz

, B, z

i → ahz

, B, z

ihz

, B, z

i, hz

, B, z

i → ahz

, B, z

ihz

, B, z

i, hz

, B, z

i → ahz

, B, z

ihz

, B, z

i}

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 42/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiel (2)

Vereinfachen der Grammatik ergibt:

{S → hz

, #, z

i | hz

, #, z

i, hz

, #, z

i → ε, hz

, #, z

i → ahz

, B, z

i, hz

, B, z

i → b | ahz

, B, z

ihz

, B, z

i, hz

, B, z

i → b}

Umbenennen, Streichen von nicht erreichbaren Variablen und Entfernen von Einheitsproduktionen ergibt

G = ({S, B, C}, {a, b}, {S → ε | aB, B → b | aBC, C → b}, S) (ist bis auf ε-Produktion in Greibach-NF.)

Beispiel (3)

Der vorherige Beweis konstruiert f¨ ur

G = ({S, B, C }, {a, b}, {S → ε | aB, B → b | aBC, C → b}, S)

den PDA M = ({z

}, Σ, Σ ∪ V, δ, z

, S) mit

δ(z

, a, S) = {(z

, B)} δ(z

, b, B) = {(z

, ε)} δ(z

, a, B) = {(z

, BC)}

δ(z

, b, C ) = {(z

, ε)} δ(z

, ε, S ) = {(z

, ε)} δ(z

, d, A) = ∅ sonst Eine Konfigurationsfolge f¨ ur die Eingabe aaabbb ist

(z

, aaabbb, S)

` (z

, aabbb, B)

` (z

, abbb, BC)

` (z

, bbb, BCC)

` (z

, bb, CC)

` (z

, b, C)

` (z

, ε, ε)

Deterministisch kontextfreie Sprachen

Definiert durch deterministische Kellerautomaten mit Akzeptanz durch Endzust¨ ande.

ε- ¨ Uberg¨ ange sind erlaubt, aber nur wenn es keinen anderen

Ubergang (mit einem Terminalzeichen und selben Kellersymbol) gibt. ¨ Definition (Deterministischer Kellerautomat, DPDA)

Ein Kellerautomat mit Endzust¨ anden M = (Z, Σ, Γ, δ, z

, #, E) ist deterministisch (ein DPDA) wenn f¨ ur alle (z, a, A) ∈ (Z, Σ, Γ) gilt:

|δ(z, a, A)| + |δ(z, ε, A)| ≤ 1.

Die von DPDAs akzeptierten Sprachen heißen deterministisch kontextfrei.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 45/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiele (1)

Satz

Die Sprache L = {w$w | w ∈ {a, b}

} ist deterministisch kontextfrei.

Beweis: Betrachte den DPDA

M = ({z

, z

, z

}, {a, b, $}, {#, A, B}, δ, z

, #, {z

}) mit δ(z

, a, #) = {(z

, A#)}

δ(z

, b, #) = {(z

, B#)}

δ(z

, a, A) = {(z

, AA)}

δ(z

, b, A) = {(z

, BA)}

δ(z

, a, B) = {(z

, AB)}

δ(z

, b, B) = {(z

, BB)}

δ(z

, $, A) = {(z

, A)}

δ(z

, $, B ) = {(z

, B )}

δ(z

, $, #) = {(z

, #)}

δ(z

, a, A) = {(z

, ε)}

δ(z

, b, B) = {(z

, ε)}

δ(z

, ε, #) = {(z

, ε)}

und δ(z

, c, C) = ∅ sonst

Beachte: L = {ww | w ∈ {a, b}

} ist nicht deterministisch kontextfrei aber kontextfrei

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 46/57 CYK PDAs Det.CFLs Entscheidbarkeit

Beispiele (2)

Satz

Die Sprache L = {a

b

| i ∈ N

} ist deterministisch kontextfrei.

Beweis: Betrachte den DPDA

M = ({z

, z

, z

}, {a, b}, {#, A}, δ, z

, #, {z

}) mit δ(z

, a, #) = {(z

, A#)}

δ(z

, a, A) = {(z

, AA)}

δ(z

, b, A) = {(z

, ε)}

δ(z

, b, A) = {(z

, ε)}

δ(z

, ε, #) = {(z

, ε)}

und δ(z

, c, B) = ∅, sonst

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 47/57 CYK PDAs Det.CFLs Entscheidbarkeit

Eigenschaften von deterministisch kontextfreien Sprachen

Theorem (Eigenschaften determin. kontextfreier Sprachen)

1

Das Wortproblem f¨ ur deterministisch kontextfreie Sprachen kann in Linearzeit entschieden werden.

2

F¨ ur deterministisch kontextfreie Sprachen gibt es eindeutige Grammatiken.

3

Deterministisch kontextfreie Sprachen sind unter Komplementbildung abgeschlossen.

Beweis: siehe Literatur

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 48/57 CYK PDAs Det.CFLs Entscheidbarkeit

Weitere Eigenschaften

Satz

Deterministisch kontextfreie Sprachen sind nicht abgeschlossen bez¨ uglich Vereinigung und Schnitt.

Beweis: i) Schnittbildung:

Die Sprachen L

= {a

b

c

| n, m ∈ N

} und

L

= {a

b

c

| n, m ∈ N

} sind deterministisch kontextfrei L

∩ L

= {a

b

c

| n ∈ N

} ist nicht kontextfrei.

ii) Vereinigung:

L ∩ L

= L ∪ L

Annahme: Det. CFLs abgeschlossen bez. Vereinigung Da Det. CFLs auch abgeschlossen bez. Komplement, folgt:

Det. CLFs abgeschlossen bez. Schnitt. Widerspruch!

D.h. Annahme falsch, Det. CFLs nicht abgeschlossen bez. ∪.

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 49/57 CYK PDAs Det.CFLs Entscheidbarkeit

Weitere Eigenschaften (2)

Satz

Der Schnitt einer (deterministisch) kontextfreien Sprachen mit einer regul¨ aren Sprache ist (deterministisch) kontextfrei.

Beweis: Sei M = (Z, Σ, Γ, δ, z

, #, E ) ein PDA mit Endzust¨ anden und M

= (Z

, Σ, δ

, z

, E

) ein DFA. Konstruiere PDA mit Endzust¨ anden:

M

= (Z × Z

, Σ, δ

, (z

, z

), #, E × E

) mit (z

, z

, B

· · · B

) ∈ δ

((z

, z

), a, A) falls

(z

, B

· · · B

) ∈ δ(z

, a, A) und δ

(z

, a) = z

und

(z

, z

, B

· · · B

) ∈ δ

((z

, z

), ε, A) falls (z

, B

· · · B

) ∈ δ(z

, ε, A).

Es gilt:

L(M

) = L(M ) ∩ L(M

), denn M

simuliert M und M

gleichzeitig, und akzeptiert nur, wenn beide Automaten akzeptieren.

M

ist deterministisch, wenn M deterministisch ist.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 50/57 CYK PDAs Det.CFLs Entscheidbarkeit

Entscheidbarkeitsfragen f¨ ur CFLs

CYK-Algorithmus zeigt: Das Wortproblem f¨ ur kontextfreie Grammatiken ist effizient entscheidbar.

Viele Fragestellungen sind f¨ ur CFLs unentscheidbar (z.B. das ¨ Aquivalenzproblem und das Schnittproblem) Wir betrachten weitere Entscheidungsprobleme

Leerheitsproblem

Satz

Das Leerheitsproblem f¨ ur kontextfreie Grammatiken ist entscheidbar.

Beweis:

Sei L als CFG gegeben

Pr¨ ufe zun¨ achst, ob ε ∈ L (wenn ja, dann ist L nicht leer) Sei G = (V, Σ, P, S) eine CFG in Chomsky-NF mit L(G) = L \ {ε}.

Der folgende Algorithmus markiert alle A ∈ V mit {w ∈ Σ

| A ⇒

w} 6= ∅

Pr¨ ufe, ob S markiert wird (wenn ja, dann ist L nicht-leer)

Algorithmus 9: Markierung der Variablen, die nichtleere Sprachen erzeugen

Eingabe: Grammatik G = (V, Σ, P, S) in Chomsky-Normalform Ausgabe: Menge W ⊆ V aller Variablen, die nicht die leere

Sprache erzeugen Beginn

W := {A ∈ V | A → a ∈ P, a ∈ Σ};

wiederhole W

:= W ;

W := W

∪ {A | A → BC ∈ P, B ∈ W

, C ∈ W

};

bis W = W

; return W

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 53/57 CYK PDAs Det.CFLs Entscheidbarkeit

Endlichkeitsproblem

Satz

Das Endlichkeitsproblem f¨ ur kontextfreie Sprachen ist entscheidbar.

Beweis: Sei G = (V, Σ, P, S ) eine CFG in Chomsky-NF. Sei n die Zahl aus dem Pumping-Lemma f¨ ur CFGs (z.B. n = 2

siehe Beweis Pumping-L.).

Wir zeigen zun¨ achst: Es gilt |L(G)| = ∞ g.d.w. es ein Wort z ∈ L(G) mit n ≤ |z| < 2n gibt:

” ⇐“:

Sei z ∈ L mit |z| ≥ n.

Pumping-Lemma zeigt: uv

wx

y ∈ L f¨ ur alle i ∈ N . Also L(G)| = ∞

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 54/57 CYK PDAs Det.CFLs Entscheidbarkeit

Endlichkeitsproblem (2)

. . .

Wir zeigen zun¨ achst: Es gilt |L(G)| = ∞ g.d.w. es ein Wort z ∈ L(G) mit n ≤ |z| < 2n gibt:

” ⇒“:

Beweis durch Widerspruch

Annahme: Es gibt kein Wort z ∈ L(G) f¨ ur n ≤ |z| < 2n, aber trotzdem gilt |L(G)| = ∞.

Sei z ∈ L(G) das k¨ urzeste Wort mit |z| ≥ 2n.

Pumping-Lemma: Es gibt u, v, w, x, y gibt mit z = uvwxy, |vx| > 0 und |vwx| ≤ n, sodass insbes. uv

wx

y ∈ L gilt.

Da |uv

wx

y| = |uwy| < |uvwxy| und |uwy| ≥ n gilt, war z nicht minimal gew¨ ahlt. Widerspruch!

Entscheide Endlichkeitsproblem: Teste f¨ ur alle Worte w ∈ Σ

, der L¨ ange n ≤ |w| < 2n, ob w ∈ L(G) gilt (mit CYK-Algorithmus).

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 55/57 CYK PDAs Det.CFLs Entscheidbarkeit

Weiteres Entscheidbarkeitsproblem

Das Problem, ob eine deterministisch kontextfreie Sprache

¨ aquivalent zu einer regul¨ aren Sprache ist, ist entscheidbar.

Sei L

durch DPDA gegeben und L

durch einen DFA.

Pr¨ ufe L

∩ L

= ∅ und L

∩ L

= ∅

Beides ist entscheidbar, da DPDAs und DFAs abgeschlossen unter Komplementbildung, Schnittbildung zwischen DPDA und DFA durch DPDA konstruierbar ist und Leerheitsproblem f¨ ur CFLs entscheidbar ist

L

∩ L

= ∅ impliziert L

⊆ L

Daher ist V

(i,j)∈{(1,2),(2,1)}

L

∩ L

= ∅ ¨ aquivalent zu L

= L

.

TCS | 05 Kontextfreie Sprachen (II)| SoSe 2019 56/57 CYK PDAs Det.CFLs Entscheidbarkeit

Zusammenfassung

CYK-Algorithmus: w ∈ L(G) in O(n

) f¨ ur CFGs G in Chomsky-NF entscheiden.

Kellerautomaten erkennen genau die CFLs Deterministisch kontextfreie Sprachen (DPDAs) Entscheidbarkeitsresultate f¨ ur kontextfreie Sprachen

TCS | 05 Kontextfreie Sprachen (II) | SoSe 2019 57/57 CYK PDAs Det.CFLs Entscheidbarkeit