Topdown Parsing Idee:

2.4 Topdown Parsing

Idee:

• Benutze den Item-Kellerautomaten.

• Benutze die nächsten k Zeichen, um die Regeln für die Expansionen zu bestimmen ;-)

• Eine Grammatik heißt LL(k) , falls dies immer eindeutig möglich ist.

Wir definieren:

Eine reduzierte Grammatik heißt dann LL(k), falls für je zwei verschiedene Regeln A → α _{, A} → α^′ ∈ P und jede Ableitung S →^∗_L u Aβ _mit u ∈ T^∗ gilt:

First_k(α β) ∩ ^First_k(α^′β) = ∅

2.4 Topdown Parsing

Idee:

• Benutze den Item-Kellerautomaten.

• Benutze die nächsten k Zeichen, um die Regeln für die Expansionen zu bestimmen ;-)

• Eine Grammatik heißt LL(k) , falls dies immer eindeutig möglich ist.

Wir definieren:

Eine reduzierte Grammatik heißt dann LL(k), falls für je zwei verschiedene Regeln A→α _, A→α^′ ∈ P und jede Ableitung S →^∗_L u Aβ _mit u ∈ T^∗ gilt:

First_k(α β) ∩ ^First_k(α^′β) = ∅

Beispiel 1:

S → ^if ( E ) S else S | while ( E ) S |

E; E → ^id

ist LL(1), da First

k(E) = {^id} :-)

Beispiel 2:

S → ^if ( E ) S else S | if ( E ) S |

while ( E ) S |

E; E → ^id

... ist nicht LL(k) für jedes k > _0.

Struktur des LL ( k ) -Parsers:

δ

M

Ausgabe

• Der Parser sieht ein Fenster der Länge k der Eingabe;

• er realisiert im Wesentlichen den Item-Kellerautomaten;

• die Tabelle M[q,w] enthält die jeweils zuwählende Regel :-)

... im Beispiel:

S → ^if ( E ) S else S ⁰ | while ( E ) S ¹ |

E; ² E → ^id0

Zustände: Items

Tabelle:

if while id

[. . . → . . .• S. . .] 0 1 2 [. . . → . . . • E. . .] − − 0

Im Allgemeinen ...

• ist die Menge der möglichen nächsten k Zeichen gegeben durch:

First_k(α β) = ^First_k(α) ⊙ ^First_k(β) wobei:

(1) α die rechte Seite der passenden Regel;

(2) β ein möglicher rechter Kontext von A ist :-)

• First_k(β) müssen wir dynamisch akkumulieren.

==⇒ Wir erweitern Items um Vorausschau-Mengen ...

Ein erweitertes Item ist ein Paar: [A→α •γ_, L] (A→α γ ∈ P, L ⊆ T^≤k) Die Menge L benutzen wir, um First

k(β) für den rechten Kontext β von A zu repräsentieren :-)

Konstruktion:

Zustände: erweiterte Items Anfangszustand: [S^′ → •S, {ǫ}]

Endzustand: [S^′ → S •, {ǫ}]

Übergänge:

Expansionen: ([A → α • Bβ_{, L}],ǫ_, [A → α • Bβ _{, L}] [B →

•γ, First

k(β) ⊙ L ])

Shifts: ([A → α • aβ_{, L}], a, [A → α _a • β_{, L}]) für A → α _aβ ∈ P

Ein erweitertes Item ist ein Paar: [A→α •γ_, L] (A→α γ ∈ P, L ⊆ T^≤k) Die Menge L benutzen wir, um First

k(β) für den rechten Kontext β von A zu repräsentieren :-)

Konstruktion:

Zustände: erweiterte Items Anfangszustand: [S^′ → • S, {ǫ}]

Endzustand: [S^′ → S•, {ǫ}]

Übergänge:

Expansionen: ([A → α • Bβ_{, L}],ǫ_, [A → α • Bβ _{, L}] [B →

•γ, First

k(β) ⊙ L ])

Shifts: ([A → α • aβ_{, L}], a, [A → α _a • β_{, L}]) für A → α _aβ ∈ P

Ein erweitertes Item ist ein Paar: [A→α •γ_{, L}] (A→α γ ∈ P, L ⊆ T^≤k) Die Menge L benutzen wir, um First_k(β) für den rechten Kontext β von A zu repräsentieren :-)

Konstruktion:

Zustände: erweiterte Items Anfangszustand: [S^′ → • _S, {ǫ}]

Endzustand: [S^′ → S•, {ǫ}]

Übergänge:

Expansionen: ([A→α • Bβ, L],ǫ,[A→α • Bβ, L] [B→ •γ, First_k(β) ⊙ L ]) für A → α Bβ_, B→γ ∈ P

Shifts: ([A→α • aβ, L], a,[A→α a •β, L]) für A→α aβ ∈ P Reduce: ([A→α • Bβ, L] [B→γ•, L^′],ǫ,[A→α B• β, L]) für

A→α _Bβ_{, B}→γ ∈ P

A₀ i₀

A₂ i₂ A₁ i₁

γ

β₁

β₂

B i β

Die Vorausschau-Tabelle:

Wir setzen M[ [A→α • Bβ_, L], w] = i genau dann wenn (B,i) die Regel B→γ _{ist und: w} ∈ ^First_k(γ) ⊙ ^First_k(β) ⊙ L

([A₀ → •α₁ A₁β_1, L₁], uv) ⊢^∗ ([A₀ →α₁ • A₁β_1, L₁] . . .[A_m−1 →α_m • A_m β_m, L_m], v)

⊢^∗ ([A₀ →α₁ A₁ β₁•_, L₁], ǫ) ... gilt genau dann wenn:

(1) α_{1 . . .}α_m →^∗ u (2) A_mβ_{m . . .}β₁ →^∗ v

(3) L_m = ^First_k(β_m−1) ⊙ . . .⊙ ^First_k(β₁) ⊙ L₁

A₀ i₀

A₂ i₂ A₁ i₁

γ

β₁

β₂

A_m i_m β_m

Satz

Die reduzierte kontextfreie Grammatik G ist LL(k) genau dann wenn die k-Vorausschau-Tabelle für alle benötigten erweiterten Items wohl-definiert ist.

Diskussion:

• Der erweiterte Item-Kellerautomat zusammen mit einer

k-Vorausschau-Tabelle erlaubt die deterministische Rekonstruktion einer Links-Ableitung :-)

• Die Anzahl der Vorausschau-Mengen L kann sehr groß sein :-(

• ...

Beispiel:

Die Übergänge des erweiterten Item-Kellerautomat (k = 1) :

0 [S^′ → • S,{^ǫ}] ^ǫ [S^′ → • S,{^ǫ}] [S→•,{^ǫ}]

1 [S^′ → • S,{^ǫ}] ^ǫ [S^′ → • S,{^ǫ}] [S→ • aSb,{^ǫ}]

2 [S→ • aSb,{ǫ}] a [S→a• Sb,{ǫ}]

[S→ • aSb,{b}] a [S→a• Sb,{b}]

3 [S→a• Sb,{^ǫ}] ^ǫ [S→a• Sb,{^ǫ}] [S→•,{b}]

[S→a• Sb,{b}] ^ǫ [S→a• Sb,{b}] [S→•,{b}]

4 [S→a• Sb.{ǫ}] ǫ [S→a• Sb.{ǫ}] [S→ • aSb,{b}]

[S→a• Sb.{b}] ǫ [S→a• Sb.{b}] [S→ • aSb,{b}]

5 [S→a• Sb,{^ǫ}] [S→•,{b}] ^ǫ [S→aS•b,{^ǫ}]

[S→a• Sb,{b}] [S→•,{b}] ^ǫ [S→aS•b,{b}]

. . . . . .

. . . . . . 6 [S→a• Sb,{^ǫ}] [S→a Sb•,{b}] ^ǫ [S→aS• b,{^ǫ}]

[S→a• Sb,{b}] [S→a Sb•,{b}] ^ǫ [S→aS• b,{b}]

7 [S→aS•b,{^ǫ}] b [S→aSb•,{^ǫ}]

[S→aS•b,{b}] b [S→aSb•,{b}]

8 [S^′ → • S,{ǫ}] [S→•,{ǫ}] ǫ [S^′ →S•,{ǫ}]

9 [S^′ → • S,{^ǫ}] [S→a Sb•,{^ǫ}] ^ǫ [S^′ →S•,{^ǫ}]

Die Vorausschau-Tabelle:

ǫ a b

[S^′ → • S,{ǫ}] 0 1 − [S→a • Sb,{ǫ}] − 1 0 [S→a • Sb,{b}] − 1 0

Beobachtung:

• Die auszuwählende Regel hängt hier ja gar nicht von den Erweiterungen der Items ab !!!

• Unter dieser Voraussetzung können wir den Item-Kellerautomaten ohne Erweiterung benutzen :-)

• Hängt die auszuwählende Regel nur von der aktuellen Vorausschau w ab, nennen wir G auch stark LL(k) ...

Wir definieren:

Die reduzierte kontextfreie Grammatik G heißt stark LL(k), falls für je zwei verschiedene A → α _{, A} → α^′ ∈ P :

First_k(α) ⊙ ^Follow_k(A) ∩ ^First_k(α^′) ⊙ ^Follow_k(A) = ∅

Beobachtung:

• Die auszuwählende Regel hängt hier ja gar nicht von den Erweiterungen der Items ab !!!

• Unter dieser Voraussetzung können wir den Item-Kellerautomaten ohne Erweiterung benutzen :-)

• Hängt die auszuwählende Regel nur von der aktuellen Vorausschau w ab, nennen wir G auch stark LL(k) ...

Wir definieren:

Die reduzierte kontextfreie Grammatik G heißt stark LL(k), falls für je zwei verschiedene A → α _{, A} → α^′ ∈ P :

First_k(α) ⊙ ^Follow_k(A) ∩ ^First_k(α^′) ⊙ ^Follow_k(A) = ∅

Beobachtung:

• Die auszuwählende Regel hängt hier ja gar nicht von den Erweiterungen der Items ab !!!

• Unter dieser Voraussetzung können wir den Item-Kellerautomaten ohne Erweiterung benutzen :-)

• Hängt die auszuwählende Regel nur von der aktuellen Vorausschau w ab, nennen wir G auch stark LL(k) ...

Wir definieren:

Die reduzierte kontextfreie Grammatik G heißt stark LL(k), falls für je zwei verschiedene A→α _{, A}→α^′ ∈ P :

First_k(α) ⊙ ^Follow_k(A) ∩ ^First_k(α^′) ⊙ ^Follow_k(A) = ∅

... im Beispiel:

Follow₁(S) = {ǫ,b}

First₁(ǫ) ⊙ ^Follow₁(S) = {ǫ} ⊙ {ǫ_, b} = {ǫ_, b} First₁(a Sb) ⊙ ^Follow₁(S) = {a} ⊙ {ǫ_,b} = {a}

Wir schließen:

Ist G eine starke LL(k)-Grammatik, können wir die Vorausschau-Tabelle statt mit (erweiterten) Items mit Nichtterminalen indizieren :-)

Wir setzen M[B, w] = i genau dann wenn (B,i) die Regel B→γ ist und: w ∈ ^First_k(γ) ⊙ ^Follow_k(B) .

... im Beispiel:

ǫ _{a b}

S 0 1 0

Satz

• Jede starke LL(k)-Grammatik ist auch LL(k) :-)

• Jede LL(1)-Grammatik ist bereits stark LL(1) :-))

Ist G eine starke LL(k)-Grammatik, können wir die Vorausschau-Tabelle statt mit (erweiterten) Items mit Nichtterminalen indizieren :-)

Wir setzen M[B, w] = i genau dann wenn (B,i) die Regel B→γ ist und: w ∈ ^First_k(γ) ⊙ ^Follow_k(B) .

... im Beispiel:

ǫ _{a b}

S 0 1 0

Satz

• Jede starke LL(k)-Grammatik ist auch LL(k) :-)

• Jede LL(1)-Grammatik ist bereits stark LL(1) :-))

Beweis:

Sei G stark LL(k).

Betrachte eine Ableitung S→^∗_L u Aβ _{und Regeln} A→α_, A→α^′ ∈ P.

Dann haben wir:

First_k(α β) ∩ ^First_k(α^′ β) = ^First_k(α) ⊙ ^First_k(β) ∩ ^First_k(α^′) ⊙ ^First_k(β)

⊆ ^First_k(α) ⊙ ^Follow_k(A) ∩ ^First_k(α^′) ⊙ ^Follow_k(A)

= ∅

Folglich ist G auch LL(k) :-)

Sei G LL(1).

Betrachte zwei verschiedene Regeln A→α _, A→α^′ ∈ P.

Fall 1: ǫ ∈ ^First₁(α) ∩ ^First₁(α^′) .

Dann kann G nicht LL(1) sein :-)

Sei G LL(1).

Betrachte zwei verschiedene Regeln A→α _{, A}→α^′ ∈ P.

Fall 1: ǫ ∈ ^First₁(α) ∩ ^First₁(α^′) .

Dann kann G nicht LL(1) sein :-)

Fall 2: ǫ 6∈ ^First₁(α) ∪ ^First₁(α^′) .

Sei S →^∗_L u Aβ _{. Da G LL}(1) ist, gilt:

First₁(α) ⊙ ^Follow₁(A) ∩ ^First₁(α^′) ⊙ ^Follow₁(A)

= ^First₁(α) ∩ ^First₁(α^′)

= ^First₁(α) ⊙ ^First₁(β) ∩ ^First₁(α^′) ⊙ ^First₁(β)

= ∅

Fall 3: ǫ ∈ ^First₁(α) und ǫ 6∈ ^First₁(α^′) . Dann gilt:

First₁(α) ⊙ ^Follow₁(A) ∩ ^First₁(α^′) ⊙ ^Follow₁(A)

= ^First₁(α) ⊙ ^Follow₁(A) ∩ ^First₁(α^′)

= ^First₁(α) ⊙ (^S{^First₁(β) | S→^∗_L u Aβ}) ∩ ^First₁(α^′)

= (^S{^First₁(α) ⊙ ^First₁(β) | S→^∗_L u Aβ}) ∩ ^First₁(α^′)

= ^S{^First₁(α) ⊙ ^First₁(β) ∩ ^First₁(α^′) | S→^∗_L u Aβ}

= ^S{∅ | S→^∗_L u Aβ}

= ∅

Fall 4: ǫ 6∈ ^First₁(α) und ǫ ∈ ^First₁(α^′) : analog :-)

Fall 3: ǫ ∈ ^First₁(α) und ǫ 6∈ ^First₁(α^′) . Dann gilt:

First₁(α) ⊙ ^Follow₁(A) ∩ ^First₁(α^′) ⊙ ^Follow₁(A)

= ^First₁(α) ⊙ ^Follow₁(A) ∩ ^First₁(α^′)

= ^First₁(α) ⊙ (^S{^First₁(β) | S→^∗_L u Aβ}) ∩ ^First₁(α^′)

= (^S{^First₁(α) ⊙ ^First₁(β) | S→^∗_L u Aβ}) ∩ ^First₁(α^′)

= ^S{^First₁(α) ⊙ ^First₁(β) ∩ ^First₁(α^′) | S→^∗_L u Aβ}

= ^S{∅ | S→^∗_L u Aβ}

= ∅

Fall 4: ǫ 6∈ ^First₁(α) und ǫ ∈ ^First₁(α^′) : analog :-)

Beispiel:

S → a Aa a⁰ | b Ab a¹ A → b⁰ | ǫ¹

Offenbar ist die Grammatik LL(2) :-) Andererseits gilt:

First₂(b) ⊙ ^Follow₂(A) ∩ ^First₂(ǫ) ⊙ ^Follow₂(A)

= {b} ⊙ {a a, b a} ∩ {ǫ} ⊙ {a a, b a}

= {b a, b b} ∩ {a a, b a} 6= ∅

Folglich ist die Grammatik nicht stark LL(2) :-(

Wir schließen:

• Für k > 1 ist nicht jede LL(k)-Grammatik automatisch stark LL(k).

• Zu jeder LL(k)-Grammatik kann jedoch eine äquivalente starke LL(k)-Grammatik konstruiert werden RR Übung!

Beispiel:

S → a Aa a⁰ | b Ab a¹ A → b⁰ | ǫ¹

Offenbar ist die Grammatik LL(2) :-) Andererseits gilt:

First₂(b) ⊙ ^Follow₂(A) ∩ ^First₂(ǫ) ⊙ ^Follow₂(A)

= {b} ⊙ {a a, b a} ∩ {ǫ} ⊙ {a a, b a}

= {b a, b b} ∩ {a a, b a} 6= ∅

Folglich ist die Grammatik nicht stark LL(2) :-(

Wir schließen:

• Für k > 1 ist nicht jede LL(k)-Grammatik automatisch stark LL(k).

• Zu jeder LL(k)-Grammatik kann jedoch eine äquivalente starke LL(k)-Grammatik konstruiert werden ==⇒ _Übung!

Berechnung von Follow

( B ) :

A₂ i₂

A₁ i₁ β₁ β₂

A i_m S i₀

α

β_m

B

Follow_k(B)

Follow_k(A)

Berechnung von Follow

( B ) :

Idee:

• Wir stellen ein Ungleichungssystem auf :-)

• ǫ ist ein möglicher rechter Kontext von S :-)

• Mögliche rechte Kontexte der linken Seite einer Regel propagieren wir ans Ende jeder rechten Seite ...

... im Beispiel:

Follow_k(S) ⊇ {ǫ}

Follow

k(S) ⊇ {b} ⊙ ^Follow_k(S)