Dozentin:WiebkePetersen13.Foliensatz EinführungindieComputerlinguistikFormaleGrammatikenrechtslineareundkontextfreieGrammatikenKellerautomaten

(1)

formale Grammatik rechtslineare Grammatik kontextfreie Grammatik Kellerautomaten

Einführung in die Computerlinguistik Formale Grammatiken

rechtslineare und kontextfreie Grammatiken Kellerautomaten

Dozentin: Wiebke Petersen

13. Foliensatz

(2)

Formale Grammatik

Denition

Eineformale Grammatikist ein 4-Tupel G = (N,T,S,P)aus einem Alphabet von Terminalsymbolen T (häug auchΣ) einem Alphabet von Nichtterminalsymbolen N mit N∩T =∅ einem Startsymbol S∈N

einer Menge von Regeln/Produktionen P⊆ {hα, βi |α, β∈(N∪T)^∗undα6∈T^∗}.

Für eine Regelhα, βischreiben wir auchα→β.

S → NP VP VP → V NP → D N

D → the N → cat V → sleeps

Generiert: the cat sleeps

Konvention: Wir verwenden Groÿbuchstaben für Nichtterminalsymbole und Kleinbuchstaben für Terminalsymbole

Wiebke Petersen Einführung CL 2

(3)

Terminologie

G =h{S,NP,VP,V,D,N,EN},{the, cat, peter, chases},S,Pi P=







S → NP VP VP → V NP NP → D N

NP → EN D → the N → cat

EN → peter V → chases







NP VP istin einem Schrittaus S ableitbar the cat chases peter istableitbaraus S: Ableitung:

S →NP VP →NP V NP →NP V EN

→NP V peter →NP chases peter →D N chases peter

→D cat chases peter → the cat chases peter

Die Menge aller aus dem Startsymbol S ableitbarer Wörter ist die von der Grammatik G erzeugte SpracheL(G).

L(G) =

the cat chases peter, peter chases the cat, peter chases peter, the cat chases the cat

(4)

Terminologie











 NP VP istin einem Schrittaus S ableitbar

the cat chases peter istableitbaraus S: Ableitung:

L(G) =

(5)

Terminologie











the cat chases peter istableitbaraus S:

Ableitung:

L(G) =

(6)

Terminologie











the cat chases peter istableitbaraus S:

Ableitung:

L(G) =

(7)

rechtslineare Grammatiken

Denition

Eine Grammatik(N,T,S,P)heiÿtrechtslinear, wenn alle Regeln/Produktionen die folgende Form haben:

A→a oder A→aB wobei a∈T∪ {ε}und A,B∈N.

Eine durch eine rechtslineare Grammatik erzeugte Sprache heiÿt rechtslinear.

(Vorsicht, häug werden schärfere [aber äquivalente] Bedingungen gefordert!)

Beispiel:

G = ({S,B},{a,b},S,P)mit P=











S → a S

S → a B

B → b B

B → b









 G generiert L(G) =L(a⁺b⁺)

SZZ

a S

ZZ

a B

ll ,,

b B

@@

b B

SS

b B

b

Ableitungsbaum (aabbbb∈L(G))

(8)

rechtslineare Grammatiken

Denition

Eine Grammatik(N,T,S,P)heiÿtrechtslinear, wenn alle Regeln/Produktionen die folgende Form haben:

A→a oder A→aB wobei a∈T∪ {ε}und A,B∈N.

Eine durch eine rechtslineare Grammatik erzeugte Sprache heiÿt rechtslinear.

(Vorsicht, häug werden schärfere [aber äquivalente] Bedingungen gefordert!)

Beispiel:

G = ({S,B},{a,b},S,P)mit P=











S → a S

S → a B

B → b B

B → b









 G generiert L(G) =L(a⁺b⁺)

SZZ

a S

ZZ

a B

ll ,,

b B

@@

b B

SS

b B

b

Ableitungsbaum (aabbbb∈L(G))

(9)

rechtslineare Grammatiken und reguläre Sprachen

Theorem

Sei L eine formale Sprache, dann sind die folgenden Aussagen äquivalent:

1 L ist regulär.

2 Es gibt eine rechtslineare Grammatik G, die L erzeugt.

3 Es gibt einen endlichen Automaten A, der L akzteptiert.

4 Es gibt einen regulären Ausdruck R, der L beschreibt.

rechtslineare Grammatik: endlicher Automat: regulärer Ausdruck:

G= ({S,B},{a,b},S,P)mit P=











S → a S

S → a B

B → b B

B → b











a⁺b⁺

(10)

Zusammenfassung: reguläre Sprachen

(11)

kontextfreie Grammatik

Denition

Eine Grammatik(N,T,S,P)heiÿt kontextfrei, wenn alle Regeln/Produktionen die folgende Form haben:

A→α, wobei A∈N und α∈(T ∪N)^∗. Eine durch eine kontextfreie Grammatik erzeugte Sprache heiÿt kontextfrei.

Die Menge der kontextfreien Sprachen ist eine echte Obermenge der Menge der regulären Sprachen

Beweis: Jede reguläre Sprache ist per Denition auch kontextfrei und es gibt mindestens eine kontextfreie Sprache, nämlich L(aⁿbⁿ) mit n≥0, die nicht regulär ist. (S →aSb,S →ε)

(12)

kontextfreie Grammatik

Denition

(13)

kontextfreie Grammatik

Denition

(14)

Ableitungsbaum

S

NP

D the

N cat

VP

V chases

NP EN peter

(15)

Beispiel einer kontextfreien Sprache

G =h{S,A,B,C},{a,b,c},S,Pi P=







S → ASB S → C

A → a B → b

C → cC C → ε







Shhhhhhhh ((

(( (( (( A a

SXXXXXX

A a

SPPPP A a

S C

@@

c C

SS

c C

ε B b

B b

Übung: Welche Sprache generiert diese Grammatik? Können Sie eine äquivalente Grammatik angeben, die mit weniger Nichtterminalsymbolen auskommt?

(16)

Beispiel einer kontextfreien Sprache

G =h{S,A,B,C},{a,b,c},S,Pi P=







S → ASB S → C

A → a B → b

C → cC C → ε





 Shhhhhhhh ((

(( (( (( A a

SXXXXXX

A a

SPPPP A a

S C

@@

c C

SS

c C

ε B b

B b

Übung: Welche Sprache generiert diese Grammatik? Können Sie eine äquivalente Grammatik angeben, die mit weniger Nichtterminalsymbolen auskommt?

(17)

Linksableitung

Gegeben eine kontextfreie Grammatik G. Eine Ableitung bei der stets das am weitesten links stehende nichtterminale Symbol ersetzt wird, heiÿtLinksableitung

S →NP VP →D N VP →the N VP

→the cat VP →the cat V NP →the cat chases NP

→the cat chases EN → the cat chases peter

S

NP

D the

N cat

VP

V chases

NP EN peter

Zu jeder Linksableitung gibt es genau einen Ableitungsbaum und zu jedem Ableitungsbaum gibt es genau eine Linksableitung.

(18)

Linksableitung

Gegeben eine kontextfreie Grammatik G. Eine Ableitung bei der stets das am weitesten links stehende nichtterminale Symbol ersetzt wird, heiÿtLinksableitung

S →NP VP →D N VP →the N VP

→the cat VP →the cat V NP →the cat chases NP

→the cat chases EN → the cat chases peter S

NP

D the

N cat

VP

V chases

NP EN peter

Zu jeder Linksableitung gibt es genau einen Ableitungsbaum und zu jedem Ableitungsbaum gibt es genau eine Linksableitung.

(19)

ambige Grammatik

Eine Grammatik G heiÿtambig, wenn es für ein Wort w ∈L(G)mehr als eine Linksableitung gibt.

G= (N,T,NP,P)mit N={S,EN,NP,VP,PP,D,N,P}, T={Eva,sieht,den,Mann,mit,dem,Fernglas},

P=











S → EN VP VP → V NP VP → V NP PP

NP → D N NP → D N PP PP → P NP

EN → Eva P → mit V → sieht

D → den D → dem N → Mann

N → Fernglas











Beispiel einer ambigen Grammatik

G= (N, T,NP, P)mitN={S,EN,NP,VP,PP,D,N,P}, T={Eva,sieht,den,Mann,mit,dem,Fernglas},

P=











N → Fernglas









 S_XXXX

XXX

EN

Eva

VP_`````

, ````

V ,

sieht NPZZZ

D den

N Mann

PP_HH

HH

P

mit NP_b

"bb

"

D dem

N Fernglas

S_PPP

PP

EN Eva

VP_PPP

PPP

V

sieht

NP_XXXX

XXX

D

den N Mann

PP_HH

HH

P

mit NP_b

" bb

"

D dem

N Fernglas

Wiebke Petersen – Formale Komplexit¨at nat¨urlicher Sprachen – WS 03/04 7

(20)

ambige Grammatik

Eine Grammatik G heiÿtambig, wenn es für ein Wort w ∈L(G)mehr als eine Linksableitung gibt.

G= (N,T,NP,P)mit N={S,EN,NP,VP,PP,D,N,P}, T={Eva,sieht,den,Mann,mit,dem,Fernglas},

P=











N → Fernglas











Beispiel einer ambigen Grammatik

G= (N, T,NP, P)mitN={S,EN,NP,VP,PP,D,N,P}, T={Eva,sieht,den,Mann,mit,dem,Fernglas},

P=











N → Fernglas









 S_XXXX

XXX

EN

Eva

VP_`````

, ````

V ,

sieht NP_Z

ZZ

D

den N Mann

PP_HH

HH

P

mit NP_b

"bb

"

D dem

N Fernglas

S_PPP

PP

EN Eva

VP_PPP

PPP

V

sieht

NP_XXXX

XXX

D

den N Mann

PP_HH

HH

P

mit NP_b

"bb

"

D dem

N Fernglas

Wiebke Petersen – Formale Komplexit¨at nat¨urlicher Sprachen – WS 03/04 7

(21)

Kellerautomaten

Ziel: Automatenmodell mit dem genau die kontextfreien Sprachen akzeptiert werden können (analog zu endlichen Automaten und regulären Sprachen).

Lösung: Hinzunahme eines unbeschränkten Speichers in Form eines Stapels, von dessen Spitze etwas genommen und auf dessen Spitze etwas abgelegt werden kann.

Kellerautomaten entstehen aus endlichen Automaten durch Hinzunahme eines Kelleralphabets

Erweiterung der Transitionen (es muss das Lesen und Ersetzen der Kellerspitze realisiert werden)

(22)

Kellerautomaten

Ziel: Automatenmodell mit dem genau die kontextfreien Sprachen akzeptiert werden können (analog zu endlichen Automaten und regulären Sprachen).

Lösung: Hinzunahme eines unbeschränkten Speichers in Form eines Stapels, von dessen Spitze etwas genommen und auf dessen Spitze etwas abgelegt werden kann.

Kellerautomaten entstehen aus endlichen Automaten durch Hinzunahme eines Kelleralphabets

Erweiterung der Transitionen (es muss das Lesen und Ersetzen der Kellerspitze realisiert werden)

(23)

(24)

(25)

(26)

(27)

(28)

(29)

(30)

(31)

(32)

(33)

(34)

(35)

(36)

(37)

(38)

(39)

(40)

(41)

(42)

(43)

(44)

(45)

Von kontextfreien Grammatiken zu Kellerautomaten

Für das Akzeptieren einer kontextfreien Sprache genügt ein Kellerautomat mit nur zwei Zuständen, wobei die einzige Aufgabe des Startzustands darin besteht, das Startsymbol S der

Grammatik in den Keller zu legen.

Während der eigentlichen Rechnung bendet sich der Automat permanent in dem selben Zustand (dem Nichtstartzustand), die Rechnung ndet nur in dem Keller statt.

Der konstruierte Automat vollzieht zwei verschiedene Arbeitsschritte:

Nicht-Leseschritt mit Bezug auf Grammatikregel B →β: Ersetze die Kellerspitze B mit β (Expansion).

Leseschritte:

Lies ein a∈T der Eingabekette und entferne a von der Kellerspitze (Scan).

(46)

Von kontextfreien Grammatiken zu Kellerautomaten

Nicht-Leseschritt mit Bezug auf Grammatikregel B →β: Ersetze die Kellerspitze B mit β (Expansion).

Leseschritte:

(47)

Von kontextfreien Grammatiken zu Kellerautomaten

Nicht-Leseschritt mit Bezug auf Grammatikregel B →β:

Ersetze die Kellerspitze B mit β (Expansion).

Leseschritte:

(48)

Beispiel: Von kontextfreien Grammatiken zu Kellerautomaten

Grammatik: ({S},{a,b,c},S,{S →aSb,S →c}) generierte Sprache: L(aⁿcbⁿ)

(49)

Hausaufgaben

1 Sei L die Sprache, die aus allen nichtleeren Wörtern über dem Alphabet {a,b}besteht, in denen auf jedes a unmittelbar ein b folgt. Beispiele für Wörter dieser Sprache: bbbab, abababab, bb, babbbbab.

(a) geben Sie eine rechtslineare Grammatik G an, die L erzeugt und zeichnen Sie den Ableitungsbaum für das Wort bbababb

(b) geben Sie einen endlichen Automaten A an, der L akzteptiert.

(c) geben Sie einen regulären Ausdruck R an, der L beschreibt.

2 Geben sie jeweils eine kontextfreie Grammatik zu den folgenden Sprachen an:

(a) L1={aⁱb^j|i>j>0}

(b) L2={w∈ {a,b}^∗|w ist ein Palindrom}

Wählen Sie pro Sprache ein Wort, das mindestens die Länge 5 hat, und zeichnen Sie den Ableitungsbaum in Bezug auf Ihre Grammatik.

Dozentin:WiebkePetersen13.Foliensatz EinführungindieComputerlinguistikFormaleGrammatikenrechtslineareundkontextfreieGrammatikenKellerautomaten

Einführung in die Computerlinguistik Formale Grammatiken

rechtslineare und kontextfreie Grammatiken Kellerautomaten

Formale Grammatik

Terminologie

Terminologie

Terminologie

Terminologie

rechtslineare Grammatiken

rechtslineare Grammatiken

rechtslineare Grammatiken und reguläre Sprachen

Zusammenfassung: reguläre Sprachen

kontextfreie Grammatik

kontextfreie Grammatik

kontextfreie Grammatik

Ableitungsbaum

Beispiel einer kontextfreien Sprache

Beispiel einer kontextfreien Sprache

Linksableitung

Linksableitung

ambige Grammatik

ambige Grammatik

Kellerautomaten

Kellerautomaten

Von kontextfreien Grammatiken zu Kellerautomaten

Von kontextfreien Grammatiken zu Kellerautomaten

Von kontextfreien Grammatiken zu Kellerautomaten

Beispiel: Von kontextfreien Grammatiken zu Kellerautomaten

Hausaufgaben

Dozentin:WiebkePetersen13.Foliensatz EinführungindieComputerlinguistikFormaleGrammatikenrechtslineareundkontextfreieGrammatikenKellerautomaten