Ernst W. Mayr

(1)

SS 2006

Einf¨ uhrung in die Informatik IV

Ernst W. Mayr

Fakult¨ at f¨ ur Informatik TU M¨ unchen

http://www14.in.tum.de/lehre/2006SS/info4/

Sommersemester 2006

Info IV c

Ernst W. Mayr

(2)

Definition 43

Seien L ₁ , L ₂ ⊆ Σ ^∗ . Dann ist der Rechtsquotient L ₁ /L ₂ := {x ∈ Σ ^∗ ; (∃y ∈ L ₂ )[xy ∈ L ₁ ]} .

Satz 44

Seien R, L ⊆ Σ ^∗ , R regul¨ ar. Dann ist R/L regul¨ ar.

Beweis:

Sei A DFA mit L(A) = R, A = (Q, Σ, δ, q 0 , F ).

F ⁰ := {q ∈ Q; (∃y ∈ L)[δ(q, y) ∈ F } A ⁰ := (Q, Σ, δ, q ₀ , F ⁰ )

Dann ist L(A ⁰ ) = R/L.

(3)

Lemma 45

Es gibt einen Algorithmus, der f¨ ur zwei (nichtdeterministische, mit - ¨ Uberg¨ angen) endliche Automaten A 1 und A 2 entscheidet, ob sie

¨ aquivalent sind, d.h. ob

L(A 1 ) = L(A 2 ) .

Beweis:

Konstruiere einen endlichen Automaten f¨ ur

(L(A ₁ ) \ L(A ₂ )) ∪ (L(A ₂ ) \ L(A ₁ )) (symmetrische Differenz).

Pr¨ ufe, ob dieser Automat ein Wort akzeptiert.

Info IV 3.8 Abschlusseigenschaften regul¨arer Sprachen 79/92

c

Ernst W. Mayr

(4)

Satz 46 (Pumping Lemma f¨ ur regul¨ are Sprachen)

Sei R ⊆ Σ ^∗ regul¨ ar. Dann gibt es ein n > 0, so dass f¨ ur jedes z ∈ R mit |z| ≥ n es u, v, w ∈ Σ ^∗ gibt, so dass gilt:

1

z = uvw,

2

|uv| ≤ n,

3

|v| ≥ 1, und

4

∀i ≥ 0 : uv ⁱ w ∈ R.

(5)

Beweis:

Sei R = L(A), A = (Q, Σ, δ, q ₀ , F ).

Sei n = |Q|. Sei nun z ∈ R mit |z| ≥ n.

Sei q ₀ = q ⁽⁰⁾ , q ⁽¹⁾ , q ⁽²⁾ , . . . , q ^(|z|) die beim Lesen von z durchlaufene Folge von Zust¨ anden von A. Dann muss es 0 ≤ i < j ≤ n ≤ |z| geben mit q ⁽ⁱ⁾ = q ^(j) .

Seien nun u die ersten i Zeichen von z, v die n¨ achsten j − i Zeichen und w der Rest.

⇒ z = uvw, |v| ≥ 1, |uv| ≤ n, uv ^l w ∈ R ∀l ≥ 0 .

c

Ernst W. Mayr

(6)

Beispiel f¨ ur die Anwendung des Pumping Lemmas:

Satz 47

L = {0 ^m

²

; m ≥ 0} ist nicht regul¨ ar.

Beweis:

Angenommen, L sei doch regul¨ ar.

Sei n wie durch das Pumping Lemma gegeben. W¨ ahle m ≥ n.

Dann gibt es ein r mit 1 ≤ r ≤ n, so dass gilt:

0 ^m

²

^+ir ∈ L f¨ ur alle i ∈ N 0 . Aber:

m ² < m ² + r ≤ m ² + m < m ² + 2m + 1 = (m + 1) ² !

(7)

Denkaufgabe:

{a ⁱ b ⁱ ; i ≥ 0} ist nicht regul¨ ar.

c

Ernst W. Mayr

(8)

Definition 48

Sei L ⊆ Σ ^∗ eine Sprache. Definiere die Relation ≡ _L ⊆ Σ ^∗ × Σ ^∗ durch

x ≡ _L y ⇔ (∀z ∈ Σ ^∗ )[xz ∈ L ⇔ yz ∈ L]

Lemma 49

≡ _L ist eine rechtsinvariante ¨ Aquivalenzrelation.

Dabei bedeutet rechtsinvariant:

x ≡ _L y ⇒ xu ≡ _L yu f¨ ur alle u .

Beweis:

Klar!

(9)

Satz 50 (Myhill-Nerode)

Sei L ⊆ Σ ^∗ . Dann sind ¨ aquivalent:

1

L ist regul¨ ar

2

≡ _L hat endlichen Index (= Anzahl der ¨ Aquivalenzklassen)

3

L ist die Vereinigung einiger der endlich vielen Aquivalenzklassen von ¨ ≡ _L .

c

Ernst W. Mayr

(10)

Beweis:

(1)⇒(2):

Sei L = L(A) f¨ ur einen DFA A = (Q, Σ, δ, q 0 , F ).

Dann gilt

ˆ δ(q ₀ , x) = ˆ δ(q ₀ , y) ⇒ x ≡ _L y .

Also gibt es h¨ ochstens so viele ¨ Aquivalenzklassen, wie der Automat

A Zust¨ ande hat.

(11)

Beweis:

(2)⇒(3):

Sei [x] die ¨ Aquivalenzklasse von x, y ∈ [x] und x ∈ L.

Dann gilt nach der Definition von ≡ _L : y ∈ L

Info IV 86/92

c

Ernst W. Mayr

(12)

Beweis:

(3)⇒(1):

Definiere A ⁰ = (Q ⁰ , Σ, δ ⁰ , q ₀ ⁰ , F ⁰ ) mit

Q ⁰ := {[x]; x ∈ Σ ^∗ } (Q ⁰ endlich!) q ₀ ⁰ := []

δ ⁰ ([x], a) := [xa] ∀x ∈ Σ ^∗ , a ∈ Σ (konsistent!) F ⁰ := {[x]; x ∈ L}

Dann gilt:

L(A ⁰ ) = L

(13)

3.9 Konstruktion minimaler endlicher Automaten

Satz 51

Der nach dem Satz von Myhill-Nerode konstruierte

deterministische endliche Automat hat unter allen DFA’s f¨ ur L eine minimale Anzahl von Zust¨ anden.

Beweis:

Sei A = (Q, Σ, δ, q 0 , F ) mit L(A) = L. Dann liefert x ≡ _A y :⇔ δ(q 0 , x) = δ(q 0 , y) eine ¨ Aquivalenzrelation, die ≡ _L verfeinert.

Also gilt: |Q| = index(≡ _A ) ≥ index(≡ _L ) = Anzahl der Zust¨ ande des Myhill-Nerode-Automaten.

Info IV 3.9 Konstruktion minimaler endlicher Automaten 87/92

c

Ernst W. Mayr

(14)

Algorithmus zur Konstruktion eines minimalen FA

Eingabe: A(Q, Σ, δ, q ₀ , F ) DFA (L = L(A)) Ausgabe: ¨ Aquivalenzrelation auf Q.

0

Entferne aus Q alle ¨ uberfl¨ ussigen, d.h. alle von q 0 aus nicht erreichbaren Zust¨ ande. Wir nehmen nun an, dass Q keine

¨ uberfl¨ ussigen Zust¨ ande mehr enth¨ alt.

1

Markiere alle Paare {q _i , q _j } ∈ Q ² mit

q i ∈ F und q j ∈ / F bzw. q i ∈ / F und q j ∈ F .

(15)

2

for alle unmarkierten Paare {q _i , q j } ∈ Q ² , q i 6= q j do if (∃a ∈ Σ)[{δ(q _i , a), δ(q _j , a)} ist markiert] then

markiere {q _i , q j };

markiere alle {q, q ⁰ } in {q _i , q j }’s Liste und rekursiv alle Paare in der Liste von {q, q ⁰ } usw.

else

for alle a ∈ Σ do

if δ(q _i , a) 6= δ(q _j , a) then

trage {q _i , q j } in die Liste von {δ(q _i , a), δ(q j , a)} ein fi

od fi od

3

Ausgabe: q ¨ aquivalent zu q ⁰ ⇔ {q, q ⁰ } nicht markiert.

c

Ernst W. Mayr

(16)

Satz 52

Obiger Algorithmus liefert einen minimalen DFA f¨ ur L(A).

Beweis:

Sei A ⁰ = (Q ⁰ , Σ ⁰ , δ ⁰ , q ₀ ⁰ , F ⁰ ) der konstruierte Aquivalenzklassenautomat. ¨

Offensichtlich ist L(A) = L(A ⁰ ).

Es gilt: {q, q ⁰ } wird markiert gdw

(∃ w ∈ Σ ^∗ )[δ(q, w) ∈ F ∧ δ(q ⁰ , w) ∈ / F oder umgekehrt], wie man durch einfach Induktion ¨ uber |w| sieht.

Also: Die Anzahl der Zust¨ ande von A ⁰ (n¨ amlich |Q ⁰ |) ist gleich

dem Index von ≡ _L .

(17)

Beispiel 53 Automat A:

q 0 q 1

q ₂ q ₃

q ₄ q ₅

0 0

1 1

0 1

1 0

1 0 0, 1

q 0 q 1 q 2 q 3 q 4 q 5

q 0 / / / / / /

q 1 / / / / /

q 2 × × / / / /

q 3 × × / / /

q ₄ × × / /

q ₅ × × × × × /

Automat A ⁰

L(A ⁰ ) = 0 ^∗ 10 ^∗ q

0

q

1

q

2

q

3

q

4

q 5

0

1

0

1 0, 1

c

Ernst W. Mayr

(18)

Ernst W. Mayr

SS 2006

Einf¨ uhrung in die Informatik IV

Ernst W. Mayr

Fakult¨ at f¨ ur Informatik TU M¨ unchen

http://www14.in.tum.de/lehre/2006SS/info4/

Sommersemester 2006

Definition 43

Seien L 1 , L 2 ⊆ Σ ∗ . Dann ist der Rechtsquotient L 1 /L 2 := {x ∈ Σ ∗ ; (∃y ∈ L 2 )[xy ∈ L 1 ]} .

Satz 44

Seien R, L ⊆ Σ ∗ , R regul¨ ar. Dann ist R/L regul¨ ar.

Beweis:

Sei A DFA mit L(A) = R, A = (Q, Σ, δ, q 0 , F ).

F 0 := {q ∈ Q; (∃y ∈ L)[δ(q, y) ∈ F } A 0 := (Q, Σ, δ, q 0 , F 0 )

Dann ist L(A 0 ) = R/L.

Lemma 45

Es gibt einen Algorithmus, der f¨ ur zwei (nichtdeterministische, mit - ¨ Uberg¨ angen) endliche Automaten A 1 und A 2 entscheidet, ob sie

¨ aquivalent sind, d.h. ob

L(A 1 ) = L(A 2 ) .

Beweis:

Konstruiere einen endlichen Automaten f¨ ur

(L(A 1 ) \ L(A 2 )) ∪ (L(A 2 ) \ L(A 1 )) (symmetrische Differenz).

Pr¨ ufe, ob dieser Automat ein Wort akzeptiert.

Satz 46 (Pumping Lemma f¨ ur regul¨ are Sprachen)

Sei R ⊆ Σ ∗ regul¨ ar. Dann gibt es ein n > 0, so dass f¨ ur jedes z ∈ R mit |z| ≥ n es u, v, w ∈ Σ ∗ gibt, so dass gilt:

z = uvw,

|uv| ≤ n,

|v| ≥ 1, und

∀i ≥ 0 : uv i w ∈ R.

Beweis:

Sei R = L(A), A = (Q, Σ, δ, q 0 , F ).

Sei n = |Q|. Sei nun z ∈ R mit |z| ≥ n.

Sei q 0 = q (0) , q (1) , q (2) , . . . , q (|z|) die beim Lesen von z durchlaufene Folge von Zust¨ anden von A. Dann muss es 0 ≤ i < j ≤ n ≤ |z| geben mit q (i) = q (j) .

Seien nun u die ersten i Zeichen von z, v die n¨ achsten j − i Zeichen und w der Rest.

⇒ z = uvw, |v| ≥ 1, |uv| ≤ n, uv l w ∈ R ∀l ≥ 0 .

Beispiel f¨ ur die Anwendung des Pumping Lemmas:

Satz 47

L = {0 m

; m ≥ 0} ist nicht regul¨ ar.

Beweis:

Angenommen, L sei doch regul¨ ar.

Sei n wie durch das Pumping Lemma gegeben. W¨ ahle m ≥ n.

Dann gibt es ein r mit 1 ≤ r ≤ n, so dass gilt:

0 m

+ir ∈ L f¨ ur alle i ∈ N 0 . Aber:

m 2 < m 2 + r ≤ m 2 + m < m 2 + 2m + 1 = (m + 1) 2 !

Denkaufgabe:

{a i b i ; i ≥ 0} ist nicht regul¨ ar.

Definition 48

Sei L ⊆ Σ ∗ eine Sprache. Definiere die Relation ≡ L ⊆ Σ ∗ × Σ ∗ durch

x ≡ L y ⇔ (∀z ∈ Σ ∗ )[xz ∈ L ⇔ yz ∈ L]

Lemma 49

≡ L ist eine rechtsinvariante ¨ Aquivalenzrelation.

Dabei bedeutet rechtsinvariant:

x ≡ L y ⇒ xu ≡ L yu f¨ ur alle u .

Beweis:

Klar!

Satz 50 (Myhill-Nerode)

Sei L ⊆ Σ ∗ . Dann sind ¨ aquivalent:

L ist regul¨ ar

≡ L hat endlichen Index (= Anzahl der ¨ Aquivalenzklassen)

L ist die Vereinigung einiger der endlich vielen Aquivalenzklassen von ¨ ≡ L .

Beweis:

(1)⇒(2):

Sei L = L(A) f¨ ur einen DFA A = (Q, Σ, δ, q 0 , F ).

Dann gilt

ˆ δ(q 0 , x) = ˆ δ(q 0 , y) ⇒ x ≡ L y .

Also gibt es h¨ ochstens so viele ¨ Aquivalenzklassen, wie der Automat

A Zust¨ ande hat.

Beweis:

(2)⇒(3):

Sei [x] die ¨ Aquivalenzklasse von x, y ∈ [x] und x ∈ L.

Dann gilt nach der Definition von ≡ L : y ∈ L

Beweis:

(3)⇒(1):

Definiere A 0 = (Q 0 , Σ, δ 0 , q 0 0 , F 0 ) mit

Q 0 := {[x]; x ∈ Σ ∗ } (Q 0 endlich!) q 0 0 := []

δ 0 ([x], a) := [xa] ∀x ∈ Σ ∗ , a ∈ Σ (konsistent!) F 0 := {[x]; x ∈ L}

Dann gilt:

L(A 0 ) = L

Seien L ₁ , L ₂ ⊆ Σ ^∗ . Dann ist der Rechtsquotient L ₁ /L ₂ := {x ∈ Σ ^∗ ; (∃y ∈ L ₂ )[xy ∈ L ₁ ]} .

Seien R, L ⊆ Σ ^∗ , R regul¨ ar. Dann ist R/L regul¨ ar.

F ⁰ := {q ∈ Q; (∃y ∈ L)[δ(q, y) ∈ F } A ⁰ := (Q, Σ, δ, q ₀ , F ⁰ )

Dann ist L(A ⁰ ) = R/L.

(L(A ₁ ) \ L(A ₂ )) ∪ (L(A ₂ ) \ L(A ₁ )) (symmetrische Differenz).

Sei R ⊆ Σ ^∗ regul¨ ar. Dann gibt es ein n > 0, so dass f¨ ur jedes z ∈ R mit |z| ≥ n es u, v, w ∈ Σ ^∗ gibt, so dass gilt:

∀i ≥ 0 : uv ⁱ w ∈ R.

Sei R = L(A), A = (Q, Σ, δ, q ₀ , F ).

Sei q ₀ = q ⁽⁰⁾ , q ⁽¹⁾ , q ⁽²⁾ , . . . , q ^(|z|) die beim Lesen von z durchlaufene Folge von Zust¨ anden von A. Dann muss es 0 ≤ i < j ≤ n ≤ |z| geben mit q ⁽ⁱ⁾ = q ^(j) .

⇒ z = uvw, |v| ≥ 1, |uv| ≤ n, uv ^l w ∈ R ∀l ≥ 0 .

L = {0 ^m

0 ^m

^+ir ∈ L f¨ ur alle i ∈ N 0 . Aber:

m ² < m ² + r ≤ m ² + m < m ² + 2m + 1 = (m + 1) ² !

{a ⁱ b ⁱ ; i ≥ 0} ist nicht regul¨ ar.

Sei L ⊆ Σ ^∗ eine Sprache. Definiere die Relation ≡ _L ⊆ Σ ^∗ × Σ ^∗ durch

x ≡ _L y ⇔ (∀z ∈ Σ ^∗ )[xz ∈ L ⇔ yz ∈ L]

≡ _L ist eine rechtsinvariante ¨ Aquivalenzrelation.

x ≡ _L y ⇒ xu ≡ _L yu f¨ ur alle u .

Sei L ⊆ Σ ^∗ . Dann sind ¨ aquivalent:

≡ _L hat endlichen Index (= Anzahl der ¨ Aquivalenzklassen)

L ist die Vereinigung einiger der endlich vielen Aquivalenzklassen von ¨ ≡ _L .

ˆ δ(q ₀ , x) = ˆ δ(q ₀ , y) ⇒ x ≡ _L y .

Dann gilt nach der Definition von ≡ _L : y ∈ L

Definiere A ⁰ = (Q ⁰ , Σ, δ ⁰ , q ₀ ⁰ , F ⁰ ) mit

Q ⁰ := {[x]; x ∈ Σ ^∗ } (Q ⁰ endlich!) q ₀ ⁰ := []

δ ⁰ ([x], a) := [xa] ∀x ∈ Σ ^∗ , a ∈ Σ (konsistent!) F ⁰ := {[x]; x ∈ L}

L(A ⁰ ) = L

Sei A = (Q, Σ, δ, q 0 , F ) mit L(A) = L. Dann liefert x ≡ _A y :⇔ δ(q 0 , x) = δ(q 0 , y) eine ¨ Aquivalenzrelation, die ≡ _L verfeinert.

Also gilt: |Q| = index(≡ _A ) ≥ index(≡ _L ) = Anzahl der Zust¨ ande des Myhill-Nerode-Automaten.

Eingabe: A(Q, Σ, δ, q ₀ , F ) DFA (L = L(A)) Ausgabe: ¨ Aquivalenzrelation auf Q.

Markiere alle Paare {q _i , q _j } ∈ Q ² mit

for alle unmarkierten Paare {q _i , q j } ∈ Q ² , q i 6= q j do if (∃a ∈ Σ)[{δ(q _i , a), δ(q _j , a)} ist markiert] then

markiere {q _i , q j };

markiere alle {q, q ⁰ } in {q _i , q j }’s Liste und rekursiv alle Paare in der Liste von {q, q ⁰ } usw.

if δ(q _i , a) 6= δ(q _j , a) then

trage {q _i , q j } in die Liste von {δ(q _i , a), δ(q j , a)} ein fi

Ausgabe: q ¨ aquivalent zu q ⁰ ⇔ {q, q ⁰ } nicht markiert.

Sei A ⁰ = (Q ⁰ , Σ ⁰ , δ ⁰ , q ₀ ⁰ , F ⁰ ) der konstruierte Aquivalenzklassenautomat. ¨

Offensichtlich ist L(A) = L(A ⁰ ).

Es gilt: {q, q ⁰ } wird markiert gdw

(∃ w ∈ Σ ^∗ )[δ(q, w) ∈ F ∧ δ(q ⁰ , w) ∈ / F oder umgekehrt], wie man durch einfach Induktion ¨ uber |w| sieht.

Also: Die Anzahl der Zust¨ ande von A ⁰ (n¨ amlich |Q ⁰ |) ist gleich

dem Index von ≡ _L .

q ₂ q ₃

q ₄ q ₅

q ₄ × × / /

q ₅ × × × × × /

Automat A ⁰

L(A ⁰ ) = 0 ^∗ 10 ^∗ q

Sei A = (Q, Σ, δ, q 0 , F ) ein DFA. Der Zeitaufwand des obigen Minimalisierungsalgorithmus ist O(|Q| ² |Σ|).