Zur Theorie messbarer Automaten und ihrer Transformationen

deposit_hagen

Publikationsserver der Universitätsbibliothek

Mathematik und

Informatik

Informatik-Berichte 01 – 1980

Ernst-Erich Doberkat

Zur Theorie messbarer Automaten und

ihrer Transformationen

Inhaltsverzeichnis

Einleitung und übersieht

1. Automaten und ihre Transformationen

§ 1.1 Stochastische Automaten

§ 1.2 Nichtdeterministische Automaten

§ 1.3 Freie Konstruktionen

2. Darstellung von Zustandsautomaten

§ 2.1 Darstellung stochastischer Zustandsautomaten

§ 2.2 Darstellung nichtdeterministische Zustandsautomaten

§ 2.3 Gute Strategien rur bewertete Zustandsautomaten 3. Darstellung von Automaten mit Ausgabe

§ 3.1 Darstellung stochastischer Automaten

§ 3.2 Darstellung nichtdeterministischer Automaten

§ 3.3 Anwendung auf Lernsysteme und Schnittpunktsprachen 4. Zur Vorhersagetheorie stochastischer Automaten

§ 4.1 Lineare Programme zur Berechnung optimaler Vorhersagen unter Stetigkeitsbedingungen

§ 4.2 Charakterisierung wortoptimaler Vorhersagen im endlichen

§ 4.3 Ein Algorithmus zur Berechnung optimaler Vorhersagen unc dessen Analyse

Fall

Anhang: Einige Grundbegriffe aus Wahrscheinlichkeitstheorie, Topologie und Optimierung

Literaturverzeichnis Begriffsregister Symbolverzeichnis

i 1 1 3 5 8

9 15 19 23 24 27 43 50 52 57 61

76 83 88 89

Einleitung und übersieht

Ein meßbarer Automat ordnet in meßbarer Weise deterministisch, stochastisch oder nichtdeterministisch jeder Eingabe und jedem Zustand eine Ausgabe und_einen neuen Zustand zu. Analog werden Transformationen betrachtet, die jedem Eingabewort meß- bar Ausgabewörter gleicher Länge zuordnen.

Jeder topologische Raum trägt mit der o-Algebra seiner Borelschen Mengen in kano- nischer Weise eine meßbare Struktur, und jede stetige Funktion ist Borel-meßbar.

Daher erweisen sich topologische Automaten im Sinne von Pohl (POt) als meßbare de- terministische Automaten, topologische Automaten im Sinne von Ehrig und Kühnel (EK) und stetige topologische sequentielle Mealy- oder Moore-Maschinen im Sinne von Brauer (BR) als meßbare Automaten, wenn Meßbarkeit für mengenwertige Abbildungen geeignet erklärt wird. Außerhalb der Automatentheorie werden meßbare Transformationen in der stochastischen dynamischen Optimierung (HR) und der Theorie der Lernsysteme (MEN, D02) untersucht. Die hier betrachteten stochastischen Automaten sind die na-

-

^'

türliche Verallgemeinerung endlicher oder abzählbar unendlicher stochastischer Automaten (CL, ST) auf meßbare Räume (AS, DAD, D01).

Die Kapitel 2 und 3 dieser Arbeit befassen sich mit dem Verhalten der drei genannten Typen von Automaten bzw. Transformationen zueinander. Die folgenden Oberlegungen

(vgl. ST, § III.1) mögen dies verdeutlichen.

Sei (X,Y,Z;K) ein endlicher stochastischer Automat. X und Y sind also endliche Alpha- bete von Ein- bzw. Ausgabebuchstaben, Z ist eine endliche Menge von Zuständen, und K ist eine Abbildung von X ^x Z in die Menge der Wahrscheinlichkeitsmaße Uber Z ^x Y:

vx EX vz E Z:

I

K(x,z)(z',y) = 1.

Z¹EZ yEY

Diesem stochastischen Automaten entspricht in kanonischer Weise ein nichtdeter-- ministischer Automat (X,Y,Z;NDK), wenn definiert wird

NDK(x,z) ::: {z¹y; K(x,z)(z¹ ,y) > O}

t Zwei- oder dreistellige Buchstabenkombinationen verweisen auf das Literaturver-

NDK(x,z) ist also die Menge aller für den stochastischen Automaten nach Eingabe von x im Zustand z erreichbaren Zustände und Ausgaben. Die sequentielle Arbeitsweise wird durch ein Bewegungsgesetz K* ·beschrieben, das folgendermaßen induktiv (mit

K (x,z) := K(x,z) für x EX, z E Z) definiert wird: *

.-

- Z _ZE

l

K(x,z)(z¹ ,y)K*(x1 ... x ,z)(z,y 1 ... yn) ⁿ Analog beschreibt man das sequentielle Verhalten für einen nichtdeterministischen Automaten (X,Y,Z;R), d.h. R(x,z) ist eine nicht-leere Teilmenge von Z x Y für jedes

x EX, z E Z: man setzt R*(x,z) := R(x,z) für x EX, z E Z und definiert weiter R*(x1 ... xnx,z) := {z¹y

1 ... yny; 3z E Z: z¹y E R(x,z), zy

1 ... yn E R*(x₁ ... xn,z)}

(xl ... xnx EX' z E Z) *

Man überlegt sich nun leicht, daß (NDK) * = NOK*

gilt. Daher induziert jeder stochastische Automat einen nichtdeterministischen, der seine Verhaltensmöglichkeiten beschreibt,wobei das sequentielle Verhalten beider Automaten in der beschriebenen Weise übereinstimmt.

Ist umgekehrt ein nichtdeterministischer Automat (X,Y,Z;R) vorgegeben, so findet man einen stochastischen Automaten (X,Y,Z;K) mit

R * = NDK*

folgen dermaßen: zunächst findet man eine Menge {f.; 1 ;;;; i ;;;; m} von .n.bbi 1 dun gen

l

f.: X ^X

z

^•

z

^X

y

l

(mit m .- max {card(R(x,z)); x EX, z E Z}t), so daß

R(x,z) = {f;(x,z); 1;;;; i ;;;; m}

für jedes x EX, z E Z gilt. Mit M := {l, ... ,m}, F(i,x,z) := fi(x,z)

ist (Mx X,Y,Z;F) ein deterministischer Automat; setzt man Finder üblichen Weise

zu einer Abbildung F*: (Mx X)* x Z ⁺ Z x y* fort, so erkennt man

* * *

R (v,z)

=

^{F (a,v,z); a ^{EM ,} lg(a)

=

lg(v)}

für jedes v Ex*, z E Z (lg(v) ist die Länge von v)

Die Arbeitsweise des nichtdeterministischen Automaten wird also bereits durch einen deterministischen beschrieben, wobei allerdings das Eingabealphabet erweitert werden mußte.

Daraus läßt sich eine stochastische Darstellung für den nichtdeterministischen Auto- maten gewinnen: man setzt

K(x,z)(z¹,y) . und erhält

m

i=l

I

E ( f i (X, Z) ) ( Z ¹ ,y) t card(R(x,z))

Insgesamt sieht man, daß ein endlicher nichtdeterministischer Automat charakterisiert werden kann entweder durch einen deterministischen Automaten mit erweitertem Eingabe- alphabet oder durch die Menge der möglichen Zustände und Ausgaben eines stochas- tischen Automaten. Starke (ST, S. 213) merkt dazu an, daß eine solche Darstellung eines nichtdeterministischen durch einen stochastischen Automaten nicht immer möglich sei, nämlich dann,wenn der n1chtdetejministische Automat über nicht abzählbaren Zu- stands- oder Ausgabemengen arbeitet. Unter einigen topologischen Voraussetzungen ist dies jedoch möglich, wenn man mit dem hier betrachteten Konzept für stochas- tische Automaten arbeitet. Dazu werden die beteiligten Mengen als meßbare Räume an- genommen, sie werden also mit einer o-Algebra versehen.

Sind also Z und Y meßbare Räume, so ist es in der Regel nicht möglich, z¹ E Z und

y E Y als möglichen Zustand und mögliche Ausgabe nach Eingabe von x im Zustand z

durch K(x,z)({z¹y}) > O zu charakterisieren, selbst wenn die entsprechenden o-Algebren einelementige Mengen enthalten (z.B. Y := Z ^:= [0,1] mit den Borel-Mengen, K(x,z) sei für alle x EX, z E Z das zweidimensionale Lebesguesche Maß A , dann hat man 2 K(x,z)({z¹y})

=

A({z¹})A({y})

=

O). Daher muß das Konzept der möglichen neuen Zu- t E:(a)(a¹⁾ := 1, falls a = a^1, := 0, sonst

stände und Ausgaben anders definiert werden. Dies erweist sich jedoch nur unter topologischen Voraussetzungen als möglich. Seien Z und Y polnische, d.h. vollständig metrisierbare und separable topologische Räume. Intuitiv erscheint es einsichtig, ein Paar z¹y ^{E Z x Y} als möglich nach der Eingabe x im Zustand z zu bezeichnen, wenn rur jede offene Umgebung U von z'y gilt K(x,z)(U) > O; bezeichne supp(K(x,z)) die Menge alle in diesem Sinne möglichen Paare, dann erweist sich

xz ^>+ supp(K(x,z))

als Abbildung in die Menge aller nicht-leeren abgeschlossenen Teilmengen von Z x Y, die schwach meßbar ist, für die also {xz; supp(K(x,z)) n U

i

0} eine meßbare Teil- menge von X ^{x Z} für jedes offene ^U c Z x Y ist.

Damit ergibt sich das Problem, zu einem nichtdeterministischen Automaten (X,Y,Z;R) einen stochastischen·mit Bewegungsgesetz K* so zu finden, daß

R*(v,z) = supp(K*(v,z))

für alle v Ex*, z E Z gilt. Wegen der Abgeschlossenwertigkeit von supp(K*(·,·)) und der schwachen Meßbarkeit müssen diese Forderungen an R* gestellt werden; ist zu- sätzlich R(x,•) als mengenwertige Abbildung unterhalb stetig, so wird gezeigt, daß sich stets ein solcher stochastischer Automat finden läßt. Ebenfalls kann unter einer Regularitätsbedingung an das Bewegungsgesetz K* des stochastischen Automaten

gezeigt werden, daß ein meßbarer deterministischer Automat ^{(IN x} X,Y,Z;h) so exis- tiert, daß

* * lg(v)

s u p p ( K ( v, z) ) = { h ( a , v, z) ; a E IN }

stets gilt, wobei die abgeschlossene Hülle bezeichnet. Daraus ergibt sich zum einen eine deterministische Darstellung für die oben angesprochenen nichtdetermi- nistischen Automaten, zum anderen, daß sich unter einer Stetigkeitsbedingung jeder stochastische Automat durch diskrete stochastische Automaten, also solche, die je- weils nur endlich vielen Zuständen und Ausgaben positive Wahrscheinlichkeit zuweisen, approximiert werden kann.

Vor dem Beweis der angeführten Resultate wird ein ähnliches Ergebnis für Automaten-

transformationen, also das Ein-/Ausgabeverhalten initialer nichtdeterministischer Automaten beweisen: unter einer Meßbarkeitsbedingung wird gezeigt, daß sich eine

solche Transformation S darstellen läßt durch S = supp(T(•)),

wobei Teine geeignete stochastische Transformation, d.h. das Ein-/Ausgabeverhalten eines initialen stochastischen Automaten,ist; in analoger Weise läßt sich eine Automatenabbildung finden, deren Werte dicht in S liegen. Daher kann das Verhalten eines initialen nichtdeterministischen Automaten durch die Verhaltensmöglichkeiten eines initialen stochastischen dargestellt oder durch das Verhalten eines deter- ministischen approximiert werden.

Aus der genannten Darstellung für Automatentransformationen wird eine Darstellung für schwach meßbare mengenwertige Abbildungen durch Obergangswahrscheinlichkeiten hergeleitet. Dies wird auf Schnittpunktsprachen topologischer linearer Automaten angewendet. Es wird gezeigt, daß sich zu jedem Schnittpunkt eine Obergangswahr- scheinlichkeit von der Menge dieser Automaten in die Menge der Eingabewörter so finden läßt, daß die Schnittpunktsprache die kleinste abgeschlossene Sprache ist, die von dem jeweiligen Automaten sicher, d.h. mit Wahrscheinlichkeit 1, erzeugt wird.

Eine andere Anwendung des obigen Darstellungssatzes findet sich in der Theor-ie der Lernsysteme: die Verhaltensmöglichkeiten eines lernenden Systems nach einer Lern- vergangenheit und einer aktuellen Eingabe sind durch eine geeignete Automötenab- bildung im wesentlichen, d.h. bis auf Bildung der abgeschlossenen Hülle, bestimmt.

Die geschilderten Ergebnisse finden sich in Kapitel 3. Weitgehend analog werden in Kapitel 2 stochastische und deterministische Darstellungen für nichtdeterministische Zustandsautomaten hergeleitet. Darüberhinaus wird gezeigt, daß initiale stochas- tische und nichtdeterminitsiche Zustandsautomaten gute Strategien besitzen, wenn es gilt, in Abhängigkeit von der Eingabe Zustände einzunehmen, die mittels einer reellwertigen Funktion bewertet werden. Dies wird zunächst für stochastische, dann

mit Hilfe eines Darstellungssatzes für nichtdeterministische Automaten bewiesen.

Das zentrale Handwerkszeug für die Kapitel 2 und 3 liegt in der Theorie mengenwer- tiger meßbarer Abbildungen, insbesondere in der Theorie meßbarer Selektoren für diese Abbildungen. Dies sind solche Funktionen, die in meßbarer Weise zu jedem Urbild einen Punkt in der Bildmenge der mengenwertigen Abbildung aus~ählen .. Da man für eine solche Abbildung die Existenz hinreichend vieler meßbarer Selektoren nur sichern kann, wenn die Abbildung abgeschlossene Werte in einem polnischen Raum an- nimmt und sie darüber hinaus schwach meßbar ist, muß man entsprechende Voraus- setzungen an die Relation stellen, die das Verhalten der hier betrachteten nibht- deterministischen Automaten regiert.

Das vierte Kapitel befa5t sich mit den Mögljc~keiten, die Ausgabe eines initialen stochastischen Automaten optimal vorherzusagen. Da die Ausgabe eines solchen Auto- maten durch eine stochastische Transformation beschrieben wird, und sich umgekehrt zeigen l~Bt,daß sich unter einer schwachen topologischen Voraussetzung jede stochas·

tische Transformation in einem initialen stochastischen Automaten erz2ugen läßt (Satz 1.6), genügt es, solche Transformationen zu betrachten. Die Problemstellung besteht dann darin, zu einer vorgegebenen stochastischen Transformation eine solche zu finden, die unabhängig von der vorgegebenen arbeitet und den Vorhersagefehler minimiert (vgl. SM2). Es ergibt sich dann die folgende Vorhersageanordnung:

Eingabe

vorherzu- sagende Trans- formation

vorhersagen- de Transfor- mation

Vergleich

Falls Y kompakt ist, wurde in DOl gezeigt, daß stets eine optimale Vorhersage exis- tiert. Dieser Existenzsatz liefert jedoch keine Hinweise zur Konstruktion einer opti- malen Vorhersage. Dagegen wird in§ 4.1 gezeigt, daß sich eine solche Vorhersage mit Hilfe linearer Programme berechnen läßt, wenn zusätzlich X kompakt metrisch und die Transformation stetig ist. Hierbei wird angenommen, daß die Eingabe in die

vorhersagende wie in die vorherzusagende Transformation durch eine stochastische Quelle gesteuert wird.

Sind X und Y endlich, so genügt dies noch nicht zur expliziten Charakterisierung optimaler Vorhersagen. Es zeigt sich jedoch, daß eine solche Vorhersage möglich ist.

Dies geschieht in§ 4.2 - wiederum mit Hilfsmitteln der linearen Programmierung.

Die so erhaltene Vorhersage ist sogar optimal in dem Sinne, daß der Vorhersage- fehler für jedes Eingabewort_rri~~_ninia~_ is_t. In§ 4.3 wird dann ein Alqorithmus anqe- geben, der für einen vorgegebenen stochastischen Automaten bei gegebenen Ein- und Ausgabewörtern den Wert der optimalen Vorhersage berechnet. Dieser Algorithmus be- nötigt im schlechtesten Fall O(t•n-t10g27 ) arithmetische Operationen für Wörter der Länget (mit n := card(Y), t := card(Z)). Die mittlere Anzahl der arithmetischen Operationen ist 0(~10927 ) mit Streuung O(/n-t10

g27 ). Da hier über kontinuierlich viele Automaten gemittelt werden muß, erweist es sich als sinnvoll, den jeweils in Rede stehenden Automaten als Realisation eines stochastischen Prozesses mit Werten in den Wahrscheinlichkeiten über Z ^x Y zu betrachten. Dabei wird in Verallgemeiner- ung der üblichen Annahme der Gleichverteilung aller zu betrachtenden Ereignisse le- diglich angenommen, daß die Verteilung dieses Prozesses totalstetig bezüglich der Gleichverteilung auf diesen Wahrscheinlichkeiten ist.

Um die vorliegende Arbeit in sich abgeschlossen zu machen, werden in einem Anhang die wichtigsten hier benötigten Begriffe und Beziehungen aus der Wahrscheinlich- keitstheorie, der Topologie und der linearen Optimierung aufgeführt.

1. Automaten und ihre Transformationen

In diesem Kapitel sollen die für das folgende notwendigen Grundbegriffe aus der Automatentheorie bereitgestellt werden. Diese Grundbegriffe sind bekannt, neu ist

in diesem Kapitel lediglich der Satz von der Darstellung stochastischer Transfor- mationen (Satz 1.6).

§ 1.1 Stochastische Automaten

Ein endlicher stochastischer Automat arbeitet folgendermaßen: nach der Eingabe eines Buchstaben in einem festen Zustand wird fiJr jedes Paar,bestehend aus einem Zustand und einem Ausgabebuchstabenieine Wahrscheinlichkeit dafür angegeben, da6 der Automat in den Zustand übergeht und den Buchstaben ausgibt. Hat man nun keine endlichen oder abzählbar unendlichen Alphabete zur Verfügung, so kann man in der Regel nicht mehr für jede Kombination von Zuständen und Ausgaben eine Wahrschein- lichkeit angeben, sondern muß sich darauf beschränken, für gewisse Mengen die Wahrscheinlichkeit dafür anzugeben, daß die Kombination darin enthalten ist.

1.1 Definition: Gegeben seien meßbare Räume (X,A), (Y,B) und (Z,C) als Eingabe-, Ausgabe- und Zustandsraum. ((X,A),(Y,B),(Z,C);K) heißt stochastischer_Automat, falls Kein Markoff-Kern von (X x Z,A ^® C) nach (Z x Y,C ^® B) ist.

Falls C ®Balle endlichen Teilmengen von Z x Y enthält (also z.B. für C= P(Z),

B = P(Y)) erkennt man leicht, daß der diskrete Fall, d.h. der Fall,daß zu jedem x EX, z E Zeine höchstens abzählbare Teilmenge A(x,z) E B ® C existiert mit K(x,z)(A(x,z)) = 1, in dieser Definition mit erfaßt ist. Solche stochastischen Au- tomaten sollen

9i~~r~!

genannt werden.

Nach Eingabe von x EX im Zustand z E Z gibt K(x,z)(D) für DE C®B an, mit welcher Wahrscheinlichkeit für den neuen Zustand z' E Z und die Ausgabe y E Y gilt z'y ED.

Der Automat soll sequentiell arbeiten, K muß also für Eingabewörter erklärt werden.

Man setzt hierzu K1 := K; ist Kn schon als Markoff-Kern von (Xn ^x Z,An © C) nach

n n n n+l

(Z x Y , C ® B) definiert, so setzt man für v EX , x EX, z E Z, DE C@ B

Definiert man nun

K (e,z)(D) * s(z,e)(D),

* lq(v)

K ( V ' z ) ( D ) . - Kl g ( V ) ( V ' z )( D II

z

^X

y

^{C ) '}

(v Ex*, z E Z, DE C08*), so erkennt man unmittelbar, daß K* ein Markoff-Kern von (X* ^x Z,A*@ C) nach (Z ^x v*, C ~ B*) ist.

Nimmt man an, daß der Startzustand von einer initialen Zustandsverteilung p mit p ^E Prob(Z,C) regiert wird, so gibt mit

* f *

Kp(v)(D) := K (v,z)(Z ^x D) p(dz)

*

*

Kp(v)(D) an, mit welcher Wahrscheinlichkeit nach Eingabe von v EX das Ausgabe- wort in DE B* liegt. K; erweist sich als stochastische Transfonnation im folgen- den Sinne:

1.2 Definition: Ein Markoff-Kern T von (X*,A*) nach (Y*,B*) heißt

HQ~Q~~!i~~b§

Transformation, falls rur jedes v Ex* gilt [ ST 1]

[ST 2]

T(v)(Ylg(v)) = 1,

T(vx)(B ^X Y) = T(v)(B) rur jedes XE X, BEB. *

Starke (ST) nennt stochastische Transformationen sequentielle stochastische Opera- toren, falls X und Y abzählbar sind und ihre Potenzmenge als a-Algebra tragen.

Daß Kp eine stochastische Transformation ist, sieht man wie folgt aus Gleichung * (1)

K;(vx)(B x Y) ⁼ f/K(x,z)(Z x {y; wy E B x Y}) Klg(v)(v,z)(dz,dw) p(dz)

= JK*(v,z)(Z ^x B) p(dz)

*

= Kp ( v) ( B), also gilt [ST 2], [ST 1] ist trivial.

Liegt der Fall vor, daß Y einelementig ist, so heißt der Automat stochastischer Zustandsautomat und wird als ((X,A),(Z,C);K) notiert. Die Fortsetzungsgleichung (1) führt in diesem Fall zur Gleichung

K*(vv' ,z)(C) ⁼ JK*(v' ,z)(C) K*(v,z)(dz) (2)

*

(v,v' E X , z E Z, CE C).

Ausgehend von (2) läßt sich zeigen, daß ein stochastischer Zustandsautomat eine Halbgruppe von stetigen linearen Operatoren auf dem normierten Raum aller be-

schränkten meßbaren Funktionen auf Z in sich induziert, was sich für Aussagen über das asymptotische Verhalten eines solchen Automaten heranziehen läßt (D04).

Fürµ E Prob(Z,C), CE Csetze man

Kv(µ)(C) := fK*(v,z)(C) µ(dz), dann ist

- *

F := {K; v EX}

V

eine nicht-kommutative Halbgruppe von Abbildungen von Prob(Z,C) in sich.

((Z,C),Prob(Z,C);F) erfüllt nach Konstruktion die Axiome einer unären stochastischen Algebra im Sinne von Daduna (DAD, Definition 1). In der genannten Arbeit ebenso wie in der Arbeit AS von Asendorpf stehen algebraische Konstruktionen im Vordergrund, um die Struktur dieser Automaten zu untersuchen bzw. Reduktionen durchzuführen.

§ 1.2 Nichtdeterministische Automaten

Ein nichtdeterministischer Automat weist jeder Eingabe und jedem Zustand eine Menge möglicher neuer Zustände und Ausgaben zu:

1.3 Definition: Gegeben seien nicht-leere Mengen X,Y,Z als Eingabe-, Ausgabe- und Zustandsmenge. (X,Y,Z;R) heißt nichtdeterministischer_Automat, falls R(x,z) r~r jedes x EX, z E Zeine nicht-leere Teilmenge von Z ^x Y ist.

z'y E R(x,z) bedeutet dann, daß der Automat in den Zustand z' übergehen und y aus- geben kann, wenn x im Zustand z eingegeben wurde. Im Gegensatz zu Schmitt (SMl) wird angenommen, daß R für alle· Paare xz definiert ist. Der Automat soll sequentiell arbeiten: man setzt R1 := R; falls Rn(v,z) für v E Xn, z E Z als Teilmenge von

Z ^x yn definiert ist, setzt man für v ^E Xn, x EX, z E Z

--·-

Rn+l (vx,z) := {z'wy; :iz

0 E Z: z

0w ^E Rn(v,z), z'y ^c:: R(x,z

0)}, ( 3)

also ist 0 ! Rn+l(vx,z) c Z x yn+l_

Setzt man nun

*

R (e,z) .- {(z,e)}, R (v,z) .- Rlg(v)(v,z), *

so gibt R*(v,z) die Menge aller möglichen Paare von neuen Zuständen und Ausgabewör- tern an, in die der Automat übergehen bzw. die er ausgeben kann, wenn im Zustand z das Wort v eingegeben wurde.

Startet der Automat in einem Zustand, der einer vorgegebenen Menge F von Startzu- ständen entnommen wird, so ist nach Eingabe von v EX *

* * *

RF(v) := {w E Y ; 3Z E Z 320 E F: zw ER (v,zo)}

die Menge aller möglichen Ausgabewörter. R; ist eine Automatentransformation im Sinne von

1.4 Definition: Sei S: x* • P(Y*) eine Abbildung. Dann heißt S

~~!Q~~!~Q!r~Q~fQC:

~~!iQQ

über X,Y, falls für alle v Ex* gilt 0

i

S(v) c ylg(v),

[AT 1]

[AT 2] w E S(v) genau dann, wenn wein Präfix eines Elements aus S(vx) für alle x EX ist.

Schmitt (SMl) nennt diese Transformationen Automatenkorrespondenzen; hier wird die Bezeichnung "Transformation ^II gewählt, um auf die später bewiesene Verwandtschaft zu stochastischen Transformationen hinzuweisen.

Ist card(Y) = 1, so heißt der Automat nichtdeterministischer_Zustandsautomat und wird (X,Z;R) notiert. Gleichung (3) führt in diesem Falle auf

* * *

R (vv¹ ,z) = U{R (v' ,z

0);z

0 ER (v,z)}, in diesem Fall setzt man für eine Menge F initialer Zustände

R;(v) .- U{R*(v,z); z E F}.

Im Falle card(R(x,z)) = 1 für alle x, z kann man den Automaten schreiben als (X,Y,Z;h) mit h: X x Z • Z x Y; er wii'd dann deterministisch genannt. Ist

( 3 ^{1 )}

f: X ^x Z ⁺ Y, g: X ^x Z ⁺ Z die Ausgabe- bzw. Zustandsfunktion, so wird durch

* *

g (vx,z) .- g(x,g (v,z)),

* * *

f (vx,z) .- f (v,z)f(x,g (v,z)),

* * *

h (vx,z) .- (g (vx,z),f (vx,z)) die sequentielle Arbeitsweise beschrieben.

Für einen festen Startzustand z E Z setzt man f* := f*(·,z); f* ist eine Automaten-

z z ---

~9Qil9~Qg

über X,Y; d.h. es gilt für f*: x* ⁺ y* und für jedes v Ex*

z

f;(v) E ylg(v), [AM 1]

[AM 2] f;(v) ist ein Präfix von f;(vx) für jedes x EX.

tiert ihn (X,Z;g).

§ 1.3 Freie Konstruktionen

Stochastische Transformationen, Automatentransformationen und Automatenabbildungen wurden als Ein-/Ausgabe-Transformationen der entsprechenden Automaten definiert.

Es ist bekannt, daß sich jede Automatentransformation und jede Automatenabbildung in einem geeigneten Automaten darstellen läßt; für stochastische Transformationen gilt dies unter einer schwachen topologischen Voraussetzung.

1.5 Satz:

Sei X ein Eingabe-, Y ein Ausgabealphabet.

a) Ist Seine Automatentransformation über X,Y, so existiert ein nichtdeterminis- tischer Automat (X,Y,Z

1;R) und eine Menge initialer Zustände F mit S = R;, b) Ist~ eine Automatenabbildung über X,Y, so existiert ein deterministischer

Automat (X,Y,Z

2;f,g) und ein Anfangszustand z mit~= f;.

Beweis:

a) SMl, Satz 1, b) ST, Satz I . ~

Ist Teine stochastische Transformation über den abzählbaren Alphabeten X,Y, so wird T eindeutig beschrieben durch die Werte auf den Ausgabewörtern. Definiert man für v,v' Ex*, w,w' E y* mit lg(v) ⁼ lg(w), lg(v') ⁼ lg(w')

T (v' )(i-1') := T(vv' )(ww') ,

v,w T(v)(w)

falls der Nenner positiv ist, so wird in CL, Satz 26, ein stochastischer Automat mit Zustandsmenge {T _v,w ; T(v)(w) > ^O} definiert, der T erzeugt. In dem hier be- trachteten Fall muß diese Faktorisierung durch ein Oesintegrationsargument ersetzt werden; diese Argument arbeitet jedoch nur in dem Fall, daß (Y,B) ein meßbarer Un- terraum eines polnischen Raums ist.

1. 6 Satz:

Seien (X,A), (Y,B)°meßbare Räume, so daß Y eine Borelsche Teilmenge eines polnischer Raums mit B als Spur ist. Zu der stochastischen Transformation T existiert ein stochastischer Automat ((X,A),(Y,B),(Z,C);K) und eine Startwahrscheinlichkeit p E Prob(Z,C), so daB T =

K;

^gilt.

Beweis: 1. Tn bezeichne die Restriktion von Tauf (Xn,An), also ist Tn ein Markoff- Kern von (Xn,An) nach (Yn,Bn) für jedes n. Sei nun n > 1 fest. Nach Theorem A.3 existieren Markoff-Kerne Mn von (Xn ^x yn-l,An@ Bn-l) nach (Y,B), Nn von (Xn,An) nach (Yn-l,Bn-l), so daß für x

1 ... xn E Xn, BE Bn gilt

Tn(x₁ ... xn)(B) = ft\(x₁ ... xnw)({y; wy E B}) Nn(x₁ ... xn)(dw). (4)

Insbesondere erhält man aus (4) für meßbares B¹ c yn-l

Nn(x₁ ... xn)(B') = f~\(x₁ ... xnw)({y; wy E B^{1 x} Y}) Nn(x₁ •.. xn)(dw)

= T n ( x ₁ ^... xn) ^{(BI x} Y)

= T n-1 ( x 1 ... xn-1 )( B' ) wegen[ST2].

Daher läßt sich Mn(x_{1 ...} XnYi···Yn-l)(A) für A E B als die Wahrscheinlichkeit dafU1 interpretieren, daß Yn E A, falls nach Eingabe x₁ ... xn die Ausgabe y₁ ... yn-l be-

kannt ist. Aus Gleichung (4) folgt durch vol ]ständige Induktion, daß für Bn-meß=

bares und beschränktes f: yn ⁺ JR gilt

ff

dT (x

1 ... x )

n n

=

f. . ff (

^{Y l ...} Y ) M ( n n X l ... X n y l ... y l ) ( dy ) n- n 2. Man setzt nun für x1y1 ... xnyn E (X ^x Y)*, x EX~

. { Mn+l(x_{1 ..} xnxy_{1 ...} yn)' falls n > 0, P(x₁y₁ ... xnyn)(x)

.=

T1(x), falls n = 0.

Dann ist

* {

(X x Y) x X ⁺ Prob(Y,B) P:

vx ^i-+ P(v)(x)

meßbar, denn Mn und T1 sind Markoff-Kerne; insbesondere ist P(v) für jedes feste v E (X ^x Y)* ein Markoff-Kern von (X,A) nach (Y ,B). Man versehe nun

Z := {P(v); v E (X x Y) }

*

mit der finalen 0-Algebra C bezüglich P: (X ^x Y)* ⁺ Z und (A ^© B)*.

Für HE C ^® B setze man nun

K(x,P(v)(H) := f2(P(vxy),y)(H) P(v)(x)(dy),

dann ist offenbar K(x,P(v)) eine ~Jahrscheinlichkeit auf (X ^x Z,A®C). Da

vx ^i-+ P(v)x und vy ~ P(v)y nach Konstruktion von C meßbar sind, ist Kein Markoff- Kern von (X x Z,A ^® C) nach (Z x Y,C ~ B).

3. Durch vollständige Induktion zeigt man zunächst, daß für HE C ^® Bn, x1 ... xn E Xn, v E (X x Y)* gilt

( 4)

Kn ( x 1 · .. xn , P ( v) ) ( H) ^{( 5)}

Für n = 1 ist dies die definierende Gleichunq von K. Sei also (5) für ein n EIN nachgewiesen, dann erhält man für jede meßbare und beschränkte Funktion f von Z ^x yn nach IR

ff

d Kn ( x l ... x n , P ( v ) )

=

f

.ff(P(vx 1y1 .. xnyn),y 1 .. yn) P(vx 1y1 .. xn-lyn-l)(xn)(dyn) .. P(v)(x1)(dy1)

Daher erhält man für HE ^{C ®} Bn+l ( mit H(y1 ... yn) := {zy; zy1 . .. yny EH}) Kn+l(x 1 ... xnx,P(v))(H)

=f[K(x,z)(H(y 1 ... yn))] Kn(x 1 ... xn,P(v))(dz,dy 1 ... yn)

=

J . .. J

[f E ( P ( vx 1 ^y 1 .. xny n xy), y 1 .. ^y nY) ( H) P ( vx 1 ^y 1 .. xny n )( x) ( dy) ] . .. P ( v) ( x 1) ( ^dy 1) , also gilt (5) auch für n+l.

Setzt man nun in (5) v ⁼ e, so erhält man wegen (4¹⁾ für BE ^Bn Kn ( x 1 ... xn, P ( e)) ( Z ^x B)

= f .. fE(y1···Yn)(B) Mn(x1··XnY1··Yn-l)(dyn) ... M2(xlx2yl)(dy2) Tl(xl)(dyl)

= Tn(x1 ... xn)(B).

Definiert man also als initiale Zustandsverteilung p .- E(P(e)), so gilt für den eben definierten stochastischen Automaten

K;

^{= T.I}

Satz 1.6 ist nützlich, wenn es lediglich darum geht, das Ein-/Ausgabeverhalten stochastischer Automaten zu betrachten, denn man kann sich nach der Aussage des Satzes auf das Verhalten stochastischer Transformationen beschränken. Dies wird für die Vorhersagetheorie stochastischer Automaten nützlich sein.

Im folgenden wird bei der Notation meßbarer Räume die Angabe der a-Algebra unterlas- sen, es wird die Konvention getroffen, daß sich die Meßbarkeit einer Menge oder einer Abbildung stets auf eine fixierte a-Algebra bezieht; bei topologischen Räumen ist dies stets die Borelsche o-Algebra. Für einen meßbaren Raum (M,M) trage die Menge Prob(M) aller Wahrscheinlichkeitsmaße auf M die a-Algebra W(M); ist M polnisch, so sei Prob(M) stets mit der Topologie der schwachen Konvergenz versehen, deren Borel- Mengen mit W(M) übereinstimmen (vgl. Anhang).

2. Darstellung von Zustandsautomaten

Das Ziel dieses Kapitels besteht darin, Zusammenhänge zwischen nichtdeterministische und stochastischen Zustandsautomaten aufzuzeigen. Es werden Voraussetzungen darür angegeben, wann ein nichtdeterministischer Zustandsautomat von einem stochastischen in dem Sinne erzeugt wird, daß die möglichen Zustände im nichtdeterministischen Fall

gerade durch die Menge a 11 er für einen stochas ti sehen Automaten errei eh baren Zustand charakterisierbar ist. Dies ist ohne topologische Voraussetzunqen nicht möglich.

Vor der Beschreibung dieser Zusammenhänge wird gezeigt, daß sich die Menge supp(K*(v,z)) aller nach Eingabe von v im Zustand z erreichbaren Zustände eines stochastischen Automatentbereits durch einen deterministischen Automaten mit erwei- tertem Eingabealphabet kennzeichnen läßt. Daraus wird gefolgert, daß sich unter einer Stetigkeitsvoraussetzung das sequentielle Verhalten eines stochastischen Automaten durch das sequentielle Verhalten eines diskreten im Sinne der schwachen Topologie approximieren läßt.

Im letzten Paragraphen wird gezeigt, daß stochastische und nichtdeterministische Automaten gute Strategien in dem Sinne besitzen, daß Zustandstransitionen existieren,

die eine vorgegebene Bewertung maximieren oder zumindest nahe an das jeweils mög- liche Maximum herankommen.

Sei für diese Kapitel X ein meßbarer, Zein polnischer Raum; IN trage die diskrete cr-Algebra P(IN).

§ 2.1 Darstellung stochastischer Zustandsautomaten

Sei (X,Z;K) ein stochastischer Zustandsautomat. Nimmt man an, daß nach Eingabe von v E ~ im Zustand z für alle z¹ E Z gilt K*(v,z)({z^{1} )} = 0, so wird einsichtig, daß sich die Menge aller ²¹ mit K*(v,z)({z^{1} )} > 0 nicht wie im endlichen Fall als Menge aller erreichbaren Zustände charakterisieren läßt. Andererseits geht wegen K*(v,z)(Z) = 1 der Automat in ~inen neuen Zustand ·über. Nun ist K*(v,z)(C) für die Borel-Menge C die Wahrscheinlichkeit dafür, daß der neue Zustand in C liegt; daher wird ein Zustand z' als erreichbar bezeichnet, wenn für jede offene Umgebung U von

* * *

z¹ K (v,z)(U) > O gilt, also genau dann, wenn z¹ E supp(K (v,z)). Da supp(K (v,z))

* *

abgeschlossen ist, und supp(K (v,z)) n U fa

0

genau dann, wenn K (v,z)(U) > 0, ist supp(K*(·,·)) eine abgeschlossenwertige, schwach meßbare Abbildung.

Dj~ _ _J,1enge aller möglichen Zustände kann unter einer Regularitätsbedingung durch ei-

nen meßbaren deterministischen Automaten ausgeschöpft werden; dabei heißt ein deterministischer Automat meßbar, wenn seine Obergangs- und seine Ausgabefunktion

---

^'

meßbar sind. Jeder topologische Automat im Sinne von Pohl (PO, Def. 1.1) ist meßbar.

Ein erster Schritt zur gewünschten Darstellung ist 2.1 Lemma:

Sei (X,Z;K) ein stochastischer Zustandsautomat mit der Eigenschaft, daß für x E X, U ^c Z offen\

{ z; K(x,z)(U) > 0}

offen in Z ist. Gilt für den deterministischen Automaten (X,Z;g) g(x,z) E supp(K(x,z))

für jedes x ^E X, z ^E Z, so gilt auch für jedes v ^{E { ,} z ^E Z

* *

g (V, Z) E S upp ( K (V, Z) ) . Beweis: 1. Wegen

*

* *

g (vx,z) ⁼ g(x,g (v,z)) E supp(K(x,g (v,z)) genügt es nachzuweisen, daß

* *

supp(K(x,g (v,z)) c supp(K (vx,z)) für alle ^VE

x*,

^XE X, ZE

z

gilt.

2. Ist diese Inklusion für Wörter der Länge n bewiesen, so seien v E

x1,

x E X, z E Z fest. Ist z' E supp(K (x,g (v,z)) und U eine offene Umgebung von z', so ist *

A := {z; K(x,z)(U) > O}

eine offene Umgebung von g (v,z) nach Voraussetzung an K, also

*

K* ( v, z )( A) > 0 nach Induktionsvoraussetzung. Wegen

K*(vx,z)(U) ~ JK(x,z)(U) K*(v,z)(dz) > o

A erhält man z' E supp(K*(vx,.:..l.l_j

Die Voraussetzungen des Lemmas sind insbesondere dann erfüllt, wenn für jedes x EX

K(x,•) als Abbildung von Z nach Prob(Z) schwach stetig ist (PA, Theorem II.6.1).

Die Umkehrung gilt jedoch nicht: man betrachte A := B := [0,1],

·-{;;1,,

^{falls O;;; x} <

2,

1

L(x) .- l

E(l), falls

2 ;;;

^{x;;; 1,}

dann ist {x; L(x)(U) > 0}offen in A, falls U c B offen ist; dies gilt, falls U ein (in B) offenes Intervall ist, also auch für beliebiges offene U. List jedoch nicht stetig, denn

lim

fy

^{L(~ - ~)(dy)}

n-=

Mit Lemma 2.1 läßt sich nun zeigen:

2.2 Satz:

= f

1 ^{y dy}

=

0

1

^{j, l}

2

Der stochastische Automat (X,Z;K) erfülle die Voraussetzung von 2.1. Dann exist- iert ein meßbarer deterministischer Automat 0N x X,Z;g), so daß

{g*(a,v,z); a E !Nlg(v\ = supp(K*(v,z))

*

t

fUr alle ^V EX, z E

z

gilt.

Beweis: 0. Die Idee besteht darin, von der schwachen Meßbarkeit der supp-Abbildun0 Gebrauch zu machen, indem man sich eine Castaing-Repräsentation (vgl. Anhang) ve rs cha fft.

1. Sei also (un)nE IN eine Castaing-Repräsentation für (x,z) 1+ supp(K(x,z)) (Theo- rem A.4). Setzt man

g(n,x,z) := un(x,z),

so ist (IN x X,Z;g) ein meßbarer deterministischer Automat. 2.1 impliziert nun, daß g*(a,v,z) E supp(K*(v,z))

für alle v EX , a E ~lg(v), z E Z gilt, also bleibt für S ( V , Z ) : = { g * ( a, v , z) ; a E IN l g ( V ) }

zu zeigen

K*(v,z)(S(v,z)) = 1. (6)

t (lN x X)* wird mit {(a,v); a EIN*, v

Ex;

^{lg(a) =} lg(v)} identifiziert

2. Ist (6) für v mit lg(v) ~ n bewiesen, so halte man v E Xn, x EX, z E Z fest.

Dann ist

H := {z; K(x,z)(S(vx,z)) = 1}

als Komplement der offenen Menge

{z; K(x,z)(Z - S(vx,z)) > O}

abgeschlossen. Wegen

* *

g (al,vx,z) = g(l,x,g (a,v,z)) und

K(x,g*(a,v,z))(S(vx,z)) ~ K(x,g*(a,v,z))({g(l,x,g (a,v,z));l8N} )=l erhält man supp(K*(v,z)) c Haus der Induktionsvoraussetzung. Daher gilt

K*(vx,z)(S(vx,z)) =

f

*

supp(K (v,z))

*

K(x,•)(S(vx,z)) dK (v,z) = 1, damit ist (6) für Wörter der Länge n+l bewiesen. ¹

Satz 2.2 läßt sich so interpretieren, daß alle Informationen über die Verhaltens- möglichkeiten eines stochastischen Automaten bereits in einem determinierten Sys- tem enthalten sind. Als Konsequenz ergibt sich, daß ein stochastischer Zustands- automat mit stetigen Zustandsübergängen durch einen solchen Automaten, der in je- der Situation nur endlich viele Alternativen zum Zustandswechsel hat, also durch einen diskreten stochastischen Zustandsautomaten, im Sinne der schwachen Konvergenz approximiert werden kann.

2.3 Satz:

Der stochastische Automat (X,Z;K) habe die Eigenschaft, daß K(x,.) für jedes x EX schwach stetig ist. Dann existiert ein stochastischer Automat

ON

^x X,Z;L) mit fol- genden Eigenschaften:

a) card(supp(L(m,x,z)) ~ m für allem EIN, x EX, z E Z,

b) das Netz {L*(a,v,z)); a E ~lg(v)} konvergiert in der schwachen Topologie gegen K*(v,z) für alle v Ex*, z E Z.

Beweis: 0. Für eine die Topologie erzeugende r1etrik p sei B (z) .- {z; p(z,z) s r}

r

die abgeschlossene Kugel um z mit dem Radius r. Man wähle den deterministischen Automaten (IN ^x X,Z;g) gemäß 2.2.

1. Zunächst konstruiert man eine Folge stochastischer Automaten, die b) für lg(v) = 1 und a) erfüllen.

Seien für den Augenblick x EX, z E Z fest. N~ wird folgendermaßen definiert:

1 E No

m'

mit n E N~, n' := inf{l; p(g(n,x,z),g(t,x,z));;; ~} ist n' E N~.

Für N := N° n {1, ... ,m} setze man am :=

I

^K(x,z)(B

11 (g(n,x,z)).

m m EN m

n m

Da {g(n,x,z); n EIN} dicht in supp(K(x,z)) ist, gilt a :.. 1 für m ^{• 00 ,} also kann

m

o.B.d.A. am> 0 für allem EIN angenommen werden.

Definiert man nun

L(m,x,z) := -¹

I

K(x,z)(Bl/m(g(n,x,z)))•s(g(n,x,z)), am nENm

so erhält man

Ist

card(supp(L(m,x,z))) ~ card(Nm) ~- m, L(m,x,z)(supp(K(x,z)) ⁼ 1.

Am:= supp(K(x,z)) -U{Bl/m(g(n,x,z)); n E Nm}, so gilt K(x,z)(Am) ^• 0 für m ^{• 00} nach Wahl von g.

Sei nun f: Z ⁺ R beschränkt und gleichmäßig stetig, dann läßt sich wie folgt ab- schätzen:

lff dK(x,z) -

ff

dl(m,x,z)/

J

lf - f(g(n,x,z))! dK(x,z) +

J

/f/ dK(x,z)

Bl/m(g(n,x,z) Am

~ sup{lf(z^{1) -} f(g(n,x,z))I; z¹ E Bl/m(g(n,x,z)), n E Nm}+

J

lfl dK(x,z) Am

• Ofürm ^{• 00,}

denn der erste Summand konvergiert gegen Null wegen der gleichmäßigen Stetigkeit von f, der zweite nach Konstruktion von A. Wegen PA, Theorem II.6.l~ist K(x,z)

m der schwache Limes von (L(m,x,z))mE IN'

---·-

2. Die Behauptung b) wird nun durch vollständige Induktion nach lg(v) geführt. Sie gelte, falls lg(v) ⁼ n;

seien ✓ i

Xn, x EX, z ^E Z fest, f: Z +~ beschränkt und

stetig, ^s > 0 beliebig.

Zu ^f, s/2 existiert n₀ ^E ~ mit

\ff

dL(n,x,z) - Jf dK{x,z) ¹ < s/2 für n ~ n0 ,

zur stetigen und beschränkten Funktion

ff

dK{x,•) und s/2 existiert a⁰ EINn mit

\J[Jf dK(x,·)1 dl*(a,v,z) -

f[ff

dK(x,·)1 dK*(v,z) \ < s/2 für a ~ a

0 gemäß Induktionsvoraussetzung, also

\ff

dK*(vx,z) - Jf dl*(an,vx,z)I

=\fff dK(x,·) dK*(v,z) -

fff

dl(n,x,•) dl*(a,v,z)\

< s für an~ an . _{0 0}

Daraus folgt b) für Wörter der Länge n+l, und der Satz ist bewiesen~

Man setze im Automaten QN ^x X,Z;g) gemäß 2.2 g (x,z) := g(n,x,z), also erhält man _n eine Folge ((X,Z;gn))nE IN von Automaten, so daß {gn(x,z); n E !N} dicht in

supp(K(x,z)) ist. Man mag nun vermuten, daß dies auch für Wörter v mit lg(v)

~

²

gilt; dies ist nicht der Fall, wie folgendes Beispiel zeigt:

2.4 Beispiel:

X := Z := \R, p(z,z^{1 )} := \z - z^{1 \ ;} K(x,z) := ~(s(x+z) + s(x-z)), also ist K(x,•) schwach stetig . Für a

1, ... ,an E IR, Tc {l, ... ,n} setze man AT(a1,· .. ,an) :=

i

(-l)s(i)(T).a.,

i=l l

dann zeigt man mit vollständiger Induktion nach n, daß

da

{xn + AT(x

1

, ... ,xn_

1,z); Tc {l, ... ,n}} ={AT(x_{1, ...} ,xn,z); n+l $Tc {l,.,n+l}

{-xn - AT(x 1

, ... ,xn_

1,z); Tc {l, ... ,n}} ={AT(x_{1, ...} ,xn,z); n+l ET c {l,.,n+l}

Mit g

1

(x,z) := x+z, g

2(x,z) := x-z gilt supp(K(x,z)) = {g₁{x,z), g2(x,z)}, da aber

* n

g1(x

1 ... x ,x ) _{n o} = _.

l

x.,

0 ¹

1=

i' }

.

n

I

i=O gilt im allgemeinen nicht

(-l)n-i _X.'

1

* ' * *

supp(K (v,z)) ⁼ tg1(v,z), g2(v,z)}.

Diesem Beispiel entnimmt man auch, daß in Satz 2.3 eine Folge ((X,Z;L )) c/N von n n'--

diskreten stochastischen Automaten nicht zur Approximation genügt.

§ 2.2 Darstellung nichtdeterministischer Zustandsautomaten

In diesem Paragraphen wird gezeigt, daß sich unter Halbstetigkeitsbedingungen die Menge der neuen Zustände eines nichtdeterministischen Automaten durch die möglichen Transitionen eines stochastischen Automaten darstellen lassen. Dies erfordert zu- mindest, daß die definierende Relation abgeschlossene Werte annimmt und schwach meßbar ist. Sei in diesem Paragraphen der nichtdeterministische Automat (X,Z;R) fest, so daß R*: x* ^x Z ⁺ F(Z) schwach meßbar ist.

2.5 Satz:

Für jedes x EX sei R(x,.) unterhalb stetig. Dann existiert ein stochastischer Automat (X,Z;K) mit

supp(K*(v,z)) ⁼ R*(v,z)

für alle v Ex*, z E Z, falls Z cr-kompakt oder R kompaktwertig ist.

( 7)

Beweis: 1. R1 ist schwach meßbar, also existiert im Vorgriff auf§ 3.2 nach 3.12 unter jeder dieser Voraussetzungen ein Markoff-Kern K von X ^x Z nach Z, so daß R1(x,z) ⁼ supp(K(x,z)) für alle x EX, z E Z gilt. Es ist also Gleichung (7) für

*

v EX mit lg(v) > 1 nachzuweisen.

2. Sei dies für lg(v) ~ n geschehen und v E Xn, x EX, z E Z fest.

Ist z¹ E R*(v,z), U eine offene Umgebung von z^1, so findet man nach Konstruktion von R* zu z¹ ein

z

E R*(v,z) mit z^{1 E} R(x,z).

A := {z^11; R(x,z¹¹⁾ n U f 0}

ist eine offene Umgebung von z, und K(x,z¹¹)(U) > 0 für z^{11 E} !I gilt nach Vorausset-

zung an R. Wegen der Induktionsvoraussetzung hat man K (v,z)(A) * > 0,

daher

K*(vx,z)(U) ~

J

K(x,z¹¹)(U) K*(v,z)(dz¹¹⁾ > 0, A

also ²¹ E supp(K (vx,z)).

Ist z¹

$

R*(vx,z), so findet man, da R* abgeschlossene Werte annimmt, eine offene Umgebung U von z', die disjunkt zu R*(vx,z) ist. Aiso ist für alle z E R*(v,z)

auch R(x,z) disjunkt zu U, d.h. K(x,z)(U) ⁼ 0. Wegen der Induktionsvoraussetzung ist K*(vx,z)(U) = *

J

K(x.z)(U) K*(v,z)(dz),

R (v,z)

also K*(vx,z)(U) ⁼ 0. Daher folgt z'

$

supp(K*(vx,z)). Damit ist (7) für Wörter der Länge n+l bewiesen.J

2.6 Korollar:

Unter der Voraussetzung von 2.5 existiert zu (X,Z;R) ein meßbarer deterministischer Zustandsautomat QN ^x X,Z;g) mit

{ g * ( a, V, z) ; a E ^IN l g ( v)} = R* (V, z) für ^V EX , * ^Z E Z.

Beweis: Ist (X,Z;K) wie in 2.5, dann ist für U offen K(x,z)(U) > 0 genau dann, wenn R(x,z) n U

t 0.

Da R(x,•) unterhalb stetig ist, erhält man mit 2.2 die Behauptung.j Die Informationen über mögliche Zustandsänderungen sind also unter der Voraussetzung von 2.5 bereits im wesentlichen, d.h. bis auf Bildung der abgeschlossenen Hülle, in einem deterministischen Automaten enthalten.

Wenn man annimmt, daß der nichtdeterministische Automat seinen Startzustand einer vorgeschriebenen Menge initialer Zustände entnimmt, die eine Startverteilung des darstellenden stochastischen Automaten trägt, so bleibt die Darstellbarkeit erhal- ten:

2. 7 Satz:

Sei unter der Voraussetzung von 2.5 zusätzlich R*(v,•) unterhalb stetig für jedes v Ex*. Ist dann K wie in 2.5 gewählt, FE F(Z) eine Menge von Anfangszuständen, p E Prob(Z) eine Startverteilung mit F = supp(p), so gilt

* für jedes v EX .

Beweis: 1. Zunächst findet man zu FE F(Z) ein p E Prob(Z) mit F = supp(p):

da F abgeschlossen ist, enthält F eine abzählbar dichte Teilmenge {zn; n EIN}, P :=

l

2-ns(z)

nE!N n

leistet dann das Gewünschte (vgl. DSC, III.7.4).

2. Für v = e hat man

* *

RF(e) ⁼ F ⁼ supp(Kp(e)), also kann lg(v) > 0 angenommen werden.

Wegen

K;(R;(v)) ⁼

f

K (v,z)(RF(v))p(dz) ^{* *} F

f

^{* *}

;;;; K (v,z)(R (v,z))p(dz) F

= 1 gilt supp(K;(v)) ^c R;(v).

Ist z E RF(v), U eine offene Umgebung von z, so ist wegen der Unterhalbstetigkeit

*

von R ( v, ·)

*

H := {z^1; R (v,z

*

¹⁾ n U I 0}

offen mit F n Hf

0,

also p(H) > 0, und z¹ EH zieht K*(v,z¹)(U) > 0 nach sich.

* * *

Damit erhält man Kp(v)(U) > 0, also RF(v) c supp(Kp(~

Bis jetzt ist noch unklar, wann die Voraussetzungen von Satz 2.5 bzw. Satz 2.7 er- füllt sind. Unter der Voraussetzung, daß R kompaktwertig ist, so daß R(x,•) ober- und unterhalb stetig ist, läßt sich zeigen, daß die Voraussetzungen von 2.5 er-

füllt sind. Bevor das gezeigt wird, sollen Caratheodory-Abbildungen, die sich auch später als nützlich erweisen werden, eingeführt werden.

2.8 Definition: Für einen meßbaren Raum T und zwei separable metrische Räume A,B wird eine Abbildung f: T x A + B Caratheodort-Abbildung genannt, wenn gilt

vt ET: f(t,•) ist stetig, va E A: f(•,a) ist meßbar.

Jede Caratheodory-Abbildung ist meßbar (HI, Theorem 6.1). Wird C(Z) mit der Haus- dorff-Metrik versehen, so ist C(Z) ein separabler metrischer Raum, da die endlichen Teilmengen einer in Z dichten Teilmenge dicht in C(Z) liegen. Daher ist R genau dann eine Caratheodory-Abbildung, wenn R schwach meßbar ist und für jedes x EX R(x,·) ober- und unterhalb stetig ist (vgl. Anhang).

2.9 Satz:

Ist R: X x Z + C(Z) eine Caratheodory-Abbildung, so existiert ein stochastischer Automat (X,Z;K} mit

*

*

supp(K (v,z)) = R (v,z) für alle ^V EX , z E

* z.

Beweis: 1. Es wird gezeigt, daß R*:

x*

^x Z ⁺ C(Z) eine Caratheodory-Abbildung ist, daraus folgt dann mit 2.5 die Behauptung. Sei gezeigt, daß Rn eine Abbildung dieses Typs ist. Da R*(v,z) für v E Xn, x EX, z E Z kompakt und R(x,•) stetig ist,

ist R*(vx,z) kompakt (vgl. BER, Theoreme VI.1.3). Man überprüft sofort, daß

R*(vx,•) oberhalb und unterhalb stetig, also stetig ist. Da Rn schwach meßbar ist, findet man nach Theorem A.4 eine Castaing-Repräsentation (uk)kE IN für Rn. Ist z E Z, CE C(Z), so ist

n+l

*

E .- {vx EX ; R (vx,z) ^C C}

=

u

^{VX EX n+l ; R(x,uk(v,z)) C C},

kElN

da R stetig ist. Da uk(•,z) meßbar ist, ist vx ⁱ⁺ R(x,uk(v,z)) schwach meßbar, also

ist E eine meßbare Teilmenge von Xn+l. Damit folgt die Behauptung, wenn man be- rücksichtigt, daß eine Abbildung in C(Z) genau dann meßbar bezüglich der Borel- Mengen, die von der Hausdorff-Metrik stammen, ist, wenn sie schwach meßbar ist

(vgl. Anha~

Aus 2.9 erhält man zusammen mit 2.6, daß ein meßbarer deterministischer Automat

ON

^x X,Z;g) so existiert, daß stets gilt

R

*

^{(V, Z) = {} g

* (

a, V, z) ; a E IN l g ( v) } ,

falls die Zustandsübergänge von einer Caratheodory-Abbildung regiert werden. Man mag nun vermuten, daß die Stetigkeit von R* die Wahl des deterministischen Automa-

ten so beeinflußt, daß g* selbst wieder eine Caratheodory-Abbildung ist. Dies ist vermutlich falsch. Es kann gezeigt werden, daß zu R(x,•) eine stetige Abbildung yx: Z ⁺ Z existiert mit yx(z) ^E R(x,z) für jedes z ^E Z (M,b;, (1.12),(6),(e), MI,

§ 9). Wegen 2.9 und 2.1 folgt daraus, daß für die wiederum stetige kanonische Fort- setzung y: wieder y:(z) E R*(v,z) gilt. Es ist aber weder zu envarten, daß

x ~ y meßbar ist, noch daß sich eine abzählbare Menge dichter stetiger Selektio- x

nen finden läßt.

§ 2.3 Gute Strategien für bewertete Zustandsautomate~

Eine Strategie für einen Zustandsautomaten mit vorgegebenen Anfangszustähden ordnet jedem Eingabewort einen erreichbaren Zustand zu. Bewertet man nun die angenommenen Zustände in Abhängigkeit von der Eingabe (z.B. im Fall lernender Automaten, vgl.

004, § 3), so entsteht die Frage nach guten Strategien, wobei eine Strategie~ bes- ser bewertet wird~ als eine Stategie

w,

wenn die jeweiligen Gewinne für~ größer als die für~ sind.

In diesem Paragraphen wird gezeigt, daß für stochastische Automaten fast optimale, für nichtdeterministische Automaten optimale Strategien existieren.

2.10 Definition:

1.) r: X

*

x Z ⁺ IR heißt ~~~fr!~~g, falls reine nach oben beschränkte Caratheodory-

Abbildung ist,

2.) Ist M:

x* +

F(Z) schwach meßbar, so heißt ^i.P:

x*+z ~!!:~!~gi~

für M, falls ^qi ein meßbarer Selektor fUr Mist,

3.) Die Strategie ^i.P heißt für die Bewertung rund s ~ 0 {r,s2-02timal, falls für alle v E X * gilt

r(v,1.P(v)) + s ~ sup{r(v,z); z ^E M(v)} .

Im stochastischen Fall setzt man M = supp(K;(•)), im nichtdeterministischen

M = R;. Dann ordnet jede Strategie einem Eingabewort einen erreichbaren Zustand zu, gute Strategien sorgen dafür, daß die Bewertung des jeweiligen Zustands möglichst groß ist. Zwei Beispiele mögen dies verdeutlichen.

Sei p eine beschränkte Metrik auf Z. Ist (X,Z;K) ein stochastischer Automat mit Anfangsverteilung p, so setzt man

r ( V , Z ) : : -

J

p ( Z , 2 I )

K; (

^{1/ )( dz I ) •}

Dann ist offenbar reine Bewertung, denn r(·,z) ist meßbar, und für zn ⁺ z erhält man aus dem Satz von Lebesgue r(v,zn) ⁺ r(v,z). Eine Strategie, die r maximiert, sagt offenbar die Zustandstransitionen im Mittel optimal voraus, denn wird nach Eingabe von v der Zustand z vorhergesagt, und tritt z' ein, so beträgt der negative Fehler -p(z,z' ); der Erwartungswert des Fehlers ist offenbar -r(v,z).

Ein weiteres Beispiel für Bewertungen ist durch Zielabstände gegeben. Analog zu MEN heißt G c x* x Zein

;i~l,

falls für jedes v Ex* gilt

G(v) .- {z E Z; VZ E G} /- 0, analog zu D02 heißt das Ziel ~~§~~r, wenn

X * 3 v ^>+ G(v) E C(Z)

schwach meßbar ist. Deutet man X als die Menge der Eingabereize eines (lernenden) Objekts, so ist nach Eingabe von v Ex* G(v) die Gesamtheit aller richtigen, er- wünschten Zustände im Sinne des vorgegebenen Ziels G. Sei nun G ein meßbares Ziel.

Reagiert das Objekt nach Eingabe von v mit z, so gibt p(z,G(v)) := inf{p(z,1^{1 ) ;} z' E G(v)}

den Zielabstand an; wegen der Kompaktheit von G(v) ist p(z,G(v)) ⁼ 0 gleichwertig damit, daß das Ziel erreicht wurde. Nimmt man weiter an, daß das Ziel möglichst früh erreicht werden soll, so erscheint es sinnvoll, einen Diskontierungsfaktor ß > 1 einzuführen. Mit

r(v,z) .- -ßlg(v)p(z,G(v))

ist r dann eine Bewertung wegen der Meßbarkeit von G (HI, Theorem 3.3, b)). Eine gute Strategie führt dann das Objekt möglichst schnell möglichst nahe an das Ziel heran.

über die Existenz guter Strategien gibt Auskunft 2. 11 Satz:

Sei (X,Z;K) ein stochastischer Zustandsautomat mit Anfangsverteilung p, reine Be- wertung.

a) Ist supp(K;(v)) für jedes v

Ex*

kompakt, so existiert eine (r,0)-optimale Strategie,

b) Ist Z 0-kompakt, so existiert zu jedem s ^> 0 eine (r,s)-optimale Strategie.

Beweis: 1. a) folgt mit SCl, Theorem 2; b) soll mit Hilfe der 0-Kompaktheit darauf zurückgeführt werden.

2. Ist Z 0-kompakt, dann existiert eine monoton wachsende Folge (C ) _{n n'--}^c IN kompakter Nengen mit Z ⁼ U Cn. Wegen der schwachen Meßbarkeit von supp(K;(•)) ist für

neN

jedes n E IN

* *

Yn := {v EX ; supp(KP(v)) n Cn

i

0}

eine meßbare Teilmenge von

x*

(vgl. Theorem A.4); da Cn kompakt ist, ist

{

y ^• C(Z) F : n

n v ^1-+ supp(KP(v)) n Cn

meßbar, wenn Yn mit der Spur-o-Algebra versehen wird (HI, Theorem 4.1). Also exist- iert wegen SCl, Theorem 2, ein meßbarer Selektor fn für Fn mit

r (V, f n ( V) ) = s up { r (V' z) ; z ^E F n ( V ) } für alle v E Yn. Setzt man nun

( 8)

f(v) := sup{r(v,z); z E supp(K;(v))}, fn(v) := sup{r(v,z); z E Fn}

(sup 0 .- -^{00) ,} so erhält man

r

+

r,

n

da (Cn)nE IN monoton gegen Y wächst. Wegen (8) ist fn meßbar, also auch f.

Ist nun s > 0 beliebig vorgegeben, so setzt man für v Ex*

h(v) := inf{n EIN; f(v) ;;; fn(v) + _E} ,

dann ist h: x* +lN meßbar, denn

{h

=

^k}

=

^{{f;;; fk + s} n {f} > fk-l + s}.

Man hat v E Yh(v) für jedes v Ex*. Mit co(v) := fh(v/v)

ist eo eine Strategie, denn eo ist ein Selektor für supp(K;(·)), und für eine Borel- Menge B gilt

{eo E B}

=

U {fk E Bund h

=

^k},

k8N

also ist eo meßbar. Für alle v Ex* erhält man aus der Konstruktion von eo die ge- wünschte Ungleichung

r(v,co(v)) + s ~ sup{r(v,z); z E supp(Kp(v))}, * also ist eo die gesuchte Strategie.!

Diese~ Ergebnis überträgt sich auf nichtdeterministische Automaten wie folgt:

2.12 Satz:

Ist R:

x*x

Z + c(Z) eine Caratheodory-Abbildung, so existiert zu FE F(Z), s ^> 0 für jede Bewertung reine (r,s)-optimale Strategie. Ist darüberhinaus F kompakt, so existiert eine (r,0)-optimale Strategie.

Beweis: 2.9, 2.7, 2.11 b). Ist F kompakt, so folgt die Kompaktheit von R;(v) aus EK, Lemma 3.1, also ist 2.11 a) anwendbar.!

Im Hinblick auf 2.2 liegt die Vermutung nahe, daß optimale Strategien für stochas- tische Automaten durch deterministische realisiert werden können. Wenn man annimmt,