Bernoulli–Experimente als absorbierende Markovkette

Es mag ¨uberraschen, daß wir mit Hilfe des Rahmens f¨ur absorbierende homogene dis-krete Markovketten, in denen die Wahrscheinlichkeit des Erreichens einer Menge von Zust¨anden vor dem Erreichen einer anderen Menge von Zust¨anden bzw. vor der R¨ uck-kehr in den Startzustand bestimmt werden soll, den optimalen Maßwechsel f¨ur Bernoulli–

Experimente untersuchen. Wir zeigen, daß wir durch geeignete Modellierung das Mo-dell der Bernoulli–Experimente in den Rahmen einf¨ugen k¨onnen, und folgern mittels der f¨ur den Rahmen bekannten Ergebnisse und unserer Art der Modellierung, daß der op-timale Maßwechsel zur Sch¨atzung der Wahrscheinlichkeit von mindestens k Erfolgen in n unabh¨angigen Bernoulli–Experimenten tats¨achlich durch Bernoulli–Experimente mit zustands– und zeitabh¨angigen Erfolgswahrscheinlichkeiten wie in 4.2.3 vermutet, reali-siert wird. Zudem folgt dies auch f¨ur die Wahrscheinlichkeit von genau k Erfolgen in n Experimenten.

Wir geben zun¨achst ein geeignetes allgemeines Modell der unabh¨angigen Bernoulli–

Experimente als Markovkette. Eine Folge von n unabh¨angigen Bernoulli–Experimenten kann als homogene diskrete Markovkette modelliert werden, wobei ein Zustand der Mar-kovkette ein Tupel ist, das aus der Anzahl der Erfolge und der Anzahl der Experimente besteht. Der Zustandsraum ist also eine Teilmenge von {0, . . . , n}², der Startzustand ist (0,0). Da nicht mehr Erfolge als Experimente m¨oglich sind, gilt f¨ur jeden Zustand (i, m)

zudem i≤m,wobei gerade die erste Komponente idie Anzahl der Erfolge und die zweite Komponente m die Anzahl der Experimente bezeichnet. Wir sind an mindestens k Erfol-gen in n Experimenten interessiert, nicht an der exakten Anzahl von Erfolgen, also kann nach k Erfolgen abgebrochen werden. Damit ergibt sich als Zustandsraum

S ={(i, m)∈ {0, . . . , k} × {0, . . . , n}:i≤m}.

Die Zust¨ande, in denenk Erfolge aufgetreten sind, k¨onnen dabei als absorbierende Klasse modelliert werden, also

F ={(i, m)∈ S :i=k}.

Zudem gibt es Zust¨ande, von denen aus keine k Erfolge mehr erreicht werden k¨onnen, n¨amlich solche, f¨ur die die Anzahl der noch verbleibenden Experimente geringer ist als die Anzahl der noch ben¨otigten Erfolge, oder anders ausgedr¨uckt, Zust¨ande, f¨ur die die Anzahl von Mißerfolgen bereits gr¨oßer als die maximal erlaubte Anzahl von Mißerfolgen im Gesamtexperiment ist, also Zust¨ande in

A={(i, m)∈ S :n−m < k−i}={(i, m)∈ S :m−i > n−k}.

Dies ist gerade die Menge der Zust¨ande, die unter optimalem Importance Sampling nicht erreicht werden darf.

In der Auspr¨agung des Attractor – Rare Set Framework nach Kuruganti und Strickland ist die Wahrscheinlichkeit gesucht, den Startzustand vor dem Erreichen einer Menge seltener Zust¨ande, hier der Zust¨ande mit k Erfolgen, wieder zu erreichen. Nach unserem bishe-rigen Modell ist eine R¨uckkehr in den Startzustand jedoch unm¨oglich. Daher ben¨otigen wir f¨ur unsere Problemstellung noch die Modifikation, daß der Startzustand genau dann wieder erreicht wird, wenn kein Erfolg mehr m¨oglich ist, also wenn in unserem bisherigen Modell in einen Zustand ausAubergegangen wird, so wird nun stattdessen in den Startzu-¨ stand ¨ubergegangen. Wir ben¨otigen die Zust¨ande in Aalso nicht und k¨onnen sie aus dem Zustandsraum entfernen. Eine m¨ogliche Interpretation unserer nun modellierten Markov-kette ist etwa ein Neubeginn, wenn der Mißerfolg des Gesamtexperimentes feststeht. F¨ur die Simulation und unseren optimalen Sch¨atzer spielt das keine Rolle, da die Simulation nach Erreichen von F oder dem Wiedererreichen des Startzustandes abgebrochen wird und insbesondere unter optimalem Importance Sampling der Startzustand nicht wieder erreicht wird. Die von uns gesuchte Wahrscheinlichkeit f¨ur mindestens k Erfolge inn Ex-perimenten ist also nun gerade die Wahrscheinlichkeit in der beschriebenen Markovkette die Menge F zu erreichen bevor in den Startzustand (0,0) zur¨uckgekehrt wird.

Insgesamt haben wir also eine homogene diskrete Markovkette (Xn) mit Zustandsraum S ={(i, m)∈ {0, . . . , k} × {0, . . . , n}:i≤m} \A,

Anfangsverteilung π⁽⁰⁾ mit

π_(0,0)⁽⁰⁾ = 1, ∀s∈ S \ {(0,0)}:π_s⁽⁰⁾ = 0

und ¨Ubergangsmatrix P mit ¨Ubergangswahrscheinlichkeiten p(i,m),(i,m) = 1, falls (i, m)∈F,

p(i,m),(i+1,m+1) =p, falls (i, m)∈ S \F,

p(i,m),(i,m+1) = 1−p, falls (i, m)∈ S \F ∧(i, m+ 1)∈ S, p(i,m),(0,0) = 1−p, falls (i, m)∈ S \F ∧(i, m+ 1)∈ S/ , und gesucht ist die Wahrscheinlichkeit P{TF < T(0,0)}.

Diese Markovkette erf¨ullt alle Voraussetzungen von Kuruganti und Strickland, und die gesuchte Wahrscheinlichkeit ist genau von der dort spezifizierten Form. Damit folgt also, daß der optimale Maßwechsel zur Sch¨atzung dieser Wahrscheinlichkeit auf eine homogene diskrete Markovkette mit dem angegebenen Zustandsraum f¨uhrt. Es verbleibt, zu zeigen, daß diese durch zustands- und zeitabh¨angige Bernoulli–Experimente realisiert werden kann.

Um eine R¨ucktransformation unserer Markovkette in Bernoulli–Experimente durch-zuf¨uhren, stellen wir zun¨achst fest, daß die zweite Komponente eines Zustands der Mar-kovkette die Anzahl der bereits durchgef¨uhrten Bernoulli–Experimente beschreibt. Dies ist f¨ur die Bernoulli–Experimente gerade die Zeitkomponente. Als Zustand nach mehreren Bernoulli–Experimenten ist die Anzahl von Erfolgen anzusehen. Es ist also insbesondere nicht notwendig, den gesamten Verlauf aller Bernoulli–Experimente zu ber¨ucksichtigen.

Mit den Notationen aus 4.2.3 ergibt sich f¨ur die zustands– und zeitabh¨angigen Erfolgs-wahrscheinlichkeiten

p^(m)(i) =p^∗(i,m−1)(i+1,m).

Da aus den Ergebnissen von Kuruganti und Strickland folgt, daß die ¨Ubergangsmatrix P^∗ eindeutig bestimmt ist, folgt insbesondere f¨ur unser Gleichungssystem aus 4.2.3 f¨ur die p^(m)(i), daß dieses eindeutig l¨osbar ist und somit, daß der optimale Maßwechsel in diesem Fall auf Bernoulli–Experimente mit zustands– und zeitabh¨angigen Erfolgswahr-scheinlichkeiten f¨uhrt, wobei ein Zustand durch die Anzahl bereits beobachteter Erfolge charakterisiert ist. Es ist durchaus bemerkenswert, daß die Form eines solchen zeitabh¨angi-gen Modells mit Hilfe von homozeitabh¨angi-genen, also zeitunabh¨angizeitabh¨angi-gen, Markovketten nachgewiesen werden kann. Wesentlich daf¨ur ist im beschriebenen Fall die zeitliche Endlichkeit des zu untersuchenden Experimentes. Dadurch war es m¨oglich, die Zeit im zu untersuchenden Modell als Komponente von Markovkettenzust¨anden zu beschreiben und einen endlichen Zustandsraum zu erhalten. Der zweite entscheidende Punkt war die Abstraktion von der tats¨achlichen Bedeutung des Startzustandes im Bernoulli–Modell, um die Ergebnisse von Kuruganti und Strickland f¨ur den Attractor – Rare Set Framework anzuwenden.

Wir wollen weiter anmerken, daß sich auch der optimale Maßwechsel zur Sch¨atzung der Wahrscheinlichkeit von genau k Erfolgen in n Experimenten durch zustands- und

zeitabh¨angige Bernoulli–Experimente realisieren l¨aßt. Dies kann anhand einer leichten Modifikation der obigen Markovkette gezeigt werden, mit der diese Variante der Bernoulli–

Experimente modelliert wird. Dazu sei nun F ={(k, n)},

die Menge von Zust¨anden, deren Wahrscheinlichkeit gesucht ist, hier also nur genau ein Zustand, und wir erhalten nach analogen ¨Uberlegungen zur vorherigen Situation eine homogene diskrete Markovkette mit Zustandsraum

S ={(i, m)∈ {0, . . . , k} × {0, . . . , n}:i≤m} \A, Anfangsverteilung π⁽⁰⁾ mit

π_(0,0)⁽⁰⁾ = 1, ∀s∈ S \ {(0,0)}:π_s⁽⁰⁾ = 0

und ¨Ubergangsmatrix P mit ¨Ubergangswahrscheinlichkeiten p(i,m),(i,m) = 1, falls (i, m)∈F,

p(i,m),(i+1,m+1) =p, falls (i, m)∈ S \F ∧i < k, p(i,m),(0,0) =p, falls (i, m)∈ S \F ∧i=k,

p(i,m),(i,m+1) = 1−p, falls (i, m)∈ S \F ∧(i, m+ 1)∈ S, p(i,m),(0,0) = 1−p, falls (i, m)∈ S \F ∧(i, m+ 1)∈ S/ .

Daraus kann wie zuvor ein Modell f¨ur Bernoulli–Experimente mit zustands- und zeitabh¨angigen Erfolgswahrscheinlichkeiten konstruiert werden. Wir k¨onnen die Ergeb-nisse des Abschnitts zusammenfassen im

Satz 4.1 Die optimalen Maßwechsel zur Sch¨atzung der Wahrscheinlichkeit von genau k Erfolgen in n unabh¨angigen Bernoulli–Experimenten und der Wahrscheinlichkeit von mindestens k Erfolgen in n unabh¨angigen Bernoulli–Experimenten f¨uhren auf Bernoulli–

Experimente mit zustands– und zeitabh¨angigen Erfolgswahrscheinlichkeiten, wobei der Zustand die Anzahl der bereits erzielten Erfolge und die Zeit die Nummer des Experiments ist.