Dynamischer Maßwechsel

Wir beschreiben nun f¨ur die Methode unabh¨angiger Simulationsl¨aufe einer festen L¨angeK ein Verfahren des dynamischen Maßwechsels. Die Idee ist dabei nicht auf Simulationsl¨aufe fester L¨ange beschr¨ankt, sondern kann analog f¨ur Regenerationszyklen angewendet wer-den. In diesem Fall interpretiere man K als zuf¨allige Stoppzeit, die einen Regenerations-punkt bezeichnet. Gesucht sei die station¨are Wahrscheinlichkeit eines einzelnen seltenen Zustands, die wir mittels Importance Sampling sch¨atzen wollen. Die Idee unseres dy-namischen Maßwechsels kann dabei leicht auf Mengen von Zust¨anden erweitert werden.

Die Information, die w¨ahrend eines Simulationslaufes die Modifikation der ¨ Ubergangs-wahrscheinlichkeiten beeinflußt, basiert auf der Anzahl der simulierten ¨Uberg¨ange, indem sich die Abweichung der modifizierten und der originalen Wahrscheinlichkeit mit zuneh-mender Zeit verringert. Aus dem aktuellen Simulationslauf verwenden wir zwei weitere Informationen, den aktuellen Wert des Likelihood–Quotienten und die Anzahl der Besu-che im seltenen Zustand. Diese Informationen folgen direkt aus der Geschichte des Laufes, und ihre Verwendung erh¨oht den Aufwand im Vergleich zu anderen Verfahren nicht, da die Sammlung dieser Informationen in allen Importance–Sampling–Simulationen f¨ur Zu-standswahrscheinlichkeiten erforderlich ist.

Wir nehmen weiterhin an, daß wir eine Menge von ¨Uberg¨angen kennen, f¨ur die die Ver-gr¨oßerung ihrer Wahrscheinlichkeiten zu mehr Besuchen im seltenen Zustand f¨uhrt. Die-se Annahme ist allgemein ¨ublich, und in TransitionsklasDie-senmodellen kann aufgrund der

strukturierten Beschreibung, die ¨ahnliche ¨Uberg¨ange der selben Transitionsklasse zuord-net, die Vergr¨oßerung dieser Wahrscheinlichkeiten und die damit verbundene notwendige Verkleinerung anderer Wahrscheinlichkeiten meist einfacher durchgef¨uhrt werden als in ublichen Markovkettenbeschreibungen. F¨¨ ur jede modifizierte ¨ Ubergangswahrscheinlich-keit w¨ahlen wir eine maximale Vergr¨oßerung, und f¨ur jeden Pfad, jeden Simulationslauf, ist klar, daß er nutzlos ist, wenn kein Besuch im seltenen Zustand erfolgt. Daher ist das Hervorrufen von ¨Uberg¨angen, die zum seltenen Zustand f¨uhren umso wichtiger, je weniger Besuche bereits beobachtet wurden.

Formal beschreiben wir f¨ur die Menge von zu vergr¨oßernden ¨ Ubergangswahrscheinlichkei-ten die maximale Vergr¨oßerung durch einen Faktor bmax und definieren die modifizierten Ubergangswahrscheinlichkeiten durch¨

β_i⁽ⁿ⁾(x0, . . . , xn) :=b·αi(xn), 1< b≤bmax.

Die Ver¨anderung der ¨Ubergangswahrscheinlichkeit soll w¨ahrend des Simulationslaufes ab-nehmen und f¨ur K → ∞ gegen die originale ¨Ubergangswahrscheinlichkeit konvergieren.

Dies erreichen wir, indem der Vergr¨oßerungsfaktorbverringert wird, wenn die aktuelle Si-mulationslaufl¨ange w¨achst, ein seltenes Ereignis auftritt, also der seltene Zustand besucht wird, und wenn der Likelihood–Quotient sich verkleinert. Die restlichen ¨ Ubergangswahr-scheinlichkeiten m¨ussen so verringert werden, daß sich die Wahrscheinlichkeiten f¨ur das Verlassen eines Zustands zu Eins summieren. Die Art dieser Verringerung ist dabei fle-xibel, als einfachste M¨oglichkeit schlagen wir die Verringerung aller Wahrscheinlichkeiten um den selben Faktor vor. Wir wollen dies nun formalisieren.

Sei rn die Anzahl der seltenen Ereignisse, und seiL(x0, . . . , xn) der Wert des Likelihood–

Quotienten, jeweils nach n simulierten Zustands¨uberg¨angen. Wir definieren auf IR+ posi-tive Funktionenϕ₁, ϕ₂, ϕ₃ : IR−→IR mit

ϕ1, ϕ2 monoton fallend mit ϕ1(0) =ϕ2(1) = 1, ϕ3 monoton steigend mit ∀x≥1 :ϕ3(x) = 1.

Dann w¨ahlen wir

b= 1 + (bmax−1)·ϕ1(rn)·ϕ2(n)·ϕ3(L(x0, . . . , xn)), n ≥1.

Die konkrete Ordnung der Ann¨aherung an die Original¨ubergangswahrscheinlichkeiten wird also durch ϕ1, ϕ2, ϕ3 bestimmt. Es ist klar, daß β_i⁽ⁿ⁾(x0, . . . , xn) ≤ 1 gelten muß, woraus sich Bedingungen an bmax ergeben, und daß die restlichen ¨ Ubergangswahrschein-lichkeiten geeignet verkleinert werden m¨ussen, z.B. alle mit dem gleichen Faktor.

Es stellt sich die Frage, ob diese Art des Maßwechsels ¨uberhaupt erlaubt ist und in den for-malen Rahmen des Importance Sampling paßt. Wir untersuchen dies anhand des zugrun-deliegenden stochastischen Prozesses. Aufgrund der Verwendung der Information ¨uber

den aktuellen Wert des Likelihood–Quotienten und der Anzahl der bereits aufgetretenen seltenen Ereignisse ist dieser Prozeß nicht Markovsch. Die ¨Ubergangswahrscheinlichkeiten h¨angen von der Geschichte, dem Verlauf des gesamten Prozesses ab. Zudem k¨onnen sich die ¨Ubergangswahrscheinlichkeiten mit der Zeit ver¨andern, sind also zeitabh¨angig, und der Prozeß somit inhomogen. Wir betrachten nun im Einzelnen diese drei Kriterien, die den Maßwechsel mitbestimmen.

Die Abh¨angigkeit der ¨Ubergangswahrscheinlichkeiten von der Zeit l¨aßt sich leicht mit Hilfe inhomogener Markovketten modellieren, falls die ¨Ubergangswahrscheinlichkeiten anson-sten nur vom aktuellen Zustand abh¨angen.

Mit folgender Konstruktion k¨onnen wir auch die Abh¨angigkeit von der Anzahl der bereits aufgetretenen seltenen Ereignisse und des aktuellen Wertes des Likelihood–Quotienten in den Rahmen von Markovmodellen einpassen.

Wir beginnen mit der Anzahl der aufgetretenen seltenen Ereignisse. An Stelle der ur-spr¨unglichen Markovkette betrachten wir eine erweiterte Markovkette mit (abz¨ahlbar un-endlichem) Zustandsraum S ×IN.Es bezeichne R ⊆ S die Menge der seltenen Zust¨ande, also das seltene Ereignis. Wir definieren die ¨Ubergangswahrscheinlichkeiten der erweiter-ten Markovkette f¨ur allen ∈IN durch

• ∀i, j ∈ S :p(i,n+1)(j,n):= 0,

• ∀i∈ S, j ∈ S \ R:p_(i,n)(j,n):=p_ij,

• ∀i∈ S, j ∈ R:pi,n)(j,n):= 0 ∧p(i,n)(j,n+1) :=pij.

Analog k¨onnen wir eine Erweiterung angeben, die die Information ¨uber den aktuellen Wert des Likelihood–Quotienten beinhaltet. Dabei ist der Zustandsraum S × IR⁺, also uberabz¨ahlbar. Mit analoger Definition der ¨¨ Ubergangswahrscheinlichkeiten wie vorher erhalten wir also einen Markovprozeß.

Um den Vorteil unseres dynamischen Maßwechsels gegen¨uber statischen Maßwechseln, die eine a priori fest gew¨ahlte ¨Ubergangsmatrix f¨ur das Importance Sampling verwenden, zu demonstrieren, kann man Varianzreduktionsfaktoren betrachten. Dazu vergleichen wir hier die Varianzreduktionsfaktoren f¨ur eine konkrete Wahl unserer Parameter mit denen aus [AHO95] f¨ur das dort angegebene Beispiel (vgl. 4.2.2). F¨ur unseren dynamischen Maß-wechsel haben wir dabei nur die Zeit und keine weiteren Informationen, die w¨ahrend des Laufes erh¨altlich werden, benutzt. Die zu vergr¨oßernden ¨Ubergangswahrscheinlichkeiten sind ganz offensichtlich die der ¨Uberg¨ange in den seltenen Zustand 2. Wir haben als Pa-rameter bmax = 5, ϕ2(n) = n^−0.5, ϕ1 = ϕ3 = 1 gew¨ahlt. Die folgende Tabelle zeigt die Varianzreduktionsfaktoren f¨ur verschiedene Simulationslaufl¨angen.

Varianzreduktionsfaktoren

N IS mit P^∗₁₀ IS mit P^∗₁₀₀ IS dynamisch

10 9.09 2.27 2.69

20 3.08 2.48 2.46

30 1.06 2.74 2.37

40 0.38 3.02 2.37

50 0.15 3.36 2.40

100 – 4.22 2.56

150 – 2.77 2.63

200 – 1.31 2.54

300 – 0.39 2.32

400 – 0.14 1.68

500 – 0.06 1.27

1000 – <10⁻² 0.45

Wir stellen fest, daß je gr¨oßer die Ver¨anderung der ¨Ubergangswahrscheinlichkeiten in den fest gew¨ahlten Matrizen aus [AHO95], desto schlechter sind die Ergebnisse des Importan-ce Sampling f¨ur wachsende Simulationslaufl¨angen. In vielen F¨allen wird bei Verwendung dieser festen Matizen die Varianz im Vergleich zu direkter Simulation enorm vergr¨oßert, und in einigen F¨allen bricht Importance Sampling mit diesen Matrizen sogar zusammen.

F¨ur dieses Beispiel kann die Qualit¨at der Ergebnisse mit exakten Werten verglichen wer-den, es kann aber auch beobachtet werwer-den, daß der Likelihood–Quotient f¨ur wachsende Simulationslaufl¨angen bei fester ¨Ubergangsmatrix verschwindet. Dies ist konsistent mit den in 4.1 erw¨ahnten Ergebnissen von Glynn und Iglehart [GI89]. Weiterhin zeigen die Ergebnisse, daß der Bereich guter Laufl¨angen f¨ur eine feste ¨Ubergangsmatrix sehr klein ist, wogegen unsere dynamische Methode f¨ur einen großen Bereich der Laufl¨ange eine Varianzreduktion liefert. Das heißt insbesondere, unsere Methode ist weniger empfindlich gegen die Vergr¨oßerung der Laufl¨ange und wirkt somit dem Problem verschwindender Likelihood–Quotienten entgegen. Sicherlich verschwendet unsere Methode f¨ur bestimm-te kurze Laufl¨angen eine m¨ogliche gr¨oßere Simulationsbeschleunigung, Varianzreduktion, aber in der Praxis sind kurze Simulationsl¨aufe verh¨altnism¨aßig selten.

Die angegebenen Resultate wurden erreicht, indem lediglich die Anzahl der ¨Uberg¨ange im aktuellen Lauf als Information eingesetzt wurde, und die Wahl von bmax und ϕ2(n) erfolgte relativ unsystematisch. Daher erscheint es wahrscheinlich, die Methode erheblich zu verbessern, wenn die Parameterwahl systematischer erfolgt. Zur Bestimmung vonbmax

wollen wir kurz eine erste Idee erl¨autern. Sei eine Simulationslaufl¨ange vorgegeben, die zu vergr¨oßernden ¨Ubergangswahrscheinlichkeiten oder -raten bekannt, ϕ2 bereits festgelegt,

undbmaxist nach oben beschr¨ankt, da Wahrscheinlichkeiten h¨ochstens den Wert 1 erhalten d¨urfen. Als Rahmen f¨ur die Bestimmung vonbmax geben wir die folgenden Schritte an.

• Starte mit (zu) großem bmax,Vorsimulation.

• Beobachte den Likelihood–Quotienten; falls dieser zu klein wird, verkleinere bmax, erneute Vorsimulation.

• Weiter, bis Vorsimulationen Likelihood–Quotienten nahe bei 1 oder ann¨ahernd kon-stant liefern.

Es ergeben sich jedoch auch einige Probleme bzw. offene Fragen. So ist nicht garantiert, daß f¨ur eine vorgegebene Simulationslaufl¨ange einb_max existiert, so daß die Importance–

Sampling–Simulation gute Ergebnisse liefert. Es muß also gegebenenfalls auch die Simu-lationslaufl¨ange variiert werden. F¨ur ϕ2(n) haben wir f¨ur das angegebene Beispiel nur n^−0.5 odern⁻¹ gew¨ahlt, auch hier gibt es also Variationsm¨oglichkeiten. F¨urϕ1, ϕ3 gibt es bisher nur relativ unsystematische Versuche. Verwendet man ϕ1, ϕ2 und ϕ3 so ergibt sich im Prinzip eine Optimierung bez¨uglich dieser drei Funktionen und bmax. Wir geben in Abschnitt 5.5 eine Idee und einen Ausblick, wie dies mittels adaptiver Verfahren machbar ist.