4.2 Optimale Sch¨atzer
4.2.1 Das M/M/1–Modell
Das M/M/1–Modell, also ein elementares Warteschlangensystem mit einem Bediener, Poissonschem Ankunftsprozeß und exponentiell verteilten Bedienzeiten, gilt als klassi-sches Referenzsystem f¨ur Maßwechselstrategien. Meist interessiert dabei die Wahrschein-lichkeit eines hohen F¨ullstands, also einer großen Anzahl von Kunden im System oder bei beschr¨ankter Warteschlangenkapazit¨at die Wahrscheinlichkeit einer vollen Warteschlange oder eines Warteschlangen¨uberlaufs. Das große Interesse ist dabei darin begr¨undet, daß einerseits das M/M/1–Modell mit beschr¨ankten Kapazit¨aten ein ad¨aquates Modell f¨ur Teile realer Systeme mit beschr¨ankten Puffern sein kann und andererseits ein einfacher asymptotisch optimaler Maßwechsel bekannt ist, das Vertauschen der Ankunfts- und der Bedienrate. Erstaunlicherweise wird aber auch f¨ur das M/M/1–Modell die Untersuchung des optimalen Maßwechsels vernachl¨assigt. Wir betrachten hier die Wahrscheinlichkeit, daß in einem stabilen M/M/1–Modell w¨ahrend einer Arbeitsphase des Systems ein vor-gegebener sehr hoher F¨ullstand erreicht wird, bevor das System wieder leer wird. Dies entspricht in einem Modell mit beschr¨ankter Kapazit¨at der Wahrscheinlichkeit f¨ur einen Puffer¨uberlauf oder einen Kundenverlust w¨ahrend einer Arbeitsphase, wobei der zu un-tersuchende F¨ullstand gerade um Eins gr¨oßer als die Systemkapazit¨at zu w¨ahlen ist. Wir haben bereits mehrfach den bekannten asymptotisch optimalen Maßwechsel erw¨ahnt, der darin besteht, die Ankunfts– und die Bedienrate des Systems zu vertauschen. Das resultie-rende Modell ist also ein instabiles M/M/1–Modell, dessen Auslastung gerade der Kehr-wert der Auslastung des Ausgangsmodells ist. Die Raten bleiben dabei unabh¨angig vom Systemzustand, also von der Anzahl der im System befindlichen Kunden. Dieser asym-ptotisch optimale Maßwechsel ist also zustandsunabh¨angig. Hier wollen wir nun mittels der LQ–Bedingung den eindeutig bestimmten optimalen Maßwechsel berechnen, und wir zeigen damit, daß das optimale Importance–Sampling–Modell zu einem M/M/1–Modell mit zustandsabh¨angigen Ankunfts– und Bedienraten korrespondiert. Dies bedeutet einer-seits, daß dem Modell weiterhin eine Markovkette zugrundeliegt, andererseits werden aber anders als bei einem zustandsunabh¨angigen Maßwechsel die ¨ Ubergangswahrscheinlichkei-ten der dem Originalmodell zugrundeliegenden Markovkette, die gleich sind, nicht alle auf die selbe Weise ver¨andert. Betrachten wir nur die Markovkettenebene, so f¨uhrt hier der optimale Maßwechsel wieder auf eine Markovkette. Auf der Warteschlangenebene wird durch den Maßwechsel die Modellklasse verallgemeinert auf zustandsabh¨angige Raten.
Selbstverst¨andlich ist das Originalmodell aber ein Spezialfall innerhalb dieser Verallge-meinerung, die Raten sind dabei gerade f¨ur alle Zust¨ande gleich.
Der Zustand des Systems ist durch die Anzahl der im System befindlichen Kunden be-schrieben, der Zustandsraum der Markovkette also S = IN oder bei beschr¨ankter Kapa-zit¨at S = {0,1, . . . , κ}, wobei dann der F¨ullstand κ gerade dem ¨Uberlauf eines Systems der Kapazit¨atκ−1 entspricht, also einem Kundenverlust in einem M/M/1/(κ−1)–Modell.
Da wir auch f¨ur unbeschr¨ankte Kapazit¨aten nur am Erreichen eines F¨ullstandes κ inter-essiert sind, gen¨ugt also die zweite Variante. F¨ur die folgenden Berechnungen spielt der Zustandsraum jedoch keine wesentliche Rolle. Wir bezeichnen wie ¨ublich mit λ > 0 die Ankunftsrate und mit µ > 0 die Bedienrate des M/M/1–Modells, und es gelte OBdA λ+µ= 1. Dann sind λ und µgerade die Wahrscheinlichkeiten f¨ur eine Ankunft bzw. ei-ne Bedienung. F¨ur das Importance–Sampling–Modell bezeichnen λj, µj entsprechend die Wahrscheinlichkeiten f¨ur Ank¨unfte bzw. Bedienungen im Zustandj, also wenn j Kunden im System sind. Wir betrachten nun Pfade, die das seltene Ereignis enthalten, also Pfade vom Zustand 0 in den Zustandκohne R¨uckkehr in den Zustand 0,und unterscheiden dabei zun¨achst nach der L¨ange dieser Pfade. Die Wahrscheinlichkeit eines Pfades (x0, x1, . . . , x`) sei f¨ur das Originalmodell mitp(x0, x1, . . . , x`) und f¨ur das Importance–Sampling–Modell mit zustandsabh¨angigen Raten mitp∗(x0, x1, . . . , x`) bezeichnet.
Es gibt nur einen direkten Pfad vom leeren System zum ¨Uberlauf, n¨amlich (0,1, . . . , κ), den wir erhalten, wenn ausschließlich Ank¨unfte passieren. F¨ur die Wahrscheinlichkeiten dieses Pfades in den beiden Modellen gilt
p(0,1, . . . , κ) = λκ, p∗(0,1, . . . , κ) =
κ−1
Y
i=0
λi.
Damit folgt f¨ur den Likelihood–Quotienten L(0,1, . . . , κ) = λκ
κ−1Q
i=0
λi
.
Betrachten wir nun alle Pfade, in denen genau eine Bedienung und somit auch eine zus¨atz-liche Ankunft stattgefunden hat. Die Bedienung sei erfolgt, alsjKunden im System waren.
Dann erhalten wir die Wahrscheinlichkeiten
p(0,1, . . . , j, j−1, j, j + 1, . . . , κ) = λκ+1µ,
p∗(0,1, . . . , j, j−1, j, j + 1, . . . , κ) = µjλj−1
κ−1
Y
i=0
λi
und den Likelihood–Quotienten
L(0,1, . . . , j, j−1, j, j+ 1, . . . , κ) = λκ+1µ µjλj−1
κ−1
Q
i=0
λi
.
Nach der LQ–Bedingung gilt L(0,1, . . . , κ) =L(0,1, . . . , j, j−1, j, j+ 1, . . . , κ), also f¨ur j >1
λκ
κ−1
Q
i=0
λi
= λκ+1µ µjλj−1
κ−1
Q
i=0
λi
, (4.17)
1 = λµ
µjλj−1
, (4.18)
µj = λµ λj−1
, (4.19)
und f¨ur die Ankunftswahrscheinlichkeit folgt λj = 1−µj = 1− λµ
λj−1
. (4.20)
Damit haben wir also eine rekursive Formel f¨ur die zustandsabh¨angigen Raten bzw. Wahr-scheinlichkeiten, die aus der Anwendung der LQ–Bedingung auf den Pfad ohne Bedienung und einen Pfad mit genau einer Bedienung resultiert. Es muß die LQ–Bedingung aber f¨ur alle Pfade zum seltenen Ereignis gelten, zun¨achst also insbesondere f¨ur alle Pfade mit genau einer Bedienung. Dies bedeutet, daß alle diese Pfade unter Importance Sampling die gleiche Wahrscheinlichkeit haben m¨ussen. Betrachten wir nun zwei solche Pfade mit einer Bedienung im Zustand j bzw. im Zustandj + 1, dann erhalten wir
µjλj−1 κ−1
Y
i=0
λi = µj+1λj κ−1
Y
i=0
λi, µj
µj+1
= λj
λj−1
.
Setzen wir nun (4.19) ein, erhalten wir gerade µj
µj+1 = λµ λj−1 · λj
λµ = λj
λj−1.
Die Rekursion erf¨ullt also auch die LQ–Bedingung f¨ur alle Pfade mit genau einer Bedie-nung.
Betrachten wir nun Pfade mit ` Bedienungen und dementsprechend auch ` zus¨atzli-chen Ank¨unften. Die Wahrscheinlichkeit solcher Pfade im M/M/1–Modell ist λκ(λµ)`, unabh¨angig von den Zust¨anden, in denen die Bedienungen erfolgen. Diese Zust¨ande m¨ussen nun beim Importance–Sampling–Modell ber¨ucksichtigt werden, es seien Zust¨ande j1, . . . , j`.Die Wahrscheinlichkeit eines solchen Pfades unter dem zustandsabh¨angigen Mo-dell ist
µj1λj1−1µj2λj2−1· · ·µj`λj`−1
κ−1
Y
i=0
λi =
`
Y
i=1
µjiλji−1
! κ−1 Y
i=0
λi
! .
Die Likelihood–Quotienten m¨ussen f¨ur alle ` und alle Zust¨ande j1, . . . , j` gleich sein. Mit µjλj−1 =λµfolgt zun¨achst f¨ur die Wahrscheinlichkeit unter Importance Sampling
`
Y
i=1
µjiλji−1
! κ−1 Y
i=0
λi
!
= (λµ)`
κ−1
Y
i=0
λi
und damit f¨ur die Likelihood–Quotienten λκ(λµ)`
(λµ)`κ−1Q
i=0
λi
= λκ
κ−1
Q
i=0
λi .
Somit erf¨ullt die Rekursion (4.19) also die LQ–Bedingung f¨ur alle Pfade. Es verbleibt die Wahl der Rekursionsverankerung. Es ist klar, daß µ0 = 0 und λ0 = 1 gilt, und da unter optimalem Importance Sampling nur Pfade zum seltenen Ereignis generiert werden, folgt zudem µ1 = 0, λ1 = 1.Insgesamt haben wir also gezeigt, daß der optimale Maßwechsel auf ein M/M/1–Modell mit zustandsabh¨angigen Raten f¨uhrt, die durch die Rekursion (4.19), (4.20) mit obigen Anfangswerten eindeutig bestimmt sind.
Die Frage liegt nahe, ob der optimale Maßwechsel f¨ur die Arbeitsphasen auch optimal zur Bestimmung station¨arer Zustandswahrscheinlichkeiten ist. Wir werden sehen, daß dies nicht der Fall ist und k¨onnen somit feststellen, daß erstens die Einschr¨ankung auf Ar-beitsphasen eine Vereinfachung darstellt und zweitens optimale Maßwechsel nicht allein vom untersuchten System, sondern auch vom untersuchten Leistungsmaß abh¨angen. Die Wahrscheinlichkeit eines Zustands κ kann mit den in Abschnitt 3.2 beschriebenen Ver-fahren simulativ gesch¨atzt werden. Wir wollen hier die Methode unabh¨angiger Wiederho-lungen von Simulationsl¨aufen fester L¨ange und die regenerative Methode betrachten. F¨ur die Methode der Gruppenmittelwerte ist die Argumentation analog zu den unabh¨angigen Wiederholungen.
F¨ur Simulationsl¨aufe mit fester L¨ange, also mit zwar beliebig langem aber dennoch fe-stem Horizont, sieht man leicht ein, daß unter dem beschriebenen Maßwechsel f¨ur keine Simulationslaufl¨ange garantiert ist, daß das seltene Ereignis in jedem Lauf eintritt. Es ist klar, daß bei Start der Simulation im Zustand des leeren Systems f¨ur die Sch¨atzung
der Wahrscheinlichkeit eines Zustands κdie Simulationslaufl¨ange mindestensκ sein muß, um ¨uberhaupt das seltene Ereignis simulieren zu k¨onnen. Eine Wahl der Laufl¨ange, die wesentlich gr¨oßer ist, erh¨oht zwar die Wahrscheinlichkeit, daß der seltene Zustand erreicht wird, da hohe F¨ullst¨ande unter dem optimalen Importance Sampling nicht selten sind, aber dennoch bleibt es m¨oglich, daß ein zu untersuchender F¨ullstand nicht erreicht wird.
F¨ur die regenerative Methode wird h¨aufig der Zustand des leeren Systems als Regenerati-onszustand gew¨ahlt. Hier sehen wir sofort, daß unter dem f¨ur die Arbeitsphasen optimalen Importance Sampling dieser Zustand nie wieder erreicht wird. Dieses Problem kann durch die Wahl eines anderen Regenerationszustands gel¨ost werden. Dann ist jedoch wie im Fall unabh¨angiger Wiederholungen nicht mehr garantiert, daß das seltene Ereignis, also der zu untersuchende Zustand, in jedem Regenerationszyklus erreicht wird. Ein ¨ahnli-ches Problem stellt sich ganz allgemein beim Importance Sampling unter Verwendung der regenerativen Methode. Durch den Maßwechsel wird gerade ein seltener Zustand wahr-scheinlicher und potentielle Regenerationszust¨ande, die im Originalmodell ausreichend h¨aufig besucht werden, werden selten. Daraus resultieren dann extrem lange Regenera-tionszyklen. Um dies zu verhindern, wird h¨aufig die Technik des switching angewendet, d.h. Importance Sampling wird nach Auftreten des seltenen Ereignisses abgeschaltet, und unter dem urspr¨unglichen Wahrscheinlichkeitsmaß wird der Regenerationszyklus zu Ende gef¨uhrt. Betrachten wir nun diese Technik f¨ur das vorliegende Problem und den opti-malen Maßwechsel f¨ur die Arbeitsphasen. F¨ur das leere System als Regenerationszustand garantiert der Maßwechsel das Erreichen des seltenen Ereignisses in jedem Regenerations-zyklus. Zudem sind bei Erreichen des betreffenden Zustands die Likelihood–Quotienten aller Pfade bis zu diesem Zustand gleich. Nun werde Importance Sampling abgeschaltet und unter dem Originalmaß simuliert, bis der Regenerationszustand wieder erreicht wird.
Damit wird also der Likelihood–Quotient nicht mehr ver¨andert und ist somit f¨ur alle Re-generationszyklen gleich. Die ReRe-generationszyklen haben jedoch unter Umst¨anden unter-schiedliche L¨angen. Falls nun etwa in unterschiedlich langen Zyklen das seltene Ereignis gleich h¨aufig eingetreten ist, so ist also f¨ur diese Regenerationszyklen unterschiedlicher L¨ange die Anzahl der Beobachtungen des seltenen Ereignisses gleich. Unter optimalem Importance Sampling muß aber jeder Simulationslauf, hier jeder Regenerationszyklus, eine exakte Sch¨atzung der gesuchten Gr¨oße liefern. Der regenerative Sch¨atzer f¨ur stati-on¨are Zustandswahrscheinlichkeiten, der Quotient aus dem Erwartungswert der Anzahl von Besuchen im betreffenden Zustand und dem Erwartungswert der L¨ange eines Rege-nerationszyklus, degeneriert also in dem Sinne, daß f¨ur jeden Zyklus der Quotient aus der Anzahl der Besuche und der Zyklenl¨ange gleich sein muß. Dies ist aber, wie oben beschrieben, nicht gegeben.
Somit ist also der optimale Maßwechsel f¨ur das Erreichen eines Zustands innerhalb einer Arbeitsphase selbst in einem so einfachen Modell wie dem M/M/1–Modell nicht iden-tisch mit dem f¨ur station¨are Zustandswahrscheinlichkeiten, weder f¨ur die Methode un-abh¨angiger Wiederholungen noch f¨ur regenerative Simulationen. Wir untersuchen in den
Abschnitten 4.2.4–4.2.6 optimale Maßwechsel f¨ur verschiedene Arten von Leistungsma-ßen von Markovmodellen in allgemeinerem Kontext und zeigen insbesondere, daß nur f¨ur Wahrscheinlichkeiten in Bezug auf Arbeitsphasen der optimale Maßwechsel immer auf Markovsche Modelle f¨uhrt, w¨ahrend f¨ur endlichen Horizont und station¨are Gr¨oßen die Ged¨achtnislosigkeit im allgemeinen verloren geht.