6.3 Dynamische Optimierung
6.3.1 Bellman Kriterium
Die rekursive Formulierung beruht auf dem Prinzip, dass man, egal in welchem Zustand von welcher Stufe man sich befindet, von diesem Zustand und dieser Stufe in einer optimalen Art und Weise fortfahren muss.
Wenn man bei der ersten Stufe beginnt, und sich vorwärts durch das Netz von Entscheidungen bewegt basiert dies auf dem Prinzip, dass man, egal in welchem Zustand von welcher Stufe man
sich befindet, zu diesem Zustand und dieser Stufe in einer optimalen Art und Weise gekommen ist.
Diese zwei Prinzipien hat Richard Bellman das "Prinzip der Optimalität" genannt. Es ist ein sehr einfaches Konzept, aber oft schwierig anzuwenden.
Mathematisch ausgedrückt sieht das Bellman-Kriterium so aus:
( ) {
j( )
j j(
j j) }
Um diese Formel zu verstehen, kann man sich den Weg von Wien nach Salzburg vorstellen. Der optimale, also kürzeste Weg wird gesucht. Um diesen optimalen Weg zu finden, beginnt man kurz vor Salzburg, und optimiert den letzten Schritt. Es wird angenommen, dass alle vorherigen Schritte ebenfalls optimal waren, da man sonst ja nicht an diese Stelle gekommen wäre.
Nachdem der letzte Schritt optimiert wurde, wird der Weg vom vorletzten Standpunkt zum Ziel optimiert. Dabei kann sich der letzte Schritt verändern. Auf die selbe Art und Weise wird dieser Vorgang durch geführt, bis man am Startpunkt ankommt, und die optimale Lösung gefunden hat.
Beispiel aus Loucks et al. (1981): 3 Nutzer haben Zugang zu einer Menge Q. Jeder hat andere Nutzen- und Kostenstrukturen, Wie ist die Ressource aufzuteilen?
Nutzen:
NB
j= a
j( 1 − exp( − b
jx
j))
allgemeine Darstellung in rekursiver Form (Ballmann Formulierung):
{
j( )
j j(
j j) }
Abb. 6.5: Dynamische Optimierung
Institut für Wasserwirtschaft
Zuerst wird nun die optimale Menge für den Benutzer 3 bestimmt, und dann in Abhängigkeit davon die Mengen für die Benutzer 2 und 1.
NB3(x3) xj* gibt die optimale Entscheidung an
Den größten Nutzen der 3 Benutzer zusammen ergibt sich aus der Kombination x1=0
x2=1
∑
NBj =18,0x3=4
Beispiel: Dynamische Programmierung bei der Bewirtschaftung von einem Wasserreservoir in Thailand
Der Pasak Damm ist ein neuer, großer Mehrzweckdamm in der Lopbuir Provinz in Zentral Thailand. Das Einzugsgebiet ist 12.929 km². Der Damm wird für Bewässerung, zum Hochwasserschutz und für die Schifffahrt verwendet. Das Pasaksystem ist ein einzelner Speicher, der in vier Becken aufgeteilt ist und hat drei Bedarfspunkte. Einer ist für häuslichen Gebrauch, die anderen sind Bewässerungsprojekte.
Die Zielfunktion des Modells ist es, Verluste durch Wassermangel und Überflutungen zu minimieren.
Die Entscheidungsvariablen können der Speicherinhalt zum Zeitpunkt t+1 (St+1) oder der Abfluss zum Zeitpunkt t (Rt) sein.
Die Zustandsvariablen hängen von der Art der dynamischen Programmierung ab. Bei dieser Untersuchung sind die Zustandsvariablen
• bei der deterministischen dynamischen Programmierung der Speicherinhalt zum Zeitpunkt t
• bei der stochastischen dynamischen Programmierung der Speicherinhalt St und der Zufluss It
Die Eingangsdaten für das Modell sind
• der monatliche oder mittlere monatliche Zufluss
• die mittlere monatliche potentielle Verdunstung
• monatliche oder mittlere monatliche Wasserbedarf Die Ergebnisse des Modells sind
• das Wasserdefizit an jeder Bewässerungsstelle
• die Verluste durch Wassermangel und Überflutungen
• die optimale Bewirtschaftung
Um das dynamische Programmierungsproblem zu lösen, muss der Speicherinhalt diskretisiert werden, und Verlustfunktionen für Überschwemmungen und Wassermangel müssen aufgestellt werden.
Deterministische dynamische Programmierung (DDP)
Die deterministische dynamische Programmierung ist ein brauchbares Modell um sequentielle Entscheidungen zu lösen. Es wird angenommen, dass der Zufluss bekannt ist, Unsicherheiten beim Zufluss werden ignoriert.
Die rekursive Gleichung für das Speicherziel ist:
( ) { ( ) ( )
t}
Die Ergebnisse zeigen, dass die optimale Bewirtschaftung, die aus diesem Modell erhalten wird, sinnvoll ist, weil der Speicher während der Monsunzeit Wasser speichert, und in der Trockenperiode abgibt.
Abb. 6.6: Speicherinhalt mit DDP berechnet
Falls die Schadensfunktion nicht nur eine Funktion des Abflusses ist, sondern auch eine Funktion der Dauer der Trockenheit, ist die deterministische dynamische Programmierung nicht geeignet.
Institut für Wasserwirtschaft Hydrologie und
konstruktiven Wasserbau
Wasserwirtschaftliche Planung
Stochastische dynamische Programmierung (SDP)
Die Stochastische dynamische Programmierung ist das Modell, das eine probabilistische Verteilung beim Zufluss berücksichtigt. Die Verteilung des Zuflusses kann in zwei Arten aufgeteilt werden. Die bedingungslose Wahrscheinlichkeit wird angewandt, wenn die Autokorrelation des Zuflusses nicht signifikant ist, die bedingte Wahrscheinlichkeit, wenn der Zufluss autokorreliert ist.
Bei der SDP wird der Zufluss in Klassen eingeteilt, für die die optimale Betriebsweise berechnet werden kann. Die Einteilung kann nach gleichen Klassengrößen oder Klassen mit gleicher Wahrscheinlichkeit.
Die rekursive Funktion der SDP, die davon ausgeht, dass das anfängliche Speichervolumen und der Zufluss Variablen mit bedingter Wahrscheinlichkeit sind, lautet:
( ) ( ) ( )
Unter der Annahme, dass der Speicher am Beginn des Jahres voll gefüllt ist, und der Zufluss jeden Monat in der höchsten Klasse ist, wird der Speicher seinen Inhalt das ganze Jahr über halten. Wenn der Speicher zu Beginn des Jahres den minimalen Inhalt hat, und der Zufluss jeden Monat in der niedrigsten Klasse ist, kann die untere Grenze für die Bewirtschaftung berechnet werden. Diese zwei Kurven sind die obere und untere Regelkurve. Das Reservoir wird nie mit mehr oder weniger Inhalt als die obere und untere Regelkurve bewirtschaftet werden.
Wenn für den Zufluss auch noch ein Vorhersagemodell verwendet wird, ist dies ein sehr nützliches Modell.
Multi-objektive stochastische dynamische Programmierung (MOSDP)
MOSDP ist die Methode, um einen sequentiellen Prozess, der mehr als eine Zielsetzung hat, zu lösen. Diese Studie beachtet zwei unterschiedliche Ziele, die Verluste durch Wassermangel und Überschwemmungen zu minimieren, und das Fehlerrisiko zu minimieren.
Die Bewirtschaftung, die mit MPSDP berechnet wird, hängt nicht nur von der Schadensfunktion ab, sondern auch zusätzlich von einem hypothetischen Nachteil. Durch Variation dieses Nachteiles erhält man verschiedene Bewirtschaftungspolitiken. Je größer der hypothetische Nachteil ist, umso mehr Gewicht wird auf das Versagen gelegt. Ist der Nachteil nicht groß genug, unterscheidet sich das Ergebnis nicht vom SDP.
Beim Pasak Reservoir wurden der Speicherinhalt und Zufluss diskretisiert, und der hypothetische Nachteil von 0 bis 10.000 variiert. Bei diesem Modell wurde der Schwerpunkt auf die Verluste durch Überflutungen gelegt, weil sich aus den anderen Modellen herausstellte, dass die Verluste durch Wassermangel in diesem Einzugsgebiet nicht so schwerwiegend sind.
Mit MOSDP wurden alle möglichen Kombinationen von Zufluss, Speicherinhalt zu Beginn und dem hypothetischen Nachteil berechnet. Bei einem Nachteil von 0 ist das Ergebnis ident mit dem Ergebnis der SDP.
Die Bewirtschaftungsregeln, die mit MOSDP erhalten werden, können wie folgt zusammengefasst werden:
• Wenn der Zufluss und der Speicherinhalt hoch sind, soll mehr Wasser zu Beginn des Monsuns abgelassen werden. Der Speicherinhalt erreicht sein Maximum in Perioden mit Spitzenzufluss.
• Wenn der Speicherinhalt hoch ist, der Zufluss aber gering, soll weniger Wasser zu Beginn der Auffüllperioden abgelassen werden, aber mehr während Perioden mit Spitzenzufluss
• Wenn der Speicherinhalt gering ist, aber der Zufluss hoch, soll weniger Wasser abgelassen werden, um das Reservoir früher aufzufüllen.
• Wenn sowohl der Speicherinhalt als auch der Zufluss niedrig sind, ist das Ergebnis nicht signifikant von dem mit SDP erhaltenen verschieden.
Die Bewirtschaftungskriterien weichen in den Monsunperioden stark von den mit SDP erhaltenen ab. Dadurch wird das Reservoir früher gefüllt.
Die multi-objektive stochastische dynamische Programmierung ist eine mögliche Methode, um die optimale Betriebsstrategie herzuleiten. Die Werte des hypothetischen Nachteils spielen dabei eine wichtige Rolle. Je höher der Nachteil ist, umso größer sind die Verluste, aber die Schadensfälle treten seltener auf.
Literatur
ADBY P.R. und DEMPSTER M.A.H. (1974) Introduction to Optimiziation Methods. Chapman and Hall.
BELLMAN R. (1957) Dynamic Programming. Princeton University Press.
DREYFUS S. (2002) Richard Bellman on the birth of Dynamic Programming. 50, Nr. 1, S. 48-51.
(http://www.eng.tau.ac.il/~ami/cd/or50/1526-5463-2002-50-01-0048.pdf FLETCHER R. (1987) Practical Methods of Optimization. Wiley.
HORST R. and P. M. PARDALOS (Hrsg.) (1995) Handbook of Global Optimization. Kluwer, Dordrecht.
KUESTER J.L. und MIZE J.h. (1973) Optimisation Techniques with Fortran. Mc Graw Hill Comp.
LOUCKS D.P. et al. (1981) Water Resources Systems Planning and Analysis, Prentice-Hall, New Jersey
NOCEDAL J., S. J. WRIGHT (1999) Numerical Optimization. Springer, Berlin.
Institut für Wasserwirtschaft Hydrologie und
konstruktiven Wasserbau
Wasserwirtschaftliche Planung