S to c h a s ti s c h e P r o b le m s te ll u n g e n

(1)

26.06.2009| Optimierung in dynamischer Umgebung| 157

EinWahrscheinlichkeitsraumist ein Tripel (Ω,Σ,P). Ωbezeichnet die Menge a Elementarereignissee, Σeine Sigma-Algebra undPein Wahrscheinlichkeitsma auf Σ. Aus P ergeben sich die Wahrscheinlichkeitsverteilungen für die Ereignisse aus Σ. Beispiel: Ein Glücksrad mit Ergebnismenge Ω, Ereignisraum Σ(hier die Potenzmeng von Ω) und WahrscheinlichkeitsmaßP.

V o ra u s s e tz u n g e n

S to c h a s ti s c h e P r o b le m s te ll u n g e n

Ω= {1, 2, 3}

1 2 3

{2} {}{3}

{1} {1,3} {2,3} {1,2} {1,2,3}

0 1/8 3/8 5/8 7/8 1

(2)

S to c h a s ti s c h e P r o b le m s te ll u n g e n

Es sollen folgende Problemstellungen betrachtet werden: •Stochastic Satisfibility (SSAT) •Dynamic Graph Reliability (DGR) •Optimal Control mit Dynamic Programming •Multi-Stage Stochastic Programming Verbindung von Spielbaumsuche zur Optimierung unter Unsicherh

Im folgenden sind alle Wahrscheinlichkeitsverteilungen diskret und endlich, also sehr einfach. Kombinierte Gesamtverteilungen sind zum Teil nur implizit gegeben.

(3)

S S A T [ P a p a d im it r io u 1 9 8 5 ]

Problem SSAT: Gegeben sei eine boolsche FormelC in CNF, mit den Variablenx 1,…,x n(n gerade)undeine rationale Zahl b∈[0,1]. Ist die Wahrscheinlichkeit für ∃x 1ℜx 2∃x 3…ℜx n: C(x 1, x 2, …, x n) = TRUE größer oder gleich 1/2? ℜisteinstochastischerQuantor,der so quantifizierte Variablen mit Wahrscheinlichkeit ½TRUE bzw. FALSE setzt.

S a tz : S S A T i s t P S P A C E c o m p le te

Verbindung von Spielbaumsuche zur Optimierung unter Unsic

(4)

S S A T

Beweis: Wir nehmen eine QSAT-Instanz, interpretieren deren Allquantifizierte Variablen als Random-Variablen, die mit Wahrscheoinlichkeit ½auf true oder false gesetzt werden und fügen eine Variable x 0und eine Klausel (x 0) hinzu: Ist die Wahrscheinlichkeit für ℜx 0∃x 1ℜx 2∃x 3…ℜx n: (x 0) ∧C(x 1, x 2, …, x n) = TRUE größer oder gleich 1/2? Mit Wahrscheinlichkeit ½ist die CNF wegen x 0false. Wenn also die SSAT- Antwort auf unsere Konstruktion “ja”ist, kann das nur daran liegen, dass es eine Gewinnstrategie für den Existenzspieler im ursprünglichen QSAT Problem gibt. Verbindung von Spielbaumsuche zur Optimierung unter Unsicherh

(5)

D y n a m ic G r a p h R e li a b il it y ( D G R )

Verbindung von Spielbaumsuche zur Optimierung unter Unsic

Problem DGR: Gegeben sei ein gerichteter Graph ohne Kreise, also ein DAG (Directed Acyclic Graph), G = (V,E). Zwei seiner Knoten s (source) und t (sink) seien speziell ausgezeichnet. Frage: Wie ist die Startegie, die die Wahrscheinlichkeit das Ziel t zu erreichen maximiert, wenn -man bei Knoten s startet -p(e,v) die Wahrscheinlichkeit angibt, dass Kante e ausfällt, wenn wir Knoten v betreten, und der Graph somit während unserer Wanderung abhängig von unseren Entscheidungen und vom Zufall zerfällt?

(6)

D y n a m ic G r a p h R e li a b il it y ( D G R )

Verbindung von Spielbaumsuche zur Optimierung unter Unsicherh

Beispiel A: v 1v 2

v 3 v 4

v 5

p((v 3, v 5), v 3) = 0.50.5 p((v 4, v 5), v 3) = 0.90.1 p((v 3, v 5), v 4) = 0.50.5 p((v 4, v 5), v 4) = 0.60.4 W., dass man ans Ziel kommt, wenn man über v 4geht: 0.4 + 0.5 * 0.5 = 0.65 Beispiel B:

+

Frage: Baum fällen? Dann kann er nicht mehr umfallen. Bringt aber später auch keine Ernte. -> Entscheidung beeinflusst Wahrscheinlich- keiten, deren Auswirkungen erst spät spürbar werden.

(7)

6.06.2009| Optimierung in dynamischer Umgebung| 163 Verbindung von Spielbaumsuche zur Optimierung unter Unsic

Hilfsproblem SSAT’: Gegeben ist eine boolsche 3-SAT Formel mit alternierendem∃-ℜ’-Quantor-Präfix, sowie eine rationale Zahl b∈[0,1]. In dieser Verion: •Die Wahrscheinlichkeit, dass eine der Belegungen true oder falsefür eine Randomvariableunverfügbarwird ist ½. •Eine Existenzstrategie wählt eine Belegung für die Existenzvariable x 1, und dann wird bestimmt, welche Belegungen für x 2verfügbar sind. Mit Wahrscheinlichkeit ¼ ist keine verfügbar, mit Wahrscheinlichkeit¼ sind beide verfügbar, mit Wahrscheinlichkeit ¼ ist nur true verfügbarund mit Wahrscheinlichkeit ¼ nur false. •Dann wählt die Strategie eine der verfügbaren Belegungen für x 2etc. Wenn an einer ℜ’-quantifizierten Variable keine Belegung verfügbar ist, hat der Existenzspieler sein Spiel verloren.

D y n a m ic G r a p h R e li a b il it y ( D G R )

(8)

6.06.2009| Optimierung in dynamischer Umgebung| 164 Verbindung von Spielbaumsuche zur Optimierung unter Unsicherh

Hilfsproblem SSAT’: •Die Frage: Ist die Wahrscheinlichkeit für ∃x 1ℜ’x 2∃x 3…ℜ’x n: C(x 1, x 2, …, x n) = TRUE größer oder gleich b? ist PSPACE-vollständig. Härte: Wir nehmen eine QSAT Formel und interpretieren die n vielen Allquantoren alsℜ’-Quantoren;b setzen wir auf (¾)n . Mit Wahrscheinlichkeit (1-¾)n geht ein Spiel für den Existenzspieler dadurch verloren, dass die SAT-Formel C “nicht erreicht”wird. Falls es nun eine Gewinnstrategie für den Existenzspieler gibt, die immer gewinnt, ist die Wahrscheinlichkeit, das C erfüllt wird gerade gleich (¾)n . Sonst ist sie kleiner.

D y n a m ic G r a p h R e li a b il it y ( D G R )

(9)

DGR ist PSPACE-schwer Beweis: Sei (X,C,b) eine SSAT’Instanz mit X={x 1,..,x n} der Variablenmenge, den Klauseln C= {C 1,..,C m} und der Schranke b. •Für jede Variable x habe G 3 Knoten: x, xT , xF und die Kanten (x, xT ), (x, xF ) •von xT und xF führen Kanten zum nächsten Variablenknoten. •Für jede Klausel C jhaben wir 4 Knoten C j, C j1 ,C j2 , C j3 . C j1 ,C j2 , C j3 sind jeweils mit C j und C j+1verbunden.

D y n a m ic G r a p h R e li a b il it y ( D G R )

xT xFx C jC j+1

(10)

6.06.2009| Optimierung in dynamischer Umgebung| 166 Verbindung von Spielbaumsuche zur Optimierung unter Unsicherh

DGR ist PSPACE-schwer Beweis Forts: •Zusätzlich gibt es Kanten von x nT und x nF nach C 1und eine Kante von x 1nach C m+1.

D y n a m ic G r a p h R e li a b il it y ( D G R )

x 1T x 2F

x 1

C 1C 2x nT xnFx n

C m+1 Definiere nun die Wahrscheinlichkeiten p(e,v): •für jede stochastische Variable setzen wir p((x,xT ),x) = p((x,xF ),x) = 0.5. •für alle Variablen x setzen wir: Wenn e=(C j,C ji∈{1,2,3} ) eine Kante ist, die zum Literal x im Klauselpart gehört: p(e,xF ) = 1. Wenn e=(C j,C ji∈{1,2,3} ) eine Kante ist, die zum Literal notx im Klauselpart gehört: p(e,xT ) = 1. •p((x 1,C m+1),x 1) := 0.5 + b -2-3n •p(e,v) = 0 für alle anderen Paare (e,v).

(11)

DGR ist PSPACE-schwer Beweis Forts:

D y n a m ic G r a p h R e li a b il it y ( D G R )

x 1T x 2F

x 1

C 1C 2x nT x nFx n

C m+1 Beste Strategie: Wenn (x 1,C m+1) existiert gehen wir dort entlang. Wir erreichen also das Ziel mit Wahrscheinlichkeit 1-p((x 1,C m+1),x 1) plus der Wahrscheinlichkeit, dass die Formel C erfüllt wird. Die Gesamtwahrscheinlichkeit, das Ziel zu erreichen ist über 0.5, g.d.w. die Wahrscheinlichkeit, dass die Formel erfüllbar wird, größer oder gleich b ist.