6.2009| Optimierung in dynamischer Umgebung| 111
C o m p u te rs ch a ch G ru n d la g en I I
.06.2009| Name | Vortragstitel| 112
U n te rs u c h u n g d e s P h ä n o m e n s
Fragestellung: Was ist in diesen Spielbäumen z.B. des Schachspiels, das heuristische Spielbaumsuche so erfolgreich macht? (Nau ’79; Pearl ’83; Schrüfer ’86; Althöfer ’88; Scheucher&Kaindl ’89, Lorenz&Monien STACS ’02, TCS ’05) Anwendung: Starkes Spiel gegen schwächere Gegner (Lorenz ESA ’04, ICGA Journal ’06)S p ie lb ä u m e u n d Fe h le r fi lt e r
6.2009| Name | Vortragstitel| 113
Gegeben: Spielbaum G,jeder Knoten hat einen´echten´ Wert0|1; diese Werte gehorchen dem Minimax-Prinzip. So genannte ´heuristische´ Wertewerden den Blättern von G zugewiesen, und diese heuristischen Werte werden genutzt, um heuristische Minimax-Werte für innere Knoten zu bestimmen.
Fe h le r a n a ly s e
01 0101 0 1 1 010 0
1 1 1 1 1
1 1
1 1 1 0 0 1 1 0 0 0 1
1 0 1
0
111 111
1
11.06.2009| Name | Vortragstitel| 114
Verschiedene Fragestellungen sind möglich: •Wie viele Fehler darf ich im günstigsten Fall machen? wenn Spielbaum G b/t-uniform ist: bt –b⌊t/2⌋ •Sei n die Anzahl der Blätter von G. Wie wirkt es sich aus, wennman (ungefähr) k Fehler bei Blattbewertungen macht? •Wie viele Fehler darf man an den Blättern im schlimmsten Fall machen?
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 115
M o d e ll I
•Fehler an Blättern werden mit Fehlerwahrscheinlichkeit p ( = 1-p) gemacht.1 1 0 1 0 .. . .. .
m-mal b-malG 1 0 0
0 .. . b -m a l
G 2
v 1,...v bseien die Nachfolger von v, g 1(p),...,g b(p) seien die Wahrscheinlichkeiten, dass die heuristischen Werte h1,...,hbder Knoten v1,..,vbgleich den echten Werten w1,..,wbsind. Dann ist die Wahrscheinlichkeit dafür, dass der heuristische Minimaxxwert von v gleich dem echten Wert von v ist wie folgt:
v v ∏ ∏
+==•−−=b mii
m iivpgpgpQ 11))())(1((1)(
∏
==b iivpgpQ 1)()(
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 116
M o d e ll I
•Fehler an Blättern werden mit Fehlerwahrscheinlichkeit p ( = 1-p) gemacht. •Für jeden Knotenv des Spielbaums G, gibt es somit ein„Qualitätspolynom“ Q v(p),welches dieWahrscheinlichkeitdafür angibt, dass der echteund der heuristische Wertam Knoten vgleichsind.1
1
pQ root(p) •Intuitive Erklärung für besseres Spiel bei tieferer Suche: Super-Bäume haben kleinere Fehlerwahrscheinlichkeiten an ihren Wurzeln, zumindest wenn die Fehlerwahrscheinlichkeit am Blatt klein genug ist. •Robustheit kann dann definiert werden mit Hilfe Q root(k) (1), k=1,...
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 117
M o d e ll I , Z u s a m m e n h a n g m it A v e r a g e - C a s e A n a ly s e
Sei G Spielbaum mit n Blättern und s der 0/1-Blattstring der echten Werte. s‘sei der ver- fälschte String. p sei die Wahrscheinlichkeit dafür, einen heuristischen Blattwert korrekt zu erkennen. Die Anzahl korrekter heuristischer Blattbewertungenist Binomialverteilt. Man kann dann sagen: „Man macht ungefähr n*(1-p) Fehler“ 0 1 0 1 1 1 0 -s 0 0 1 0 0 0 1 -s‘1 1 1 1 0 0 0 1 -s‘2 .... 0 1 1 0 0 0 1 -s‘ 3 ....C 1-> c 1 C 2-> c 2
C isind Cluster, die Strings mit genau c ikorrekten Bewertungen enthalten.
Q
G(p ) = ∑
n i=0P ro b (h e u r. W u rz e lw e rt i s t k o rr e k t | e s g ib t g e n a u i ri c h ti g k la s s if iz ie rt e B lä tt e r) * P ro b (g e n a u i h e u r. B la tt w e rt e s in d k o rr e k t) = ∑ =
−
−
n iini ii
p p i
n C c
0) 1( | |
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 118
1 1 1
1 1
1 1
1 1 1
0 0 1 1 0 0 0 0
1 0 0
0
M o d e ll I I
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 119
1 1 1
1 1
1 1
1 1 1
0 0 1 1 0 0 0 0
1 0 0
0
M o d e ll I I
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 120
E r g e b n is s e L e m m a : Q
root‘( 1 ) = 0 o d e r Q
root‘( 1 ) ≥ 1 , w o b e i Q ‘ e rs te A b le it u n g v o n Q L e m m a : F a lls Q
root‘( 1 ) ≥ 1 , b e s c h re ib t Q
root‘( 1 ) d ie A n z a h l d e r B lä tt e r, d ie d e n W u rz e lw e rt d u rc h e in e n S in g le -F lip ä n d e rn k ö n n e n . T h e o re m : Q
root‘( 1 ) = 0 g ilt g .d .w . G m in d e s te n s 2 b la tt -d is ju n k te S tr a te g ie n e n th ä lt , d ie d e n W u rz e lw e rt b e le g e n .
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 121
E r g e b n is s e
0,00,20,40,60,81,00,86
0,88
0,90
0,92
0,94
0,96
0,98
1,00 0,00,20,40,60,81,0
0,86
0,88
0,90
0,92
0,94
0,96
0,98
1,00
1 111 1
11
1 1 100110001
101
0
1 111 1
11
1 1 100110001
101
0
1 111 1
11
1 1 000110001
101
0
1 111 1
11
1 1 000110001
101
0
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 122
E r g e b n is s e
Die zwei Modelle mit ihren Robustheitsmaßen sind äquivalent zueinander.E s g ib t n + 1 b la tt d is ju n k te S tr a te g ie n i n G , d ie a ll e d e n W u rz e lw e rt v o n G b e le g e n . (M o d e ll I I) < = > Q
root(n)(1 ) = Q
root(n-1)(1 ) = .. . = Q
root(1)(1 ) = 0 (M o d e ll I )
Taylorreihenentwicklung f(p) = f‘(1)(p-1)+...+(f(n) (1)/n!)*(p-1)n + R n+1(p) führt uns zu | Q root(p) –Q root(1) | = O((1-p)n+1 ) g.d.w. es n+1 viele blatt-disjunkte Startegien gibt.Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 123
a d L e m m a : Q
root‘( 1 ) = 0 o d e r Q
root‘( 1 ) ≥ 1 , w o b e i Q ‘ e rs te A b le it u n g v o n Q a d T h e o re m : Q
root‘( 1 ) = 0 g ilt g .d .w . G m in d e s te n s 2 b la tt -d is ju n k te S tr a te g ie n e n th ä lt , d ie d e n W u rz e lw e rt b e le g e n . B e tr a c h te d ie f o lg e n d e n 3 T ie fe -1 B ä u m e : 1 1 0 1 0 .. . .. .
g 1(x)...g c(x)G 3 0 0
0 .. .
g 1(x)...g b(x)G 1 v v 1 1 0 0 0 .. .
g 1(x)g 2(x)...g b(x)G 2 v
g c+1(x)...g b(x)Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 124
) ( ) ( )) ( 1( )) ( 1( 1 ) (
) ( ) ( )) ( 1( 1 ) (
) ( ) ( ) (
113212
11
x g x g x g x g x Q
x g x g x g x Q
x g x g x Q
bccGbG
bG
L L
+⋅ − − − = ⋅⋅⋅ ⋅ − − = ⋅⋅⋅ = ∑ ∑
∑
∑
+=+=+
=
= ⋅−−−
⋅−−−−=
⋅−+⋅−−=
= b cibicc
c ibcciG
b
b iibG
b ibiG xgxgxgxgxg
xgxgxgxgxgxQ
xgxgxgxgxgxgxgxQ
xgxgxgxQ 111
1113
221212
111 )()(')())(1())(1(
)()())(1())'(1())(1()('
)()(')())(1()()())'(1()('
)()(')()(' LLL
LLL
LLL
LL
0 )1 ( ' )1 ( ' )1 ( ' )1 ( ' )1 ( ' )1 ( '
312
11
= = +⋅ ⋅⋅ + =
GGbG
Q
g Q
g g Q
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 125
ad Theorem: Es gibt n+1 blattdisjunkte Strategien in G, die alle den Wurzelwert von G belegen. <=> Q root(n) (1) = Q root(n-1) (1) = ... = Q root(1) (1) = 0 Allgemein läßt sich die n-te Ableitung eines Produkts von Polynomen darstellen als mit geeigneten a(y 1,...,y b) ∈ℕ. Zu betrachten sind nun wieder die Ableitungen von Q G1, Q G2, Q G3.
∑
=++nyyy by b b
b
x g x g y y a
KL K
11
) ( ) ( ) , , (
)()( 11Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 126
Annahmen: (i) Für alle i≤n gilt: Für alle Spielbäume G gibt es i blattdisjunkte Strategien in G, die alle den Wurzelwert von G belegen. <=> Q G(i-1) (1) = ... = Q G(1) (1) = 0 (ii) Für alle G‘∈{G1, G2, G3} soll gelten: Es gibt n blattdisjunkte Strategien in G‘, die alle den Wurzelwert von G' belegenundQ G‘(n-1) (1) = ... = Q G‘(1) (1) = 0 (iii) Für alle i∈{1,..,n-1} gilt: das Vorzeichen von Q G‘(i) (1) = (-1)i-1 Bemerkung: Im folgenden machen wir Vorbetrachtungen für einen Induktions- beweis über die Anzahl von blattdisjukten Strategien und über die Höhe der Bäume. (i) und (iii) werden die Induktionsvoraussetzung bilden, und (II) wird aus „Q G(n) (1) = ... = Q G(1) (1) = 0“ oder aus „es gibt n+1 blattdisjunkte Stragegien ...“ hergeleitet werden.
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 127
n-te Ableitung für G1: Alle Summanden, die weniger als Ableitungen kleiner als n enthalten sind Null bei x=1, wegen Voraussetzung (ii). Da g i(1) = 1 für alle i, gilt: n-te Ableitung für G2: Mit Hilfe von (ii) sieht man, dass bei x=1 nur ein Summand ungleich 0 wird:
∑
=++=
nyyy by bn G b
b
x g x g y y a x Q
KL K
11
) ( ) ( ) , , ( ) (
)()( 11)( 1∑
==
b i
n in G
g Q
1)()( 1
)1 ( )1 ( ∑
=++⋅ − ⋅ − =
nyyy byy bn G b
b
x g x g x g y y a x Q
KL K
121
) ( ) ( )) ( 1 )( , , ( )1 ( ) (
)()( 2)( 11)( 2)1 ( )1 (
)( 1)( 2nn Gg Q =
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 128
n-te Ableitung für G3: 1.Fall n < c: Einer der ersten c Faktoren ist immer = 0 und es gibt, wegen der Definition von „Strategie“n blattdisjunkte Strategien unterhalb der Wurzel. Also: 2.Fall n = c: Sei S y1,...,ybein beliebiger Summand von Q(n) G3(x) bei x=1. Falls es ein l gibt mit l ≤c und (y l= 0 oder y l> 1), folgt S y1,...,yb= 0, weil einer der ersten c Wurzelnachfolger (sei das k) gilt: 1-g k(1) = 0. Falls es ein l>c gibt mit y l> 0, folgt ebenfalls sofort S y1,...,yb= 0. Sonst gilt Vorzeichen:
∑
=++++⋅ − − ⋅ − =
nyyy by cy cy bn G b
bcc
x g x g x g x g y y a x Q
KL L K
111
) ( ) ( )) ( 1( )) ( 1 )( , , ( )1 ( ) (
)()( 1)()( 11)( 30 )1 (
)( 3=
n GQ ∏
=⋅ − =
c iic yyg S
b1)1( ,,
)1 ( )1 ( )1 (
1K∈ ⋅ ⋅ − − ∏
=k ein für g k
n iin,) 1( )1 )(1 (
1)1(
ℕ
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 129
n-te Ableitung für G3: 3.Fall n > c: Sei S y1,...,ybein beliebiger Summand von Q(n) G3(x) bei x=1. a) Falls es ein l gibt mit l ≤c und y l= 0, folgt S y1,...,yb= 0 b) Falls es ein l gibt mit l > c und y l> 1, gilt: ∑c i=1y i≤n-1. S y1,...,ybhat die Form (1-g 1(x))y1 ···(1-g c(x))yc·X, X eine reele Zahl. Wegen Annahme (ii) gibt es unter n blattdisjunkte Strategien unter der Wurzel von G3. Wegen der Definition von Strategien gibt es die Summe der blattdisjunkten Strategien unter den ersten c Nachfolgern der Wurzel ebenfalls gleich n. Wir können also schließen, dass einer der ersten c Nachfolger mehr als y i-viele blattdisjunkte Stretegien unter sich hat. Mit Voraussetzung (i) folgt, dass ein (1-g i(x))(yi) an der Stelle x=1 zu 0 wird, für ein i∈{1,...,c} c) ∑c i=1y i= n und y i> 1 für sie ersten c Wurzelnachfolger
∑
=++− − − =
nyyy cy cn G b
c
x g x g y y a x Q
KL L K
11)()( 11)( 3
)) ( 1( )) ( 1 )( 0 , 0, , , ( ) (
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 130
n-te Ableitung für G3, 3. Fall: Vorzeichen: Wegen Voraussetzung (iii) ist das Vorzeichen von Sei k i= y i-1 , für i = 1,...,c. Somit ist (-1)ki das Vorzeichen von g i(yi) (1). (vgl. (iii)) Da∑c i=1k i = n-c, folgt,
∑
=+++
− =
nyyy cy ccn G c
c
x g x g y y a x Q
KL L K
11
) ( ) ( ) 0 , 0, , , ( )1 ( ) (
)()( 111)( 3n y mit g sign Q sign
c ii
c i
y icn Gi
= ⋅ − − = ∑ ∏
== 11)()( 3
),) 1( ( )1 )(1 ( ))1 ( (
1 1)( 3
)1 ( )1 ( )1 )(1 ( ))1 ( (
− =− = − ⋅ − − = ∏
nc ikcn G
i
Q sign
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 131
Induktion: Annahme: (I) Für alle i≤n gilt: Für alle Spielbäume G gibt es i blattdisjunkte Strategien in G, die alle den Wurzelwert von G belegen. <=> Q G(i-1) (1) = ... = Q G(1) (1) = 0 (II) Für alle i∈{1,..,n-1} gilt: das Vorzeichen von Q G‘(i) (1) = (-1)i-1 Induktionsschritt(nn+1): ‘<=‘: Es gibt n+1 blattdisjunkte Strategien unter der Wurzel von G. Insbesondere gibt es n blattdisjunkte Strategien und mit (I) und (II) wissen wir, dass die Voraussetzungen (i)-(iii) erfüllt sind. Mit hilfe einer inneren impliziten Induktion sehen wir, dass der Induktionsschritt bereits gemacht ist. ‘=>’: Sei Q Gein Qualitätspolynom. Seien Q G(n) (1) = ... = Q G(1) (1) = 0. Offensichtlich gilt auch Q G(n-1) (1) = ... = Q G(1) (1) = 0. Von (I) wissen wir, dass es n blattdisjunkte Strategien in G gibt, und (i)-(iii) sind erfüllt. Mit Hilfe einer impliziten Induktion über die Tiefe von G ist der Induktionsschritt fertig. Man muss allerdings beachten, dass für alle i = 1,...,n gilt sign(Q G(i) (1) ) = (-1)i-1 ist.
Fe h le r a n a ly s e
.06.2009| Name | Vortragstitel| 132
Worst-Case Betrachtung: Satz: Sei G ein Spielbaum mit Wert 0 oder 1 an der Wurzel. Sei oBdA die Wurzel ein MAX-Knoten. Dann sind folgende Aussagen äquivalent. •es gibt c-viele blattdisjunkte Strategien unter der Wurzel von G, die beweisen, dass der wert der Wurzel 0 (bzw. 1) ist. •man muss mindestens c-viele Blattwerte, bezogen auf die echten Werte, verändern, damit der heuristische Minimaxwert der Wurzel falsch wird. ‚=>‘klar, denn mit der Veränderung eines Blattwertes kann man nur eine der blattdisjunkten Strategien „zerstören“. ‚<=‚Wir bauen per Induktion über die Baumtiefe t eine „Zerstörungsstrategie“, die mit c Änderungen die c blattdisjunkten Strategien zerstört. Start: Sei t = 1. Der Baum besteht nur aus einem Knoten, damit gibt es nur eine Strategie und mit Änderun eines Blattes wird der Wurzelwert verfälscht.
Fe h le r a n a ly s e
6.2009| Name | Vortragstitel| 133
Worst-Case Betrachtung: ‚<=‚... Annahme: Für alle Tiefe-(t-1)-Bäume gilt, wenn G genau c (c beliebig) blattdisjunkte Strategien enthält, die alle den wert 0 (bzw. 1) der Wurzel beweisen, läßt sich der Wurzelwert mit Hilfe von c Blattwertänderungen verfälschen. Schritt t-1t: Betrachte die Wurzel eine Tiefe-t-Spielbaums. -Ist der echte Wert 0, so gibt es für alle Nachfolger c blattdisjunkte Strategien, die den Wert 0 belegen. Mindestens 1 Nachfolger besitzt genau c solche Strategien. Auf den wenden wir die obige Annahme an und sind fertig. -Ist der Wert der Wurzel 1, gibt es d viele Nachfolger, die ebenfalls den Wert 1 haben und die Summe der Anzahl blattdisjunkter Strategien unter diesen Wurzelnachfolgern ist gleich c. Mit Hilfe der Induktionsannahme zerstören wir alle diese Strategien.