7.1.1 Zusammenhang zwischen der w.e. Funktion und den Momenten Da

(1)

7.1.1 Zusammenhang zwischen der w.e. Funktion und den Momenten Da

G X (s) :=

∞

X

k=0

Pr[X = k] · s ^k = E[s ^X ] , gilt

G ⁰ _X (1) =

∞

X

k=1

k · Pr[X = k] = E[X] .

DWT 7.1 Einf¨uhrung 182/476

c

Ernst W. Mayr

(2)

Beispiel 73

Sei X binomialverteilt mit X ∼ Bin(n, p), also

G X (s) = (1 − p + ps) ⁿ . Dann gilt

G ⁰ _X (s) = n · (1 − p + ps) ⁿ⁻¹ · p und somit

E[X] = G ⁰ _X (1) = np .

DWT 183/476

c

Ernst W. Mayr

(3)

Beispiel 73 Ebenso ergibt sich

E [X(X − 1) . . . (X − k + 1)] = G ^(k) _X (1) , also etwa

Var[X] = E[X(X − 1)] + E[X] − E[X] ²

= G ⁰⁰ _X (1) + G ⁰ _X (1) − (G ⁰ _X (1)) ² .

Andere Momente von X kann man auf ¨ ahnliche Art und Weise berechnen.

c

Ernst W. Mayr

(4)

Momenterzeugende Funktionen Definition 74

Zu einer Zufallsvariablen X ist die momenterzeugende Funktion gem¨ aß M X (s) := E[e ^Xs ]

definiert.

Es gilt

M _X (s) = E [e ^Xs ] = E

" _∞ X

i=0

(Xs) ⁱ i!

#

=

∞

X

i=0

E [X ⁱ ] i! · s ⁱ und

M X (s) = E[e ^Xs ] = E[(e ^s ) ^X ] = G X (e ^s ) .

c

Ernst W. Mayr

(5)

7.2 Summen von Zufallsvariablen

Satz 75 (Erzeugende Funktion einer Summe)

F¨ ur unabh¨ angige Zufallsvariablen X ₁ , . . . , X _n und die Zufallsvariable Z := X ₁ + . . . + X _n gilt

G _Z (s) = G _X

₁

(s) · . . . · G _X

_n

(s) . Ebenso gilt

M _Z (s) = M _X

₁

(s) · . . . · M _X

_n

(s) . Beweis:

Wegen der Unabh¨ angigkeit von X 1 , . . . , X n gilt

G Z (s) = E[s ^X

¹

^+...+X

ⁿ

] = E[s ^X

¹

] · . . . · E[s ^X

ⁿ

] = G X

1

(s) · . . . · G X

n

(s).

DWT 7.2 Summen von Zufallsvariablen 185/476

c

Ernst W. Mayr

(6)

Beispiel 76

Seien X 1 , . . . X _k mit X i ∼ Bin(n i , p) unabh¨ angige Zufallsvariable und Z := X ₁ + . . . + X _k . Dann gilt

G Z (s) =

k

Y

i=1

(1 − p + ps) ⁿ

ⁱ

= (1 − p + ps) ^P

^kⁱ⁼¹

ⁿ

ⁱ

und somit

Z ∼ Bin(

k

X

i=1

n i , p) (vgl. Satz 56).

Seien X 1 , . . . , X k ∼ Po(λ) unabh¨ angige Zufallsvariablen. Dann folgt f¨ ur Z := X 1 + . . . + X _k

G _Z (s) =

k

Y

i=1

e ^λ(s−1) = e ^kλ(s−1) und somit Z ∼ Po(kλ) (vgl. Satz 59).

c

Ernst W. Mayr

(7)

7.2.1 Zuf¨ allige Summen

Wir betrachten die Situation, dass Z := X 1 + . . . + X N , wobei N ebenfalls eine Zufallsvariable ist.

Satz 77

Seien X ₁ , X ₂ , . . . unabh¨ angige und identisch verteilte Zufallsvariablen mit der wahrscheinlichkeitserzeugenden Funktion G X (s). N sei ebenfalls eine unabh¨ angige Zufallsvariable mit der wahrscheinlichkeitserzeugenden Funktion G N (s). Dann besitzt die Zufallsvariable Z := X ₁ + . . . + X _N die wahrscheinlichkeitserzeugende

Funktion G Z (s) = G N (G X (s)).

c

Ernst W. Mayr

(8)

Beweis:

Nach Voraussetzung ist W N ⊆ N 0 . Deshalb folgt mit Satz 36 G Z (s) =

∞

X

n=0

E[s ^Z | N = n] · Pr[N = n]

=

∞

X

n=0

E [s ^X

¹

^+...+X

ⁿ

] · Pr[N = n]

=

∞

X

n=0

E [s ^X

¹

] · . . . · E [s ^X

ⁿ

] · Pr[N = n]

=

∞

X

n=0

(G _X (s)) ⁿ · Pr[N = n]

= E [(G _X (s)) ^N ]

= G _N (G _X (s)) .

c

Ernst W. Mayr

(9)

7.3 Rekurrente Ereignisse

Beispiel 78 (Random Walk im d-dimensionalen Gitter Z ^d )

Wir betrachten ein Partikel, das sich zuf¨ allig auf den Punkten aus Z bewegt. Es starte im Punkt 0 und bewege sich in jedem Zeitschritt jeweils mit Wahrscheinlichkeit 1/2 vom Punkt i zum Punkt i + 1 (

” nach rechts“) bzw. i − 1 (

” nach links“). Man nennt dieses Experiment auch Random Walk auf den ganzen Zahlen. Abbildung 1

veranschaulicht diesen Prozess.

0 1 2 3

1 2 3

Abbildung: Random Walk auf den ganzen Zahlen

DWT 7.3 Rekurrente Ereignisse 189/476

c

Ernst W. Mayr

(10)

F¨ ur k ∈ N bezeichne H k das Ereignis H k :=

” Partikel befindet sich im k-ten Schritt im Punkt 0“. Die Anzahl der Schritte nach rechts bzw. nach links bis zum k-ten Schritt ist binomialverteilt mit den Parametern n = k und p = 1/2.

F¨ ur die Wahrscheinlichkeit h k := Pr[H k ] erhalten wir deshalb h _k =

k k/2

2 ^−k , falls k gerade ist und h _k = 0 sonst.

Verallgemeinerung auf Z ^d , d ∈ N : h k =

k k/2

2 ^−k

d

f¨ ur k gerade.

c

Ernst W. Mayr

(11)

Sei h ⁰ _k die Wahrscheinlichkeit, dass das Partikel im k-ten Schritt zum ersten Mal zum Punkt 0 ^d zur¨ uckkehrt, und sei r := P ∞

k=1 h ⁰ _k die Wahrscheinlichkeit, dass das Partikel irgendwann zum Startpunkt zur¨ uckkehrt.

Wie h¨ angt r von d ab?

c

Ernst W. Mayr

(12)

Der gerade beschriebene Prozess hat die Eigenschaft, dass sich das Experiment nach jedem Besuch im Zustand 0 wieder genauso verh¨ alt wie beim Start des Prozesses im Zustand 0. Mit solchen Ereignissen besch¨ aftigt sich die Erneuerungstheorie (engl.

renewal theory).

Definition 79

Die Ereignisse H 1 , H 2 , . . . heißen rekurrent, wenn f¨ ur i, j ∈ N mit i > j gilt, dass Pr[H i | H ¯ 1 ∩ . . . ∩ H ¯ j−1 ∩ H j ] = Pr[H i−j ] .

Die Zufallsvariable Z mit W _Z = N ∪ {∞} messe die Wartezeit bis zum Auftreten des ersten Ereignisses H k . Die Dichte von Z ist definiert durch

Pr[Z = k] = Pr[ ¯ H ₁ ∩ . . . ∩ H ¯ k−1 ∩ H _k ], f¨ ur k ∈ N und Pr[Z = ∞] = 1 − P ∞

k=0 Pr[Z = k].

c

Ernst W. Mayr

(13)

Definition 80

F¨ ur i ∈ N bezeichne h i := Pr[H i ] die Auftrittswahrscheinlichkeit im i-ten Zeitschritt.

Wir setzen h 0 := 1 und erhalten die erzeugende Funktion der Auftrittswahrscheinlichkeiten gem¨ aß

H(s) :=

∞

X

k=0

h k s ^k .

Ferner sei die erzeugende Funktion der Wartezeit Z gegeben durch

T(s) :=

∞

X

k=0

Pr[Z = k] · s ^k .

c

Ernst W. Mayr

(14)

Bemerkung:

H(s) ist keine wahrscheinlichkeitserzeugende Funktion im Sinne der Definition. So gilt i.a. nicht H(1) = 1. Auch T (s) stellt keine

” echte“ wahrscheinlichkeitserzeugende Funktion dar, da

Pr[Z = ∞] = 1 − X

k∈ N

0

Pr[Z = k] = 1 − T (1) fehlt!

c

Ernst W. Mayr

(15)

Satz 81

F¨ ur rekurrente Ereignisse gilt

H(s) = 1 1 − T (s) . Beweis:

[Skizze]Nach dem Satz von der totalen Wahrscheinlichkeit gilt f¨ ur die Auftrittswahrscheinlichkeit h n (n ∈ N )

h _n = Pr[H _n ] =

∞

X

k=1

Pr[H _n | Z = k] · Pr[Z = k] . Gem¨ aß der Definition eines rekurrenten Ereignisses gilt f¨ ur k < n

Pr[H n | Z = k] = Pr[H n | H ¯ 1 ∩ . . . ∩ H ¯ k−1 ∩ H _k ] = Pr[H n−k ]

c

Ernst W. Mayr

(16)

Beweis (Forts.):

sowie

Pr[H n | Z = n] = 1

Pr[H n | Z = k] = 0 f¨ ur k > n . Damit folgt f¨ ur n ∈ N

h n =

n

X

k=1

h n−k · Pr[Z = k] =

n

X

k=0

h n−k · Pr[Z = k] .

F¨ ur n = 0 ergibt die rechte Seite dieser Gleichung 0. Damit entsteht durch Faltung der beiden Folgen (h 0 , h 1 , . . .) und (Pr[Z = 0], Pr[Z = 1], . . .) die Folge (0, h 1 , h 2 , . . .).

F¨ ur die erzeugenden Funktionen gilt deshalb H(s) − 1 = H(s)T (s).

c

Ernst W. Mayr

(17)

Beispiel 82

In dem einfachen Fall, dass die Ereignisse H 1 , H 2 , . . . unabh¨ angig mit Wahrscheinlichkeit p eintreten, ist die Wartezeit geometrisch verteilt.

H(s) = 1 +

∞

X

k=1

ps ^k = 1 + sp

1 − s = sp + 1 − s 1 − s . Daraus folgt

T (s) = 1 − 1

H(s) = 1 − 1 − s

sp + 1 − s = sp 1 − (1 − p)s . T(s) ist also die w.e. Funktion der geometrischen Verteilung mit Erfolgswahrscheinlichkeit p.

c

Ernst W. Mayr

(18)

Korollar 83

F¨ ur rekurrente Ereignisse gilt Pr[Z < ∞] = 1 genau dann, wenn H(1) = ∞ ist, wenn also die Summe P ∞

k=1 h _k der Auftrittswahrscheinlichkeiten divergiert.

Beweis:

Nach Satz 81 gilt T (s) = (H(s) − 1)/H(s). Daraus folgt Pr[Z < ∞] = T(1) = 1 − 1/H (1) .

c

Ernst W. Mayr

(19)

Beispiel 84

Wir wenden Korollar 83 auf den Random Walk im Z ^d an.

Aus der Stirlingformel folgt

n! = Θ( √

n(n/e) ⁿ ) und damit f¨ ur d = 1

2n n

= (2n)!

(n!) ² = Θ

√ 2n(2n) ²ⁿ e ²ⁿ ·

e ⁿ

√ nn ⁿ 2 !

= Θ 2 ²ⁿ

√ n

.

c

Ernst W. Mayr

(20)

Beispiel (Forts.)

Also

H(1) =

∞

X

k=0

h k =

∞

X

k=0

2k k

2 ^−2k =

∞

X

k=0

Θ(k ^−1/2 ) = ∞, da die Summe P ∞

k=0 1/k ^α f¨ ur α ≤ 1 divergiert. Nach Korollar 83 kehrt das Partikel also mit Wahrscheinlichkeit 1 immer wieder zum Ausgangspunkt zur¨ uck.

c

Ernst W. Mayr

(21)

Beispiel (Forts.) F¨ ur d ∈ N gilt allgemein

H(1) =

∞

X

k=0

h _k =

∞

X

k=0

Θ(k ^−(1/2)d ).

F¨ ur d = 1 und d = 2 divergiert diese Summe, w¨ ahrend sie f¨ ur d ≥ 3 konvergiert. Das Partikel kehrt also im ein- und im zweidimensionalen Raum mit Wahrscheinlichkeit 1 zum Ausgangspunkt zur¨ uck, im drei- oder h¨ oherdimensionalen Raum jedoch nicht mehr. Im dreidimensionalen Fall gilt

Pr[ ” Partikel kehrt nie zum Ausgangspunkt zur¨ uck“]

= Pr[Z = ∞] = 1/H(1) = 1/

∞

X

k=0

( 2k

k

2 ^−2k ) ³

≈ 0,7178 .

c

Ernst W. Mayr

(22)

Beispiel (Forts.)

0,5 0,6 0,7 0,8 0,9 1,0

3 4 5 6 7

WS( ” Keine R¨ uckkehr zum Anfang“) f¨ ur den Random Walk in Z ^d

c

Ernst W. Mayr

(23)

8. Formelsammlung

8.1 Gesetze zum Rechnen mit Ereignissen

Im Folgenden seien A und B, sowie A 1 , . . . , A n Ereignisse. Die Notation A ] B steht f¨ ur A ∪ B und zugleich A ∩ B = ∅ (disjunkte Vereinigung). A ₁ ] . . . ] A _n = Ω bedeutet also, dass die Ereignisse A 1 , . . . , A n eine Partition der Ergebnismenge Ω bilden.

Pr[∅] = 0 0 ≤ Pr[A] ≤ 1 Pr[ ¯ A] = 1 − Pr[A]

A ⊆ B = ⇒ Pr[A] ≤ Pr[B]

DWT 8.1 Gesetze zum Rechnen mit Ereignissen 203/476

c

Ernst W. Mayr

(24)

∀i 6= j : A i ∩ A j = ∅ = ⇒ Pr [ S n

i=1 A _i ] = P n

i=1 Pr[A _i ] Additionssatz Pr[A ∪ B] = Pr[A] + Pr[B] − Pr[A ∩ B]

allgemeine Form: siehe Satz 9

Inklusion/Exklusion, Siebformel

Pr [ S n

i=1 A _i ] ≤ P n

i=1 Pr[A _i ] Boolesche

Ungleichung

Pr[A|B ] = ^Pr[A∩B] _Pr[B] f¨ ur Pr[B ] > 0 Def. bedingte Ws.

c

Ernst W. Mayr

(25)

B ⊆ A 1 ] . . . ] A n = ⇒ Pr[B] = P n

i=1 Pr[B|A _i ] · Pr[A _i ]

Satz von der totalen Wahrscheinlichkeit

Pr[B] > 0, B ⊆ A 1 ] . . . ] A n = ⇒ Pr[A _i |B ] = ^P

n

^Pr[B|A

ⁱ

^]·Pr[A

ⁱ

^]

i=1

Pr[B|A

_i

]·Pr[A

_i

]

Satz von Bayes

Pr[A ₁ ∩ . . . ∩ A _n ] = Pr[A ₁ ] · Pr[A ₂ |A ₁ ] ·

. . . · Pr[A n |A 1 ∩ . . . ∩ A n−1 ] Multiplikationssatz A und B unabh¨ angig ⇐⇒

Pr[A ∩ B] = Pr[A] · Pr[B ]

Definition Unabh¨ angigkeit

c

Ernst W. Mayr

(26)

8.2 Erwartungswert und Varianz diskreter Zufallsvariablen

Sei X eine diskrete Zufallsvariable. F¨ ur Erwartungswert und Varianz gelten die folgenden Formeln (sofern E[X] und Var[X ] existieren).

E[X ] = X

x∈W_X

x · Pr[X = x]

= X

ω∈Ω

X(ω) · Pr[ω]

=

∞

X

i=1

Pr[X ≥ i], falls W

X

⊆ N

0

Erwartungswert

Var[X] = E [(X − E [X])

²

]

= P

x∈WX

Pr[X = x] · (x − E[X ])

²

Varianz

DWT 8.2 Erwartungswert und Varianz diskreter Zufallsvariablen 206/476

c

Ernst W. Mayr

(27)

8.3 Gesetze zum Rechnen mit Zufallsvariablen Seien a, b, a 1 , . . . , a n ∈ R, f 1 , . . . , f n : R → R.

X 1 , . . . , X n unabh¨ angig ⇐⇒ f¨ ur alle (a 1 , . . . , a n ):

Pr[X ₁ = a ₁ , . . . , X _n = a _n ]

= Pr[X 1 = a 1 ] · . . . · Pr[X n = a n ] X 1 , . . . , X n unabh¨ angig = ⇒ f 1 (X 1 ), . . . , f n (X n ) unabh¨ angig

E [a · X + b] = a · E [X] + b

DWT 8.3 Gesetze zum Rechnen mit Zufallsvariablen 207/476

c

Ernst W. Mayr

(28)

7.1.1 Zusammenhang zwischen der w.e. Funktion und den Momenten Da