F¨ ur X ∼ Bin(n, p) gilt nach der binomischen Formel G

(1)

Binomialverteilung

F¨ ur X ∼ Bin(n, p) gilt nach der binomischen Formel G

_X

(s) = E [s

^X

] =

n

X

k=0

n k

p

^k

(1 − p)

^n−k

· s

^k

= (1 − p + ps)

ⁿ

.

Geometrische Verteilung

Sei X eine geometrisch verteilte Zufallsvariable mit Erfolgswahrscheinlichkeit p. Dann gilt

G

_X

(s) = E [s

^X

] =

∞

X

k=1

p(1 − p)

^k−1

· s

^k

= ps ·

∞

X

k=1

((1 − p)s)

^k−1

= ps 1 − (1 − p)s .

DWT 7.1 Einf¨uhrung 179/467

©Ernst W. Mayr

(2)

Poisson-Verteilung F¨ ur X ∼ Po(λ) gilt

G

X

(s) = E [s

^X

] =

∞

X

k=0

e

^−λ

λ

^k

k! · s

^k

= e

^−λ+λs

= e

^λ(s−1)

.

©Ernst W. Mayr

(3)

Beispiel 72

Sei X binomialverteilt mit X ∼ Bin(n, λ/n), F¨ ur n → ∞ folgt G

X

(s) =

1 − λ

n + λs n

n

=

1 + λ(s − 1) n

n

→ e

^λ(s−1)

.

Man kann beweisen, dass aus der Konvergenz der

wahrscheinlichkeitserzeugenden Funktion die Konvergenz der Verteilung folgt.

©Ernst W. Mayr

(4)

7.1.1 Zusammenhang zwischen der w.e. Funktion und den Momenten

Da

G

X

(s) :=

∞

X

k=0

Pr[X = k] · s

^k

= E[s

^X

] , gilt

G

⁰_X

(1) =

∞

X

k=1

k · Pr[X = k] = E [X] .

©Ernst W. Mayr

(5)

Beispiel 73

Sei X binomialverteilt mit X ∼ Bin(n, p), also G

X

(s) = (1 − p + ps)

ⁿ

. Dann gilt

G

⁰_X

(s) = n · (1 − p + ps)

ⁿ⁻¹

· p und somit

E [X] = G

⁰_X

(1) = np .

DWT 183/467

©Ernst W. Mayr

(6)

Beispiel 73 Ebenso ergibt sich

E [X(X − 1) . . . (X − k + 1)] = G

^(k)_X

(1) , also etwa

Var[X] = E [X(X − 1)] + E [X] − E [X]

²

= G

⁰⁰_X

(1) + G

⁰_X

(1) − (G

⁰_X

(1))

²

.

Andere Momente von X kann man auf ¨ ahnliche Art und Weise berechnen.

©Ernst W. Mayr

(7)

Momenterzeugende Funktionen Definition 74

Zu einer Zufallsvariablen X ist die momenterzeugende Funktion gem¨ aß

M

_X

(s) := E [e

^Xs

] definiert.

Es gilt

M

_X

(s) = E [e

^Xs

] = E

"

_∞

X

i=0

(Xs)

ⁱ

i!

#

=

∞

X

i=0

E [X

ⁱ

] i! · s

ⁱ

und

M

X

(s) = E [e

^Xs

] = E [(e

^s

)

^X

] = G

X

(e

^s

) .

©Ernst W. Mayr

(8)

7.2 Summen von Zufallsvariablen

Satz 75 (Erzeugende Funktion einer Summe) F¨ ur unabh¨ angige Zufallsvariablen X

₁

, . . . , X

_n

und die Zufallsvariable Z := X

₁

+ . . . + X

_n

gilt

G

_Z

(s) = G

_X₁

(s) · . . . · G

_X_n

(s) . Ebenso gilt

M

_Z

(s) = M

_X₁

(s) · . . . · M

_X_n

(s) . Beweis:

Wegen der Unabh¨ angigkeit von X

1

, . . . , X

n

gilt

G

Z

(s) = E[s

^X¹^+...+Xⁿ

] = E[s

^X¹

]·. . .· E[s

^Xⁿ

] = G

X1

(s)·. . .·G

Xn

(s).

DWT 7.2 Summen von Zufallsvariablen 185/467

©Ernst W. Mayr

(9)

Beispiel 76

Seien X

1

, . . . X

_k

mit X

i

∼ Bin(n

i

, p) unabh¨ angige Zufallsvariable und Z := X

₁

+ . . . + X

_k

. Dann gilt

G

Z

(s) =

k

Y

i=1

(1 − p + ps)

ⁿⁱ

= (1 − p + ps)

^P^kⁱ⁼¹ⁿⁱ

und somit

Z ∼ Bin(

k

X

i=1

n

i

, p) (vgl. Satz 56).

Seien X

1

, . . . , X

k

∼ Po(λ) unabh¨ angige Zufallsvariablen. Dann folgt f¨ ur Z := X

1

+ . . . + X

_k

G

_Z

(s) =

k

Y

i=1

e

^λ(s−1)

= e

^kλ(s−1)

und somit Z ∼ Po(kλ) (vgl. Satz 59).

©Ernst W. Mayr

(10)

7.2.1 Zuf¨ allige Summen

Wir betrachten die Situation, dass Z := X

1

+ . . . + X

N

, wobei N ebenfalls eine Zufallsvariable ist.

Satz 77

Seien X

₁

, X

₂

, . . . unabh¨ angige und identisch verteilte Zufallsvariablen mit der wahrscheinlichkeitserzeugenden

Funktion G

X

(s). N sei ebenfalls eine unabh¨ angige Zufallsvariable mit der wahrscheinlichkeitserzeugenden Funktion G

_N

(s). Dann besitzt die Zufallsvariable Z := X

1

+ . . . + X

N

die

wahrscheinlichkeitserzeugende Funktion G

Z

(s) = G

N

(G

X

(s)).

©Ernst W. Mayr

(11)

Beweis:

Nach Voraussetzung ist W

N

⊆ N

0

. Deshalb folgt mit Satz 36 G

Z

(s) =

∞

X

n=0

E[s

^Z

| N = n] · Pr[N = n]

=

∞

X

n=0

E [s

^X¹^+...+Xⁿ

] · Pr[N = n]

=

∞

X

n=0

E [s

^X¹

] · . . . · E [s

^Xⁿ

] · Pr[N = n]

=

∞

X

n=0

(G

_X

(s))

ⁿ

· Pr[N = n]

= E [(G

_X

(s))

^N

]

= G

_N

(G

_X

(s)) .

©Ernst W. Mayr

(12)

7.3 Rekurrente Ereignisse

Beispiel 78 (Random Walk im d-dimensionalen Gitter Z

^d

) Wir betrachten ein Partikel, das sich zuf¨ allig auf den Punkten aus Z bewegt. Es starte im Punkt 0 und bewege sich in jedem

Zeitschritt jeweils mit Wahrscheinlichkeit 1/2 vom Punkt i zum Punkt i + 1 (

” nach rechts“) bzw. i − 1 (

” nach links“). Man nennt dieses Experiment auch Random Walk auf den ganzen Zahlen.

Abbildung 1 veranschaulicht diesen Prozess.

0 1 2 3

1 2 3

Abbildung: Random Walk auf den ganzen Zahlen

DWT 7.3 Rekurrente Ereignisse 189/467

©Ernst W. Mayr

(13)

F¨ ur k ∈ N bezeichne H

k

das Ereignis H

k

:=

” Partikel befindet sich im k-ten Schritt im Punkt 0“. Die Anzahl der Schritte nach rechts bzw. nach links bis zum k-ten Schritt ist binomialverteilt mit den Parametern n = k und p = 1/2.

F¨ ur die Wahrscheinlichkeit h

_k

:= Pr[H

_k

] erhalten wir deshalb h

k

=

k k/2

2

^−k

, falls k gerade ist und h

k

= 0 sonst.

Verallgemeinerung auf Z

^d

, d ∈ N:

h

_k

= k

k/2

2

^−k

d

f¨ ur k gerade.

©Ernst W. Mayr

(14)

Sei h

⁰_k

die Wahrscheinlichkeit, dass das Partikel im k-ten Schritt zum ersten Mal zum Punkt 0

^d

zur¨ uckkehrt, und sei r := P

∞

k=1

h

⁰_k

die Wahrscheinlichkeit, dass das Partikel irgendwann zum

Startpunkt zur¨ uckkehrt.

Wie h¨ angt r von d ab?

©Ernst W. Mayr

(15)

Der gerade beschriebene Prozess hat die Eigenschaft, dass sich das Experiment nach jedem Besuch im Zustand 0 wieder genauso verh¨ alt wie beim Start des Prozesses im Zustand 0. Mit solchen Ereignissen besch¨ aftigt sich die Erneuerungstheorie (engl. renewal theory).

Definition 79

Die Ereignisse H

₁

, H

₂

, . . . heißen rekurrent, wenn f¨ ur i, j ∈ N mit i > j gilt, dass

Pr[H

_i

| H ¯

₁

∩ . . . ∩ H ¯

j−1

∩ H

_j

] = Pr[H

i−j

] .

Die Zufallsvariable Z mit W

Z

= N ∪ {∞} messe die Wartezeit bis zum Auftreten des ersten Ereignisses H

_k

. Die Dichte von Z ist definiert durch

Pr[Z = k] = Pr[ ¯ H

₁

∩ . . . ∩ H ¯

k−1

∩ H

_k

], f¨ ur k ∈ N und Pr[Z = ∞] = 1 − P

∞

k=0

Pr[Z = k].

©Ernst W. Mayr

(16)

Definition 80

F¨ ur i ∈ N bezeichne h

i

:= Pr[H

i

] die Auftrittswahrscheinlichkeit im i-ten Zeitschritt. Wir setzen h

0

:= 1 und erhalten die

erzeugende Funktion der Auftrittswahrscheinlichkeiten gem¨ aß

H(s) :=

∞

X

k=0

h

k

s

^k

.

Ferner sei die erzeugende Funktion der Wartezeit Z gegeben durch

T(s) :=

∞

X

k=0

Pr[Z = k] · s

^k

.

©Ernst W. Mayr

(17)

Bemerkung:

H(s) ist keine wahrscheinlichkeitserzeugende Funktion im Sinne der Definition. So gilt i.a. nicht H(1) = 1. Auch T (s) stellt keine

” echte“ wahrscheinlichkeitserzeugende Funktion dar, da Pr[Z = ∞] = 1 − X

k∈N0

Pr[Z = k] = 1 − T (1) fehlt!

©Ernst W. Mayr

(18)

Satz 81

F¨ ur rekurrente Ereignisse gilt

H(s) = 1 1 − T (s) .

Beweis:

[Skizze]Nach dem Satz von der totalen Wahrscheinlichkeit gilt f¨ ur die Auftrittswahrscheinlichkeit h

_n

(n ∈ N )

h

_n

= Pr[H

_n

] =

∞

X

k=1

Pr[H

_n

| Z = k] · Pr[Z = k] . Gem¨ aß der Definition eines rekurrenten Ereignisses gilt f¨ ur k < n

Pr[H

_n

| Z = k] = Pr[H

_n

| H ¯

₁

∩ . . . ∩ H ¯

k−1

∩ H

_k

] = Pr[H

n−k

]

©Ernst W. Mayr

(19)

Beweis (Forts.):

sowie

Pr[H

n

| Z = n] = 1

Pr[H

n

| Z = k] = 0 f¨ ur k > n . Damit folgt f¨ ur n ∈ N

h

n

=

n

X

k=1

h

n−k

· Pr[Z = k] =

n

X

k=0

h

n−k

· Pr[Z = k] . F¨ ur n = 0 ergibt die rechte Seite dieser Gleichung 0. Damit entsteht durch Faltung der beiden Folgen (h

0

, h

1

, . . .) und (Pr[Z = 0], Pr[Z = 1], . . .) die Folge (0, h

₁

, h

₂

, . . .). F¨ ur die erzeugenden Funktionen gilt deshalb H(s) − 1 = H(s)T (s).

©Ernst W. Mayr

(20)

Beispiel 82

In dem einfachen Fall, dass die Ereignisse H

1

, H

2

, . . . unabh¨ angig mit Wahrscheinlichkeit p eintreten, ist die Wartezeit geometrisch verteilt.

H(s) = 1 +

∞

X

k=1

ps

^k

= 1 + sp

1 − s = sp + 1 − s 1 − s . Daraus folgt

T (s) = 1 − 1

H(s) = 1 − 1 − s

sp + 1 − s = sp 1 − (1 − p)s . T(s) ist also die w.e. Funktion der geometrischen Verteilung mit Erfolgswahrscheinlichkeit p.

©Ernst W. Mayr

(21)

Korollar 83

F¨ ur rekurrente Ereignisse gilt Pr[Z < ∞] = 1 genau dann, wenn H(1) = ∞ ist, wenn also die Summe P

∞

k=1

h

_k

der Auftrittswahrscheinlichkeiten divergiert.

Beweis:

Nach Satz 81 gilt T (s) = (H(s) − 1)/H(s). Daraus folgt Pr[Z < ∞] = T(1) = 1 − 1/H (1) .

©Ernst W. Mayr

(22)

Beispiel 84

Wir wenden Korollar 83 auf den Random Walk im Z

^d

an.

Aus der Stirlingformel folgt n! = Θ( √

n(n/e)

ⁿ

) und damit f¨ ur d = 1

2n n

= (2n)!

(n!)

²

= Θ

√ 2n(2n)

²ⁿ

e

²ⁿ

· e

ⁿ

√ nn

ⁿ

2

!

= Θ 2

²ⁿ

√ n

.

©Ernst W. Mayr

(23)

Beispiel (Forts.)

Also

H(1) =

∞

X

k=0

h

_k

=

∞

X

k=0

2k k

2

^−2k

=

∞

X

k=0

Θ(k

^−1/2

) = ∞,

da die Summe P

∞

k=0

1/k

^α

f¨ ur α ≤ 1 divergiert. Nach Korollar 83 kehrt das Partikel also mit Wahrscheinlichkeit 1 immer wieder zum Ausgangspunkt zur¨ uck.

©Ernst W. Mayr

(24)

Beispiel (Forts.) F¨ ur d ∈ N gilt allgemein

H(1) =

∞

X

k=0

h

_k

=

∞

X

k=0

Θ(k

^−(1/2)d

).

F¨ ur d = 1 und d = 2 divergiert diese Summe, w¨ ahrend sie f¨ ur d ≥ 3 konvergiert. Das Partikel kehrt also im ein- und im zweidimensionalen Raum mit Wahrscheinlichkeit 1 zum

Ausgangspunkt zur¨ uck, im drei- oder h¨ oherdimensionalen Raum jedoch nicht mehr. Im dreidimensionalen Fall gilt

Pr[ ” Partikel kehrt nie zum Ausgangspunkt zur¨ uck“]

= Pr[Z = ∞] = 1/H(1) = 1/

∞

X

k=0

( 2k

k

2

^−2k

)

³

≈ 0,7178 .

©Ernst W. Mayr

(25)

Beispiel (Forts.)

0,5 0,6 0,7 0,8 0,9 1,0

3 4 5 6 7

WS( ” Keine R¨ uckkehr zum Anfang“) f¨ ur den Random Walk in Z

^d

©Ernst W. Mayr