2 Gesetze der großen Zahlen

2 Gesetze der großen Zahlen

In diesem und dem folgenden Abschnitt

• (X

)

Folge von identisch verteilten ZVen auf

(Ω, A, P ) mit X

∈ L

,

• S

:= P

i=1

X

f¨ur n ∈ N .

Untersucht wird die Konvergenz geeignet normierter Partialsummen S

.

Hier zun¨achst Konvergenz des arithmetischen Mittels S

/n

gegen E(X ) ^.

31. Beispiel Gelte

P ( { X

= 1 } ) = p, P ( { X

= − 1 } ) = 1 − p

f¨ur

p ∈ ]0, 1[

E(X

) = 2p − 1

und

1/2 · (S

+ n) =

X

i=1

(X

+ 1)/2 ∼ B (n, p).

Speziell:

• p = 1/2

• p = 19/37 = 0, 5135 . . .

290/1

Somit gilt f¨ur jedes

ε > 0

{| S

/n − E(X

) | ≥ ε } = {| S

− n · (2p − 1) | ≥ n · ε }

= {| (S

+ n)/2 − n · p | ≥ n/2 · ε } ,

d.h.

P ( {| S

/n − E(X

) | ≥ ε } ) = X

k∈K

n k

· p

· (1 − p)

mit

K := { k ∈ { 0, . . . , n } : | k − n · p | ≥ n/2 · ε }

Frage: Wie verhalten sich diese Wahrscheinlichkeiten f ¨ur große Werte

n

Antwort unter sehr allgemeinen Voraussetzungen im folgenden Satz.

32. Satz Schwaches Gesetz der großen Zahlen

Falls (X

)

paarweise unkorreliert, so folgt f ¨ur jedes ε > 0

n→∞

lim P ( {| S

/n − E(X

) | ≥ ε } ) = 0.

Beweis. Es gilt

X

∈ L

E(S

/n) = E(X

)

Var(S

) = n · Var(X

).

Also sichert Satz 29

P ( {| S

/n − E(X

) | ≥ ε } ) ≤ 1

ε

· Var(S

/n) = 1

ε

· Var(X

)

n .

Jakob Bernoulli (1713), Khintchine (1928)

292/1

33. Bemerkung Was besagt Satz 32 f¨ur die Folge der Verteilungen P

? Es gilt

{| S

/n − E(X

) | < ε } )

= { (E(X

) − ε) · n ≤ S

≤ (E(X

) + ε) · n } .

Also

n→∞

lim P ( { (E(X

) − ε) · n ≤ S

≤ (E(X

) + ε) · n } ) = 1.

Beachte: Satz 32 macht keine Aussage ¨uber einzelne

Realisierungen S

(ω), S

(ω), . . . ^{der Folge} (S

)

^.

34. Beispiel Sei X

∼ B (1, p) . Der Beweis von Satz 32 zeigt

P ( {| S

/n − p | ≥ ε } ) ≤ 1

4 · ε

· n .

Es gilt jedoch auch die f ¨ur großes n wesentlich bessere Hoeffdingsche Ungleichung

P ( {| S

/n − p | ≥ ε } ) ≤ 2 · exp( − 2 · ε

· n),

siehe ¨U

.

ε = 10

n = 10

1

4 · ε

· n = 0, 25

2 · exp( − 2 · ε

· n) = 0, 270 . . .

und f¨ur

ε = 10

n = 10

1

4 · ε

· n = 0, 025

2 · exp( − 2 · ε

· n) = 4, 12 · · · · 10

.

Nun zur Konvergenz der Realisierungen

S

(ω)/1, S

(ω )/2, . . .

35. Satz Starkes Gesetz der großen Zahlen

Falls (X

)

unabh¨angig, so folgt f¨ur fast alle ω ∈ Ω

n→∞

lim S

(ω)/n = E(X

)

Beweis. Siehe Irle (2001, Kap. 11) und Vorlesung ”Probability Theory“.

Spezialfall in Kapitel IV.2 behandelt.

Borel (1909), Kolmogorov (1930), Etemadi (1981)

Stochastische Simulation zur Berechnung von E(X

) :

• Konstruiere iid-ZVen X

, . . . , X

auf (Ω, A, P ) ^{, wobei} X

und X

identisch verteilt

• Erzeuge eine Realisierung x

, . . . , x

der ZVen

X

, . . . , X

, d.h. f¨ur ein ω ∈ Ω

x

= X

(ω), . . . , x

= X

(ω)

• Approximiere E(X

) = E(X

) durch die entsprechende Realisierung von S

/n (Mittelwert)

1/n ·

X

x

296/1

36. Beispiel Betrachte die ZV

X

:=

 



max { n ∈ N

: P

i=1

Y

≤ 1 } ,

_{ . . . }

0,

wobei (Y

)

iid mit Y

∼ Exp (λ) f¨ur λ := 5 .

Anwendung: Warteschlangentheorie, Stichwort Poisson-Prozeß.

Berechne E(X

) .

Die ersten 10 Simulationen lieferten die Werte

7, 1, 4, 6, 7, 6, 8, 5, 11, 5 ^.

Realisierung von

S

/n

n = 1, . . . , 10

1 2 3 4 5 6 7 8 9 10

4 5 6 7

n

1/n⋅ S n(ω)

298/1

Realisierung von

S

/n

n = 1, . . . , 100

0 10 20 30 40 50 60 70 80 90 100

4 5 6 7

1/n⋅ S n(ω)

Realisierung von

S

/n

n = 1, . . . , 1000

0 100 200 300 400 500 600 700 800 900 1000

4 5 6 7

n

1/n⋅ S n(ω)

300/1

Realisierung von

S

/n

n = 1, . . . , 10000

0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

4 5 6 7

1/n⋅ S n(ω)

37. Bemerkung Was besagt Satz 35 f¨ur Folgen von Realisierungen der ZVen S

?

F¨ur alle ε > 0 und fast alle ω ∈ Ω gilt

∃ n

(ε, ω ) ∀ n ≥ n

(ε, ω ) :

(E(X

) − ε) · n ≤ S

(ω) ≤ (E(X

) + ε) · n.

302/1

Vergleich der Konvergenzbegriffe im Starken und Schwachen Gesetz der großen Zahlen.

38. Satz Gilt fast sicher

n→∞

lim Y

= 0

f¨ur eine Folge von ZVen (Y

)

^auf (Ω, A, P ) , so folgt f¨ur alle ε > 0

n→∞

lim P ( {| Y

| ≥ ε } ) = 0.

Beweis. ¨U^BUNG