Der zentrale Grenzwertsatz

(1)

Vorlesung 7a

Der zentrale Grenzwertsatz

1

(2)

1. Rekapitulation und Auftakt:

Eine Eigenschaft der Normalverteilung

2

(3)

Am Ende von Vorlesung 6b haben wir aus der Rotationsinvarianz der zweidimensionalen

Standard-Normalverteilung gefolgert:

Sind Z₁ und Z₂ unabh ¨angig und standard-normalverteilt, dann ist auch

√1

2(Z₁ + Z₂)

standard-normalverteilt.

3

(4)

Was 2 recht ist, ist hier auch n billig:

Genau dasselbe geometrische Argument (jetzt im Rⁿ statt im R²) zeigt, dass f ¨ur

unabh ¨angige, standard-normalverteilte Z₁, . . . , Z_n auch (∗) √¹

n(Z₁ + · · · + Z_n) standard-normalverteilt ist.

Denn: √¹

n(~ê₁ ⁺ · · · +~ên) =: ~û ist ein Einheitsvektor im Rⁿ (er zeigt in Richtung der Hauptdiagonalen). (∗) ist die ~u- Komponente des

rotationssymmetrisch verteilten Vektors _Z~ _:= _Z₁~ê₁ ⁺ · · ·Z_n~ên. Also ist (∗) so verteilt wie Z₁, die ~ê₁-Komponente von _Z.~

4

(5)

Folgerung:

Sind Y₁, . . . , Y_n unabh ¨angig und N(µ, σ²)-verteilt, dann ist Y₁ + · · · + Y_n − nµ

σ√

n N(0, 1)-verteilt.

Denn dieses ist gleich

√1 n

Y₁ − µ

σ + · · · + Y_n − µ σ

!

.

Die standardisierte Summe von unabh ¨angigen, identisch normalverteilten Zufallsvariablen

ist standard-normalverteilt.

5

(6)

2. Der Zentrale Grenzwertsatz: Die Botschaft

6

(7)

Die eben getroffene Aussage

“Die standardisierte Summe von unabh ¨angigen, identisch normalverteilten Zufallsvariablen

ist standard-normalverteilt.”

hat eine gewaltige Weiterung (asymptotisch f ¨ur große n) im Zentralen Grenzwertsatz:

7

(8)

Der Zentrale Grenzwertsatz:

“Die standardisierte Summe von VIELEN unabh ¨angigen, identisch verteilten

nicht notwendig normalverteilten R-wertigen Zufallsvariablen

mit endlicher Varianz

ist ann ¨ahernd standard-normalverteilt”

8

(9)

Formal:

Seien X₁, X₂, . . . unabh ¨angige und identisch verteilte Zufallsvariable mit endlichem Erwartungswert µ

und endlicher Varianz σ² > 0. Dann gilt f ¨ur alle c < d ∈ R

P

X₁ + · · · + X_n − nµ

√nσ² ∈ [c, d]

−→

n→∞ P(Z ∈ [c, d]). Dabei ist Z standard-normalverteilt.

9

(10)

In Worten:

Die standardisierte Summe von n unabh ¨angigen, identisch verteilten R-wertigen Zufallsvariablen

mit endlicher Varianz

konvergiert f ¨ur n → ∞ in Verteilung

gegen eine standard-normalverteilte Zufallsvariable.

Ein Beweis des Zentralen Grenzwertsatzes findet sich im Buch S. 78-80.

10

(11)

3. Zentraler Grenzwertsatz:

Meilensteine in seiner Geschichte

11

(12)

Abraham de Moivre:

Der faire M ¨unzwurf (1733)

Pierre-Simon Laplace:

Allgemeine binomiale Zufallsgr ¨oßen (1812)

Pafnuty Lvovich Chebyshev:

Skizze eines Beweises f ¨ur den allgemeinen Fall (1887)

12

(13)

Aleksandr Mikhailovich Lyapunov:

Allgemeiner zentraler Grenzwertsatz (1901) Noch allgemeiner (1906)

Andrei Andreyevich Markov:

weitere Verallgemeinerungen (∼ 1910)

13

(14)

Nehmen wir an,

diese Herren h ¨atten sich

auf ihre vielen anderen Interessen beschr ¨ankt.

ZENTRALER GRENZWERTSATZ

Unbekannt

K ¨onnten wir ihn entdecken?

Wie k ¨amen wir auf e^−x²^/2?

14

(15)

Nehmen wir an,

diese Herren h ¨atten sich

auf ihre vielen anderen Interessen beschr ¨ankt.

ZENTRALER GRENZWERTSATZ

Unbekannt.

K ¨onnten wir ihn entdecken?

Wie k ¨amen wir auf die “Glockenkurve”?

Warum gerade e^−x²^/2?

15

(16)

e e

Ein Ausflug mit Brooks Ferebee

16

(17)

4. Ein Beispiel: Summen von

unabh ¨angigen uniform verteilten Zufallsvariablen

17

(18)

Wir denken an

Rundungsfehler bei Addition

18

(19)

In Wirklichkeit π =

3.141592653589793238462643383279502884197169399375105...

Im Rechner

π ← 3.14159265358979

19

(20)

MODELL

Zahl = Rechnerdarstellung + Rundungsfehler.

A = a^[R] + εX ε = 10⁻¹⁵

Annahme: X uniform verteilt auf [−0.5, 0.5].

Xn i=1

A_i = ? Xn

i=1

A_i =

Xn i=1

a^[R]_i + ε

Xn i=1

X_i Wie groß ist der Fehler?

Xn i=1

X_i ≈ ?

20

(21)

Der Zentrale Grenzwertsatz gibt die Auskunft:

Xn i=1

X_i ist

f ¨ur große n

approximativ N(0, n σ²_X

1)-verteilt.

21

(22)

Ein Beispiel:

X

₁

, X

₂

, . . . unabh ¨angig

und uniform auf [− 0.5, 0.5 ] verteilt

22

(23)

Empirische Verteilung von S_n := X₁ + ... + X_n

100000 Simulationen jeweils f ¨ur

n = 1, 2, ..., 10

n = 15, 20, 30, ..., 100

23

(24)

−0.5 0.0 0.5

0.00.51.01.52.0

Dichtefunktion f_X der Verteilung von X

x f X(x)

EX σ

−σ

Aus dieser Verteilung wird 100000-mal eine Stichprobe vom Umfang n gezogen.

24

(25)

−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6

010002000300040005000

123456789123456789Verteilung von S₁ = X₁ (n = 1)123456789123456789

AnzahlSimulationen(aus100000)

S_n

25

(26)

−1.0 −0.5 0.0 0.5 1.0

02000400060008000

123456789123456789Verteilung von S₂ = X₁ + X₂ (n = 2)123456789123456789

S_n

26

(27)

−1.5 −1.0 −0.5 0.0 0.5 1.0 1.5

050001000015000

123456789123456789Verteilung von S_n (n = 3)123456789123456789

S_n

27

(28)

−2 −1 0 1 2

020004000600080001000012000

S_n

28

(29)

−2 −1 0 1 2

020004000600080001000012000

S_n

29

(30)

−3 −2 −1 0 1 2 3

0500010000150002000025000

S_n

30

(31)

−3 −2 −1 0 1 2 3

0500010000150002000025000

S_n

31

(32)

−4 −2 0 2 4

05000100001500020000

S_n

32

(33)

−4 −2 0 2 4

05000100001500020000

S_n

33

(34)

−4 −2 0 2 4

05000100001500020000

S_n

34

(35)

−4 −2 0 2 4

05000100001500020000

123456789123456789123456789123456789Bisher: dynamische Skalierung12345678912345678

S_n

35

(36)

−4 −2 0 2 4

05000100001500020000

123456789123456789123456789123456789Jetzt: feste Skalierung123456789123456789123

S_n

36

(37)

−15 −10 −5 0 5 10 15

050001000015000

S_n

37

(38)

−15 −10 −5 0 5 10 15

050001000015000

S_n

38

(39)

−15 −10 −5 0 5 10 15

050001000015000

S_n

39

(40)

−15 −10 −5 0 5 10 15

050001000015000

S_n

40

(41)

−15 −10 −5 0 5 10 15

050001000015000

S_n

41

(42)

−15 −10 −5 0 5 10 15

050001000015000

S_n

42

(43)

−15 −10 −5 0 5 10 15

050001000015000

S_n

43

(44)

−15 −10 −5 0 5 10 15

050001000015000

S_n

44

(45)

−15 −10 −5 0 5 10 15

050001000015000

S_n

45

(46)

−15 −10 −5 0 5 10 15

050001000015000

S_n

46

(47)

z

−4 −2 0 2 4

02000400060008000

89123456789Standardisierung: Z_n := (S_n − ES_n)/σ_S_n (n = 1)1234567891234567891234567

47

(48)

z

−4 −2 0 2 4

02000400060008000

48

(49)

z

−4 −2 0 2 4

02000400060008000

49

(50)

z

−4 −2 0 2 4

02000400060008000

50

(51)

z

−4 −2 0 2 4

02000400060008000

51

(52)

z

−4 −2 0 2 4

02000400060008000

52

(53)

z

−4 −2 0 2 4

02000400060008000

53

(54)

z

−4 −2 0 2 4

02000400060008000

54

(55)

z

−4 −2 0 2 4

02000400060008000

55

(56)

z

−4 −2 0 2 4

02000400060008000

56

(57)

z

−4 −2 0 2 4

02000400060008000

57

(58)

z

−4 −2 0 2 4

02000400060008000

58

(59)

z

−4 −2 0 2 4

02000400060008000

59

(60)

z

−4 −2 0 2 4

02000400060008000

60

(61)

z

−4 −2 0 2 4

02000400060008000

61

(62)

z

−4 −2 0 2 4

02000400060008000

62

(63)

z

−4 −2 0 2 4

02000400060008000

63

(64)

z

−4 −2 0 2 4

02000400060008000

64

(65)

z

−4 −2 0 2 4

02000400060008000

65

(66)

z

−4 −2 0 2 4

02000400060008000

66

(67)

Die Verteilung von Z_n scheint zu konvergieren.

Welche Form

hat die Grenzverteilung?

67

(68)

Die Verteilung von Z₁₀₀

ist glockenf ¨ormig.

Um welche Glockenkurve handelt es sich genau?

68

(69)

Gl ¨ucklicher Einfall:

Nimm zwei unabh ¨angige Kopien (U, V) := (Z₁₀₀, Z₁₀₀^′ )

Wie sieht die gemeinsame Verteilung von U und V aus?

69

(70)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567891000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

70

(71)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567892000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

71

(72)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567893000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

72

(73)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567894000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

73

(74)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567895000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

74

(75)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567896000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

75

(76)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567897000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

76

(77)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567898000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

77

(78)

−4 −2 0 2 4

−4−2024

1234567891234567891234567891234567899000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

78

(79)

−4 −2 0 2 4

−4−2024

12345678912345678912345678912345678910000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

79

(80)

−4 −2 0 2 4

−4−2024

12345678912345678912345678912345678910000 Simulationen123456789123456789123456

U = Z₁₀₀

V=Z′ 100

80

(81)

−4 −2 0 2 4

−4−2024

9123456789Die Verteilung von (U, V) ist ann ¨ahernd rotationssymmetrisch!1234567891234

U = Z₁₀₀

V=Z′ 100

81

(82)

5. Eine Charakterisierieung

der zweidimensionalen Standardnormalverteilung

82

(83)

Behauptung:

Aus “U und V unabh ¨angig und identisch verteilt’

und

“Verteilung von (U, V) rotationssymmetrisch”

folgt,

dass U und V normalverteilt sind:

f_U(x) = f_V(x) = ¹

σ√

2π e^−x²^/(2σ²⁾

83

(84)

Denn:

U, V unabh ¨angig bedeutet:

(∗) f_(U,V₎(a, b) = f_U(a)f_V(b)

f_(U,V₎ rotationssymmetrisch heißt: es existiert ein g mit (∗∗) f_(U,V₎(a, b) = g(r), r :=

q

a² + b².

Mit f_U = f_V =: h folgt aus (∗) und (∗∗):

h(a)h(b) = g(r), r =

q

a² + b²

84

(85)

h(a) h(b) = g(r), r =

q

a² + b² Die zwei Paare (a, b) und (0,

q

a² + b²) haben dasselbe r.

Also:

h(a) h(b) = h(0) h(

q

a² + b²)

Das ist eine Gleichung f ¨ur h. Eine L ¨osung hiervon ist:

h(x) = e^−x²

Denn

e^−a²e^−b² = 1 · e^−(a²^+b²⁾

85

(86)

h(a) h(b) = h(0) h(

q

a² + b²)

Wie sieht die allgemeine L ¨osung aus?

w(u) := h(√

u), u ≥ 0, erf ¨ullt

w(a²)w(b²) = w(0)w(a² + b²), a, b ∈ R.

w(u) w(v) = k₀ w(u + v), u, v ≥ 0 hat als allgemeine L ¨osung

w(u) = k₀e^−k¹^u, k₁ ∈ R. Daraus folgt:

h(a) = w(a²) = k₀ e^−k¹^a².

86

(87)

FAZIT

Der Zentrale Grenzwertsatz l ¨asst sich erraten

(in konkreten F ¨allen, mit etwas Gl ¨uck).

87

(88)

Hier ist noch einmal die (im ZGS pr ¨azisierte) Botschaft der Stunde:

Summen (und Mittelwerte) von vielen unabh ¨angigen, identisch verteilten ZV mit endlicher Varianz

sind ann ¨ahernd normalverteilt.

Diese Aussage bleibt ¨ubrigens auch

unter schw ¨acheren Bedingungen bestehen, sowohl was die Unabh ¨angigkeit,

als auch was die identische Verteiltheit betrifft.

88

(89)

Eine Botschaft zum Mitnehmen ins Leben (salopp formuliert):

“Die Summe von vielen

ann ähernd unabh ängigen Zufallsvariablen, die nicht notwendig identisch verteilt, aber ungef ähr von derselben Gr ößenordnung sind,

ist ann ¨ahernd normalverteilt.”

89

(90)

6. M ¨unzwurf und Zentraler Grenzwertsatz

90

(91)

Der M ¨unzwurf passt in den Rahmen des Zentralen Grenzwertsatzes:

Sei X₁, X₂, . . . , ein fortgesetzer p-M ¨unzwurf. Dann ergibt sich aus dem Zentralen Grenzwertsatz der (alte)

Satz von de Moivre und Laplace:

F ¨ur Binomial-(n, p)-verteilte Zufallsvariable B_n (mit festem p) gilt f ¨ur alle c < d ∈ R:

P





B_n − np

√npq ∈ [c, d]



_n−→

→∞ P(Z ∈ [c, d]).

Dabei ist Z standard-normalverteilt.

91