Stichprobe Zufallsvariable

Numero, pondere et mensura Deus omnia condidit

Parameterschätzung

Population, Zufallsvariable, Stichprobe

Population

Stichprobe Zufallsvariable

X

x

eine "Realisierung” von X

(Beobachtung)

alle männlichen Rekruten der US Armee (Population)

die ersten 10 männlichen Wehrpflichtigen, die am 11. Mai 2004 das Rekrutierungsbüro der US Armee in Concord NH betreten

(Stichprobe)

BMI eines zu einem zufälligen Zeitpunkt in einem zufällig gewählten Rekrutierungsbüro anzutreffenden Rekruten

(Zufallsvariable)

Einige Konventionen

Zufallsvariable werden mit Großbuchstaben bezeichnet.

Mögliche Werte oder tatsächliche Beobachtungen

("Realisierungen") werden mit kleinen Buchstaben bezeichnet.

P(X≤x)

Wahrscheinlichkeit, dass der BMI eines zufällig ausgewählten Rekruten höchstens den Wert x annimmt

P(X>18)

Wahrscheinlichkeit, dass ein zufällig ausgewählter Rekrut nicht untergewichtig ist

P(24<X<30)

Wahrscheinlichkeit, dass ein zufällig ausgewählter Rekrut übergewichtig, aber nicht fettleibig ist

Schätzung aus Stichproben

Grundidee

Stichprobe Ziehen

Population Stichprobe

x

,...,x

Realisierungen Zufallsvariable

X

θ: Parameter

Daten Sammeln

Schätzer

) x ,..., x

ˆ (

n

θ

θ

ˆ Inferenz

Bilden

Schlussfolgerung

Parameter

π

Wahrscheinlichkeit

µ

Erwartungswert

σ

Varianz

Beobachtungen

0,0,1,1,0,1,...

1.23,4.81,7.55,...

12.4,19.6,20.4,...

x

,...,x

θ

Schätzer

Anteil

Stichprobenmittel

Stichprobenvarianz

) x ,..., x

(

θ )

ˆ = x µ

n / ˆ = k

π

2

2

s

ˆ = σ

Schätzung aus Stichproben

Grundidee

Werfen einer Münze

π: Wahrscheinlichkeit für Kopf

6 . 10 0

6 n

ˆ = k = = π

X: Anzahl Kopf in 10 Würfen X hat eine Bin(π,10) Verteilung

4

6 (1 )

210 )

6 X

(

P_π = = ⋅ π ⋅ − π ^{0.000.0 0.2 0.4 0.6 0.8 1.0}

0.05 0.10 0.15 0.20 0.25 0.30

π

Likelihood und Wahrscheinlichkeit

Die Likelihood eines Parameters, gegeben die Beobachtungen,

ist die Wahrscheinlichkeit der Beobachtungen, gegeben der Parameter.

) x X

( P )

x

| (

L θ =

=

Das Maximum-Likelihood-Prinzip

Auf der Basis von Beobachtungen wird ein Parameter durch dessen mutmaßlichsten Wert geschätzt, d.h.

durch den Wert, der die Wahrscheinlichkeit der Beobachtungen maximiert.

D.h. wird so gewählt, dass θ ˆ

) x

| (

L max

) x ˆ |

(

L θ =

θ

AB0-Blutgruppen

In einer Stichprobe von 75 Individuen aus einer bestimmten Population hatten 10 Personen die Blutgruppe B. Wie groß ist die Häufigkeit π der Blutgruppe B in dieser Population?

0.0 0.2 0.4 0.6 0.8 1.0

0.00 0.04 0.08 0.12 0.16

133

. 75 0

ˆ π = 10 =

65 10

11 (1 )

10 3

.

8 × ⋅ π ⋅ − π

Binomialverteilung

k n

k

( 1 )

k ) n

k

| (

L  ⋅ π ⋅ − π



 



=  π

) 1

log(

) k n

( )

log(

k const

)}

k

| ( L

log{ π = + ⋅ π + − ⋅ − π

1 0

k n

k )}

k

| ( L

log{ =

π

−

− −

= π δπ

π δ

n

= k π

n / ˆ = k

π ist der Maximum-Likelihood-Schätzer von π

Das Maximum-Likelihood-Prinzip

Suzette Charles Sharlene Wells Susan Akin Kellye Cash

Kaye Lani Rae Rafko Gretchen Carlson Debbye Turner Marjorie Vincent Kate Shindle

Nicole Johnson

Angela Perez Baraquio Katie Harman

1984 1985 1986 1987 1988 1989 1990 1991 1998 1999 2001 2002

17.7 18.2 16.8 17.6 18.8 19.1 17.9 17.8 20.2 19.6 20.3 19.5

Jahr Name BMI

Welchen Erwartungswert µ hat der BMI einer US

Schönheitskönigin?

? 6 . 18 x =

Liegt µ ungefähr bei

Weiblicher Body-Mass-Index (BMI)

Normalverteilung

ˆ

x

µ ist der Maximum-Likelihood-Schätzer von µ

2 i )2

x ( n

1 n i

1

e

2 ) 1

x ,..., x

| (

L

µ

− −

∏

= µ

∑

^{− µ}

− σ

=

µ

1

( x

)

const

)}

x ,..., x

| ( L log{

( ^{n x} ) ⁰

2 )}

x ,..., x

| ( L

log{

1

i i

2 n

1 ⋅ µ − =

− σ δµ =

µ

δ

∑

∑

⋅

=

µ ⁿ_{i 1} x_i n

1

Das Maximum-Likelihood-Prinzip

Schätzer als Zufallsvariable

Wegen der zufälligen Natur von Stichproben ist jeder Schätzer selbst eine Zufallsvariable mit

Erwartungswert E( ) und Varianz Var( ).

θ ˆ

ˆ ) ( Var θ

θ

ˆ ˆ θ

wird als "Standardfehler" von bezeichnet. ˆ θ

Seien X₁,...,X_n unabhängig und identisch verteilt mit E(X_i)=µ und Var(X_i)=σ^2.

Verteilung des Stichprobenmittels

µ

= µ

⋅

⋅

=

⋅

=



 



 ⋅

=

∑

∑

ⁿ

n ) 1

X ( n E

X 1 n

E 1 )

X (

E

1

i i

n 1

i i

n n n

) 1 X ( n Var

X 1 n

Var 1 )

X ( Var

2 2

2 n

1

i i

2 n

1

i i

= σ σ

⋅

⋅

=

⋅

=



 



 ⋅

=

∑

∑

n

Standardfehler:

Genauigkeit bezieht sich auf die Differenz zwischen dem Erwartungswert eines Schätzers und dem wahren

Parameter.

Präzision bezieht sich auf die Varianz eines Schätzers.

genau präzise

genau nicht präzise

nicht genau präzise

nicht genau nicht präzise

Genauigkeit und Präzision

"Gute" Schätzer

Ein guter Schätzer ist unverzerrt: E ( θ ˆ ) = θ

"100% genau, d.h. er liefert im Durchschnitt den wahren Parameter"

konsistent: P (| ˆ θ

− θ | > ε ) → 0

"liefert mit wachsendem Stichprobenumfang immer genauere und präzisere Schätzungen, die dem wahren Parameter zustreben"

"kein anderer unverzerrter (d.h. 100% genauer) Schätzer liefert präzisere Schätzungen”

effizient: Var ( ˆ θ )

n

unverzerrt (100% genau)

konsistent (Genauigkeit und Präzision streben mit

wachsendem Umfang der Stichprobe 100% zu)

effizient (der präziseste

Schätzer unter allen 100%

genauen Schätzern)

"Gute" Schätzer

Maximum-Likelihood

Maximum-Likelihood-Schätzer sind generell konsistent

asymptotisch effizient

aber NICHT immer unverzerrt

"Gute" Schätzer

Wahrscheinlichkeit

n /

ˆ π = k ist ein unverzerrter Schätzer von π

X habe eine Bin(π,n) Verteilung

...

) 1

k ( k n

n ) 1

X ( n E

1 n

E X ˆ)

(

E ⁿ

0 k

k n

k ⋅ − π =

π

 ⋅







⋅ 

⋅

=

⋅

=



 



= 

π

∑

n ˆπ = k

π

= π

⋅

⋅

= n

n 1

Unverzerrte Schätzer

0.2 0.3 0.4 0.5 0.6 0.7 0.8

n=50 n=100 n=500

100 Wiederholungen : Anteil von Kopf unter n Würfen

π ˆ

π ˆ

Werfen einer Münze

Unverzerrte Schätzer

ˆ = x

µ ist ein unverzerrter Schätzer von µ

X₁,...,X_n seien identisch verteilt mit E(X_i)=µ

µ

= µ

⋅

⋅

=

⋅

=



 



 ⋅

=

µ

∑

∑

n ) 1

X ( n E

X 1 n

E 1 ˆ)

(

E ⁿ

1

i i

n 1

i i

∑

⋅

=

=

µ ⁿ_{i 1} x_i n

x 1 ˆ

Erwartungswert

X_i: Augenzahl eines einzelnen Wurfs (i=1,...,n) X : durchschnittliche Augenzahl aus n Würfen

Würfelspiel

1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 5.5

n=10 n=100 n=500

100 Wiederholungen

X

2

2

s

ˆ =

σ ist ein unverzerrter Schätzer von σ

...

) X X

1 ( n

E 1 ˆ )

(

E ⁿ

1 i

2 i

2  =



 



 ⋅ −

= −

σ

∑

∑

− ⋅

=

=

σ^{2 2 n}_{i 1}(x_i x)² 1

n s 1

ˆ

2 2

2

1) ]

X ( E [ ) 1 n

1 ( n

1 ⋅ − ⋅ − µ = σ

= −

X₁,...,X_n seien unabhängig und identisch verteilt mit Var(X_i)=σ²

Varianz

Unverzerrte Schätzer

Die (stetige) Gleichverteilung

a b

1

f(x) =

0

für a≤x≤b sonst

a b

a b

1

−

2 a ) b

X (

E = +

12 ) a b ) (

X ( Var

− 2

=

Gleichverteilung

a=4, b=8 µ=6, σ²=1.33

5 10 15 20 25

0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5

s2

Stichprobenumfang (n)

100 Wiederholungen

Konsistente Schätzer

Ein Schätzer heißt "konsistent", wenn seine Genauigkeit und Präzision mit zunehmendem Stichprobenumfang

wachsen und jeweils gegen 100% streben.

0 )

ˆ | (|

P θ

− θ > ε →

n

n /

ˆ π = k ist ein konsistenter Schätzer von π

2

2

s

ˆ =

σ ist ein konsistenter Schätzer von σ

ˆ = x

µ ist ein konsistenter Schätzer von µ

Effiziente Schätzer

Ein unverzerrter Schätzer heißt "effizient", wenn jeder andere unverzerrte Schätzer mehr streut.

n /

ˆ π = k ist ein effizienter Schätzer von π

2

2

s

ˆ =

σ ist meistens ein effizienter Schätzer von σ

ˆ )

(

Var θ minimal

ˆ = x

µ ist meistens ein effizienter Schätzer von µ

Für die meisten stetigen Zufallsvariablen gilt

0

ˆ ) (

P

d.h. es ist unmöglich, dass ein Schätzer den wahren Parameter "auf den Kopf trifft".

Meistens ist es sinnvoller, θ durch ein Intervall zu schätzen, das θ mit einer gewissen "Sicherheit"

enthält.

Konfidenzintervall

Ein Konfidenzintervall ist eine Vorschrift, die einer Stichprobe x ein Intervall I(x) so zuordnet, dass für jeden möglichen Wert θ des zu schätzenden Parameters

gilt. Wurde die Stichprobe x erhoben und das Konfidenzintervall I(x) berechnet, so besteht ein Vertrauen 1-α, dass I(x) das wahre θ auch enthält.

α

−

≥

∈

θ

( x : θ I ( x )) 1 P

1-α heißt "Konfidenzniveau" (üblicherweise 0.95)

Konfidenzintervall

Definition

Konfidenzintervall

Aus dem Zentralen Grenzwertsatz folgt, dass

n X

σ

µ

−

Erwartungswert

für großes n eine N(0,1)-Verteilung hat.

95 . 0 )

96 . n 1

96 X . 1 (

P

σ

µ

≤ −

−

95 . 0 n )

96 . 1 n X

96 . 1 X

(

P

96 n . 1

x

markiert ein Intervall, das den wahren Erwartungswert mit Wahrscheinlichkeit 0.95 (d.h. in 95% aller unabhängigen

Wiederholungen des Experiments) enthalten wird.

µ

Konfidenzintervall

Erwartungswert

Suzette Charles Sharlene Wells Susan Akin Kellye Cash

Kaye Lani Rae Rafko Gretchen Carlson Debbye Turner Marjorie Vincent Kate Shindle

Nicole Johnson

Angela Perez Baraquio Katie Harman

1984 1985 1986 1987 1988 1989 1990 1991 1998 1999 2001 2002

17.7 18.2 16.8 17.6 18.8 19.1 17.9 17.8 20.2 19.6 20.3 19.5

Jahr Name BMI

95% Konfidenzintervall für den

Erwartungswert (Annahme: σ=1.2)

12 2 . 96 1

. 1 6

.

18 ± ⋅

(17.9,19.3)

oder

Weiblicher Body-Mass-Index (BMI)

1-α

α/2 α/2

z

z

σ bekannt:

z n

x

σ unbekannt:

n t s

x

wobei t_1-α/2,n-1 das Quantil einer t-Verteilung mit n-1

Freiheitsgraden ist.

Konfidenzintervall

Erwartungswert

Student t-Verteilung

William S. Gosset (1876-1937)

x

-4 -2 0 2 4

f(x)

0.0 0.1 0.2 0.3 0.4

1 Freiheitsgrad 2 Freiheitsgrade

3 Freiheitsgrade 500 Freiheitsgrade

Wie man bessere Schätzungen bekommt

) n X (

Var = σ

d.h. der Standardfehler des Stichprobenmittels sinkt mit wachsendem Stichprobenumfang.

z n x

:

KI

n t s

x :

KI

d.h. die Breite eines Konfidenzintervalls verringert sich mit wachsendem Stichprobenumfang.

Erwartungswert

Die Breite eines Konfidenzintervalls steigt mit steigender Sicherheit.

z

z

1-α steigt z_1-α/2 steigt W steigt

Wie man bessere Schätzungen bekommt

Erwartungswert

1-α

α/2 α/2

z n 2

W

Konfidenzintervall

Stichprobenumfang

z n 2

W = ⋅

⋅ σ

2 2

/ 1

W z

n 2 





 

 ⋅ ⋅ σ

=

Wie viele Beobachtungen sind nötig, um den

Erwartungswert des männlichen BMI mit einem 95%

Konfidenzintervall von höchsten 2 kg/m² Breite zu schätzen (Annahme: BMI ist normalverteilt mit σ=2.5)?

01 . 2 24

5 . 2 96 . 1 n 2

2

=



 



 ⋅ ⋅

= Antwort:

Zusammenfassung

- Schätzen bezeichnet den wissenschaftlichen Vorgang des Erschließens von Populationsparametern aus Stichproben.

- Ein Schätzer ist eine mathematische Vorschrift für die Berechnung von Parameterschätzungen aus Daten.

- Schätzer wie z.B. das Stichprobenmittel sind selbst wieder Zufallsvariable, mit Erwartungswert und Varianz.

- Gute Schätzer sollten unverzerrt (genau), effizient (am präzisesten) und konsistent (zunehmend präzise) sein.

- Statt "Punktschätzungen" liefern Konfidenzintervalle Bereiche, die einen gesuchten Parameter mit bestimmter Sicherheit

enthalten.