Dr. Christof Luchsinger Frühjahrsemester 2011 Olivier Warin Seite 1 von 8

Ubungsblatt 9 zur Vorlesung ¨

”Statistische Methoden”

Sch¨atztheorie und Konfidenzintervalle

Herausgabe des ¨Ubungsblattes: Woche 18, Abgabe der L¨osungen: Woche 19 (bis Freitag, 1615 Uhr), Be- sprechung: Woche 20

Must Aufgabe 37 [Eigenschaften von Sch¨atzern]

Seix1, . . . , xn eine Stichprobe aus einerN(µ, σ²)-Verteilung. Geben SieeinfacheBeispiele f¨ur:

a) einen Sch¨atzer f¨urµ, der zwar erwartungstreu, aber nicht konsistent ist.

b) einen Sch¨atzer f¨urµ, der zwar konsistent, aber nicht erwartungstreu ist.

Aufgabe 38 [M SE=V +b², Lemma 5.6]

Zeigen Sie: Mit den Bezeichnungen aus 5.1.3 gilt:

M SE(ˆµn, µ) =V[ˆµn] +b².

Aufgabe 39 [Eindeutigkeit von KI’s]

Konfidenzintervalle sind nicht eindeutig (zB gibt es immer das vollrandomisierte KI). Geben Sie eine (ein- fache, bekannte) Situation an, in der Sie dann 2 nichttriviale KI’s angeben.

Aufgabe 40 [Konfidenzintervalle]

Der Durchmesser der von einer bestimmten Maschine gefertigten Stahlkugeln f¨ur Kugellager seien ungef¨ahr normalverteilt. Bei einer Stichprobe vom Umfangn= 30 erh¨alt man einen mittleren Durchmesser ¯x= 10.2 mm und eine Streuung

vu ut 1

n−1 X30

i=1

(xi−¯x)²= 0.62 mm.

Bestimmen Sie hieraus Konfidenzintervalle f¨ur den Erwartungswertµund die Varianzσ²zum Niveau 1−α= 0.95.

Aufgabe 41 [Konfidenzintervalle]

Es wird angenommen, dass die Durchmesser der auf einer bestimmten Anlage hergestellten Stahlkugeln durch die Realisationen einer normalverteilten Zufallsgr¨osse mit σ= 1.04 mm beschrieben werden k¨onnen.

Aus einer Stichprobe vom Umfang n = 300 ergab sich ¯x = 12.14 mm. Bestimmen Sie f¨ur die Ver- trauenswahrscheinlichkeit von 0.99 die Grenzen des KI f¨ur den mittleren Durchmesser dieser Kugeln.

Dr. Christof Luchsinger

Standard Aufgabe 42 [MLE bei der Poissonverteilung] [2 Punkte]

Berechnen Sie den MLE, wenn die Daten x1, . . . , xn aus einer Poissonverteilung mit Parameter λ > 0 stammen. Macht das Resultat Sinn? Tipp: Benutzen Sieunbedingtden Logarithmus an geeigneter Stelle.

Aufgabe 43 [MLE bei der Exponentialverteilung][2 Punkte]

Berechnen Sie den MLE, wenn die Daten x1, . . . , xn aus einer Exponentialverteilung mit Parameter λ > 0 stammen. Macht das Resultat Sinn? Tipp: Benutzen Sieunbedingtden Logarithmus an geeigneter Stelle.

Aufgabe 44 [Erwartungstreuer Sch¨atzer der Varianz][3 Punkte]

Sei (Xi)ⁿ_i=1 eine Folge von iid-Zufallsgr¨ossen mit E[X₁²]<∞. Zeigen Sie:

1 n−1

Xn

j=1

(Xj−X)²

ist ein erwartungstreuer Sch¨atzer der Varianz. Dieses Resultat gilt ¨ubrigens f¨ur beliebige Verteilungen!

”Tipp”: einfach drauflosrechnen.

Aufgabe 45 [Momentenmethode][2 Punkte]

Sei x1, . . . , xk eine Stichprobe aus einer Gamma(n, λ)-Verteilung,n∈N, λ >0. Sch¨atzen Sie mit Hilfe der Momentenmethodenundλ.

Aufgabe 46 [Cramer-Rao-Schranke im diskreten Fall][2+2 Punkte]

Formulieren Sie die Cramer-Rao-Schranke f¨ur diskrete Zufallsgr¨ossen und berechnen Sie die Schranke im Fall der Poisson-Verteilung.

Honours Aufgabe 47 [Uniformverteilung und MLE][1+1+1 Punkte]

a) Seix1, . . . , xn eine Stichprobe aus einerU[0, θ]-Zufallsgr¨osse. Geben Sie den MLE f¨ur diese Verteilungs- familie an. Schreiben Sie dazu die gemeinsame Dichtefunktion exakt auf und maximieren Sie diese ohne abzuleiten.

b) Suchen Sie eine reelle Zahla, damit der MLE-Sch¨atzer aus a) mitamultipliziert erwartungstreu ist (mit Beweis).

c) Seix1, . . . , xn eine Stichprobe aus einerU[θ, θ+ 1]-Verteilung. Geben Sie einen sinnvollen Sch¨atzer f¨ur θ an, welcherX(1) undX(n)benutzt/kombiniert. ¨Uberpr¨ufen Sie diesen Sch¨atzer auf Erwartungstreue.

Aufgabe 48 [Vervollst¨andigung des Beweises der Cramer-Rao-Schranke][6 Punkte]

Vervollst¨andigen Sie den Beweis der Cramer-Rao-Schranke (Ableitungen unter dem Integral) mit Hilfe des Satzes der majorisierten Konvergenz von Lebesgue im stetigen Fall.

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 3 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden”

Olivier Warin 15. Mai 2011

Aufgabe 37 [Eigenschaften von Schätzern]

Seix1, . . . , xn eine Stichprobe aus einerN(µ, σ²)-Verteilung.

a) Definiereµbn(x1, . . . , xn) :=x1.

Behauptung: Der Schätzerµbn vonµist erwartungstreu aber nicht konsistent.

Beweis: Es gilt:

Eµ[µbn] = Eµ[X1] = µ,

also istµbn (nach Definition 5.2) erwartungstreu. Weiter gilt fürε >0:

n→∞lim Pµ[|bµn−µ|> ε] = Pµ[|X1−µ|> ε] = P[|N(0, σ²)|> ε] 6= 0, also istµbn (nach Definition 5.3)kein konsistenter Schätzer fürµ.

b) Definiereµbn(x1, . . . , xn) :=x+¹/ⁿ.

Behauptung: Der Schätzerµbn vonµist konsistent abernicht erwartungstreu.

Beweis: Seiε∈Rmit ε >0. Sei weitern∈Nmit n >²/^ε, also¹/ⁿ<^ε/². Nun gilt:

Pµ[|bµn−µ|> ε] = Pµ[|X−µ+¹/n|> ε] 6 Pµ[|X−µ|+¹/n> ε]

6 Pµ[|X−µ|> ε−¹/ⁿ] 6 Pµ[|X−µ|>^ε/²] ⁿ−→_LLN^{→ ∞} 0, wobei wir hier am Schluss das Gesetz der grossen Zahlen benutzt haben. Wir schliessen:

n→∞lim Pµ[|bµn−µ|> ε] = 0,

also istµbn (nach Definition 5.3) ein konsistenter Schätzer für µ.

Weiter gilt:

Eµ[bµn] = Eµ[X+¹/n] ^Lem=

3.4b) Eµ[X] +¹/n = µ+¹/n 6= µ, also istµbn (nach Definition 5.2)kein erwartungstreuer Schätzer fürµ.

Bemerkung: Man sagt, dass der Schätzerµbnasymptotisch erwartungstreuist, da lim

n→∞Eµ[µbn] =µ.

Aufgabe 38 [M SE =V +b², Lemma 5.6]

Es seibµn ein Schätzer fürµmit Biasb.

Behauptung: Dann gilt:

M SE(µbn, µ) = Vµ[µbn] +b².

Beweis: Es gilt:

Vµ[µbn] ^Lem=

3.7a) Vµ[µbn−µ] ^Lem=

3.7b) Eµ[(µbn−µ)²]−(Eµ[µbn−µ])² = M SE(µbn, µ)−b²,

wobei wir beim letzten Gleichheitszeichen die Definitionen 5.2 und 5.5 eingesetzt haben. Somit folgt die Behauptung sofort.

Aufgabe 39 [Eindeutigkeit von KI’s]

Gegeben sei eine Stichprobex1,· · ·, xn aus einerN(µ,1)-Verteilung. Nun werden wir zwei verschiedene 95%-KI’s fürµangeben:

Zunächst haben wir das aus 5.2.3.1 bekannte KI:

KI1 = X− K

√n, X+ K

√n

, wobeiK∈Rso gewählt ist, dassP[N(0,1)6K] = 0.975. AlsoK=.

R

qnorm(0.975)=.

R 1.959964.

KI1ist klar ein 95%-KI fürµ.

Wir definieren weiter

KI2 =

X− K⁰

√n,∞

, wobeiK⁰∈Rso gewählt ist, dassP[N(0,1)6K⁰] = 0.95. AlsoK⁰=.

R

qnorm(0.95)=.

R

1.644854.

KI2ist ebenfalls ein 95%-KI fürµ, denn es gilt Pµ[µ∈KI2] =Pµ

X− K⁰

√n 6µ

= P[N(0,1)6K⁰] = 0.95.

Damit haben wir zwei verschiedene nicht-tiviale95%-KI’s fürµgefunden.

Aufgabe 40 [Konfidenzintervalle]

Der Durchmesser der von einer bestimmten Maschine gefertigten Stahlkugeln für Kugellager seien unge- fähr normalverteilt. Bei einer Stichprobe vom Umfang n= 30erhält man einen mittleren Durchmesser x= 10.2mm und eine Streuung

b σ =

vu ut 1

n−1 X30

i=1

(xi−x)² = 0.62mm.

Nach 5.2.3.2 ist nun eine Realisation eines(1−α) = 95%-KIs für den Erwartungswertµgegeben durch

x−t^∗bσ

√n, x+t^∗bσ

√n

,

wobeit^∗ der entsprechende kritische Wert ist. Genauer gilt hier:P[−t^∗6tn−16t^∗] = 1−α, also t^∗ ˙=

R

qt(1-0.05/2,30-1) ˙=

R 2.045230.

Wir erhalten also die folgende Realisation eines(1−α)-KIs für den Erwartungswertµ:

x−t^∗bσ

√n, x+t^∗σb

√n

˙=

R

[9.968488,10.43151].

Aufgabe 41 [Konfidenzintervalle]

Es wird angenommen, dass die Durchmesser der auf einer bestimmten Anlage hergestellten Stahlku- geln durch die Realisationen einer normalverteilten Zufallsgrösse mit Standardabweichungσ= 1.04mm und (unbekanntem) Erwartungswertµbeschrieben werden können. Aus einer Stichprobex1, . . . , xn vom Umfangn= 300ergab sichx= 12.14mm.

Seienα:= 0.01undK∈R>0, so dass gilt:P[−K6N(0,1)6K] = 1−α. Es gilt also K ˙=

R

qnorm(1-0.01/2) ˙=

R 2.575829.

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 5 von 8

Analog wie wir in 5.3.2.1 gesehen haben, ist

x−Kσ

√n, x+Kσ

√n

˙= [11.98534,12.29466]

eine Realisation eines1−α= 99%-KI fürµ.

Aufgabe 42 [MLE bei der Poissonverteilung]

Seix1, . . . , xn ∈N0eine Stichprobe einer Poisson-Verteilung mit Parameter λ >0. Seipλ:Rⁿ →Rdie entsprechende gemeinsame Wahrscheinlichkeitsfunktion. Hier gilt also

pλ(x1, . . . , xn)=^q Yn

i=1

e^−λλ^xi

xi! = e^−nλλ^nx Yn

i=1

1 xi!

Wir wollen nun den Maximum Likelihood Estimator (MLE) bλ^MLE_n fürλbestimmen. Nach 7.1.4 gilt bλ^MLE_n = argmax

λ>0

pλ(x1, . . . , xn).

Dalog :R>0→Rstreng monoton wachsend ist, folgt damit:

bλ^MLE_n = argmax

λ>0

log(pλ(x1, . . . , xn)) = argmax

λ>0 −nλ+ log(λ)nx− Xn

i=1

log(xi!)

!

= argmax

λ>0

(n(−λ+ log(λ)x)) = argmax

λ>0

(−λ+ log(λ)x)

Wir suchen also die Maximumsstelle der Funktiong:R^>0→R,g(λ) =−λ+ log(λ)x. Dazu leiten wirg zweimal ab:

dg

dλ(λ) = −1 +x λ, d²g

dθ²(θ) = −x λ² < 0.

bλ^MLE_n ist also einfach die Nullstelle von ^dg_dθ. Somit folgt:

bλ^MLE_n = x.

Dieses Resultat macht Sinn, da z.B. dieser Schätzer erwartungstreu und konsistent fürE[X1] =λist.

Aufgabe 43 [MLE bei der Exponentialverteilung]

Sei x1, . . . , xn >0 eine Stichprobe einerExp(λ)-verteilten Zufallsgrösse. Sei fλ : Rⁿ → Rdie entspre- chende gemeinsame Dichtefunktion. Es gilt hier

fλ(x1, . . . , xn)=^q Yn

i=1

λe^−λxi = λⁿe^−nλx.

Wir wollen nun den Maximum Likelihood Estimator (MLE) bλ^MLE_n fürλbestimmen. Nach 5.1.4 gilt λb^MLE_n = argmax

λ∈R>0

fλ(x1, . . . , xn) und dalog :R>0→Rstreng monoton wachsend ist, folgt:

λb^MLE_n = argmax

λ∈R>0

log(fλ(x1, . . . , xn)) = argmax

λ∈R>0

(nlog(λ)−nλx) = argmax

λ∈R>0

(log(λ)−λx).

Wir suchen also die Maximumsstelle der Funktiong :R>0→R, g(λ) := log(λ)−λx. Dazu leiten wir g zweimal ab:

dg

dλ(λ) = 1

λ−x, d²g

dλ²(λ) = − 1 λ² < 0.

bλ^MLE_n ist also einfach die Nullstelle von _dλ^dg. Somit folgt:

1

bλ^MLE_n −x = 0 ⇒ bλ^MLE_n = 1 x.

Dieses Resultat macht Sinn, daxbekanntlich ein erwartungstreuer und konsistenter Schätzer fürE[X1] ist und es gilt hierE[X1] =¹/λ.

Aufgabe 44 [Erwartungstreuer Schätzer der Varianz]

Sei(Xi)ⁿ_i=1 eine Folge von iid-Zufallsgrössen mitE[X₁²]<∞. Behauptung: Der Ausdruck

1 n−1

Xn

j=1

(Xj−X)²

ist ein erwartungstreuer Schätzer der VarianzV[X1].

Beweis: Es gilt

E

" _n X

i=1

(Xi−X)²

#

iid= nE[(X1−X)²] = nV[X1−X] = nV

"

1−1 n

X1− 1

n Xn

i=2

Xi

#

=q n

1−1 n

2

V[X1] + n n²

Xn

i=2

V[Xi] ^iid= n

1−1 n

2

+n−1 n

! V[X1]

= (n−1)V[X1].

Dies beweist die Behauptung.

Aufgabe 45 [Momentenmethode]

Es seix1, . . . , xk >0 eine Stichprobe aus einerΓ(n, λ)-Verteilung, n∈N,λ >0. Nun wollen wirλund nmit Hilfe der Momentenmethode schätzen.

Es gilt

E[X1] = n

λ und E[X₁²] = V[X1] + (E[X1]) = n+n² λ² .

Die Momentenmethode liefert damit für die Schätzerλˆk undnˆk die folgenden zwei Gleichungen:

1 k

Xk

i=1

xi = nˆk

λˆk

und 1 k

Xk

i=1

x²_i = nˆk+ ˆn²_k λˆ²_k .

Mit den Abkürzungenx=_k¹Pk

i=1xi undx˜=_k¹Pk

i=1x²_i finden wir damit ˆλk = x

˜

x−x² und ˆnk = x²

˜ x−x².

Bemerkung: Natürlich weiss man bereits im Voraus, dass n eine natürliche Zahl ist. Also kann man beim Schätzernˆk am Ende noch runden, um eine natürliche Zahl zu erhalten.

Aufgabe 46 [Cramer-Rao-Schranke im diskreten Fall]

Hier eine mögliche Formulierung der Cramer-Rao-Schranke im diskreten Fall:

Satz (Cramer-Rao-Schranke, diskret) Seiθˆein erwartungstreuer Schätzer für den Parameterθvon einer diskreten ZufallsgrösseX. Dann gilt

Vθ[ˆθ]> 1

Iθ, (CR-Ungl)

wobei

Iθ = X

x

∂

∂θlog(p(x, θ))2

p(x, θ).

p(x, θ)bezeichnet dabei die entsprechende gemeinsame Wahrscheinlichkeitsfunktion.

Wir fordern dazu (Regularity)

a) Der Wertebereich der ZufallsgrösseX darf nicht von θ abhängen.

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 7 von 8

b) Die gemeinsame Wahrscheinlichkeitsfunktionp(x, θ)muss nachθ differenzierbar sein.

c) Für ein gegebenesθ gibt es eine kleine NachbarschaftNθ vonθ, so dass X

x

sup

ψ∈Nθ

∂

∂ψp(x, ψ)

<∞ und X

x

sup

ψ∈Nθ

θ(x)ˆ ∂

∂ψp(x, ψ) <∞.

Konkret gilt bei einerPo(θ)-Verteilung:

Iθ

siehe

=

Bew.Vθ

∂

∂θlog(p(X, θ))

Aufg.

=

42 Vθ

"

∂

∂θ −nθ+ log(θ)nX− Xn

i=1

log(Xi!)

!#

=Vθ

−n+nX θ

= n²

θ²Vθ[X] = n² θ² θ n = n

θ.

Also lautet die Schranke _n^θ, welche mit dem Schätzer θˆ=xauch erreicht wird.

Aufgabe 47 [Uniformverteilung und MLE]

a) Seix1, . . . , xn eine Stichprobe aus einer U[0, θ]-Zufallsgrösse. Wir wollen nun den MLE-Schätzer θˆ_n^MLE fürθ bestimmen.

Die entsprechende gemeinsame Dichtefunktionfθ lautet wie folgt:

fθ(x1, . . . , xn) =

(θ⁻ⁿ, fallsx1, . . . , xn ∈[0, θ]

0, sonst.

Wir schliessen θˆ^MLE_n = argmax

θ∈R>0

fθ(x1, . . . , xn) = min{θ∈R>0|x1, . . . , xn6θ} = max{x1, . . . , xn} = x(n).

b) Nun suchen wir eina∈R, so dass der Schätzeraθˆ^MLE_n ein erwartungstreuer Schätzer fürθist.

Um dies zu tun berechnen wir erst die VerteilungsfuktionGθund dann durch Ableiten die Dichte- funktiongθ vonθˆ_n^MLE. Fürx∈[0, θ]gilt:

Gθ(x) = Pθ[ˆθ^MLE_n 6x] = Pθ[X_(n)6x] = Pθ[X16x, . . . , Xn6x] ^iid= Pθ[X16x]ⁿ = xⁿ θⁿ

⇒ gθ(x) =nxⁿ⁻¹ θⁿ .

Daaθˆ_n^MLEerwartungstreu sein soll erhalten wir damit die folgende Gleichung:

θ=Eθ[aθˆ_n^MLE] = aEθ[ˆθ^MLE_n ] = a Z θ

0

xgθ(x)dx = a Z θ

0

nxⁿ

θⁿ dx = an n+ 1θ, woraus wir sofort folgern:

a=n+ 1 n .

c) Sei x1, . . . , xn eine Stichprobe aus einer U[θ, θ+ 1]-Verteilung. Nun suchen wir einen sinnvollen Schätzer θˆn fürθ, derX(1) undX(n) benutzt/kombiniert. Konkret nehmen wir

θˆn= 1

2(x₍₁₎+x(n))−1 2, denn ¹₂(X₍₁₎+X_(n))sollte etwa beiθ+¹₂ liegen.

Nun wollen wir diesen Schätzer noch auf Erwartungsteue untersuchen. Ähnlich wie in a) bestimmen wir

E[X(1)] = θ+ 1

n+ 1 und E[X(n)] = θ+ n n+ 1.

Wir schliessen

E[ˆθn] = 1

2(E[X₍₁₎] +E[X_(n)])−1

2 = θ+1 2

1

n+ 1+ n

n+ 1 −1

= θ.

Also ist unser Schätzerθˆn erwartungstreu.

Aufgabe 48 [Vervollständigung des Beweises der Cramer-Rao-Schranke]

Wir benutzen die gleichen Notationen und die gleichen Voraussetzungen wie in Satz 5.9 im Skript.

Behauptung: Es gilt Z ∂

∂θf(x, θ)dx = ∂

∂θ Z

f(x, θ)dx und

Z θ(x)ˆ ∂

∂θf(x, θ)dx = ∂

∂θ

Z θ(x)fˆ (x, θ)dx.

Beweis: Es sei(hn)n∈N eine beliebige reelle Nullfolge. Weiter definiere fürn∈N fn(x) =f(x, θ+hn)−f(x, θ)

hn

. Nach Voraussetzung muss jaf(x, θ)nachθdifferenzierbar sein, somit gilt

∂

∂θf(x, θ) = lim

h↓0

f(x, θ+h)−f(x, θ)

h = lim

n→∞

f(x, θ+hn)−f(x, θ) hn

.

Für n genügend gross liegen θ undθ+hn klar in der kleinen Nachbarschaft Nθ von θ. Damit folgt sofort mit dem Mittelwertsatz:

|fn(x)|6 sup

ψ∈Nθ

∂

θψf(x, ψ)

=: g(x).

Laut (Regularity) ist g integrierbar, also können wir g als Majorante im Satz von der majorisierten Konvergenz von Lebesque einsetzen. Somit folgt

n→∞lim Z

fn(x)dx=Z

n→∞lim fn(x)dx = Z ∂

∂θf(x, θ)dx. (∗)

Der Satz von der majorisierten Konvergenz sagt uns insbesondere, dass der Grenzwert auf der linken Seite existiert. Aufrund von (∗) ist dieser Grenzwert sogar unabhängig von der Nullfolge(hn)_n∈N. Wir schliessen

n→∞lim Z

fn(x)dx= lim

n→∞

Z f(x, θ+hn)−f(x, θ) hn

dx = lim

h↓0

Z f(x, θ+h)−f(x, θ)

h dx

= lim

h↓0

R f(x, θ+h)dx−R f(x, θ)

h = ∂

∂θ Z

f(x, θ)dx. Die Kombination von dieser Gleichung mit (∗) liefert die erste Gleichung.

Für die zweite Gleichung gehen wir analog vor: Sei wieder (hn)n∈N eine beliebige reelle Nullfolge.

Weiter definiere

en(x) = ˆθ(x)f(x, θ+hn)−f(x, θ)

hn .

Analog wie beim Beweis der ersten Gleichung gilt hierlimn→∞en(x) = ˆθ(x)_∂θ^∂ f(x, θ). Wie oben liegen θundθ+¹_n fürngenügend gross klar in der NachbarschaftNθ. Somit folgt mit dem Mittelwertsatz

|hn(x)|6 sup

ψ∈Nθ

θ(x)ˆ ∂

∂ψf(x, ψ)

=: `(x).

Laut (Regularity) ist ` integrierbar. Also können wir ` als Majorante im Satz von der majorisierten Konvergenz von Lebesque einsetzen. Wir schliessen

n→∞lim Z

en(x)dx=Z

n→∞lim en(x)dx = Z

θ(x)ˆ ∂

∂θf(x, θ)dx.

Genau wie zuvor folgt nun noch

n→∞lim Z

en(x)dx= ∂

∂θ

Z θ(x)fˆ (x, θ)dx

und damit die zweite Gleichung.