Dr. Christof Luchsinger Frühjahrsemester 2011 Olivier Warin Seite 1 von 8

Ubungsblatt 10 zur Vorlesung ¨

”Statistische Methoden”

Einfache Regression

Herausgabe des ¨Ubungsblattes: Woche 19, Abgabe der L¨osungen: Woche 20 (bis Freitag, 1615 Uhr), Be- sprechung: Woche 21

Must Aufgabe 49 [Simulation einer Regression]

a) Sei xi:=i,1≤i≤100, eine feste Folge von erkl¨arenden Daten (¨aquidistant). Es gelte Yi=β0+β1xi+i,

wobei∼ N(0,2) iid. Nehmen Sieβ0= 1 und f¨urβ1nehmen Sie Ihre PN. Generieren Sie jetzt einen Vektor (yi)¹⁰⁰_i=1.

b) Sch¨atzen Sie jetzt β0, β1und die Varianz von mit R, indem Sie eine OLS-Sch¨atzung machen.

c) Vertauschen Sie die Rollen vonxundy und machen Sie nochmals eine OLS-Regression. Vergleichen Sie die Resultate von b) und c).

Standard

Aufgabe 50 [Aufspaltung der Variation in den y][3 Punkte]

Beweisen Sie mit der Notation aus 7.1.2, dass gilt Xn

i=1

(yi−y)¯ ²= Xn

i=1

(ˆyi−y)¯²+ Xn

i=1

(yi−yˆi)².

Aufgabe 51 [Erwartungstreue Sch¨atzer bei OLS] [2+1 Punkte]

Beweisen Sie, dass die Sch¨atzer

βˆ1= SSxy

SSxx

und βˆ0= ¯y−βˆ1x¯

erwartungstreu sind. Tipps: Sch¨atzer werden normalerweise auf der Ebene der Stichproben definiert. Um die Erwartungstreue zu ¨uberpr¨ufen, m¨ussen Sie auf die Ebene der Zufallsgr¨ossen wechseln (ydurchY ersetzen) und mit Formel (7.1) arbeiten.

Aufgabe 52 [yi=β0+i][1+1+1 Punkte]

Das Modell

Yi=β0+i

ist offenbar ein Spezialfall von (7.1). Berechnen Sie in diesem Modell die OLS-Sch¨atzung von β0 und die ML-Sch¨atzungen vonβ0undσ²:=V[i].

Dr. Christof Luchsinger

Frühjahrsemester 2011 Olivier Warin Seite 1 von 8

Aufgabe 53 [Testen, ob β1= 0, β1=P N][1+2 Punkte]

Testen Sie in der Situation von Aufgabe 49 (mit den dort erzeugten Daten), ob a)β1= 0 und

b)β1=P N, wobei dasP N das richtige (und uns in der Simulation ja bekannte)β1 ist.

Wir geben hier kein Signifikanzniveau vor. Geben Sie den P-Wert an, d.h. sagen Sie, bis zu welchem Signifikanzniveau dieH⁰-Hypothese noch aufrecht erhalten wird.

Honours Aufgabe 54 [Test, obβ0= 0][5 Punkte]

In 7.1.3 haben wir einen Test entwickelt, obβ1= 0 oder nicht. Entwickeln Sie jetzt mit analogen ¨Uberlegun- gen einen Test f¨ur die Frage obβ0= 0 oder nicht.

Frühjahrsemester 2011 Olivier Warin Seite 2 von 8

Übungsblatt 10 zur Vorlesung “Statistische Methoden” Seite 3 von 8

Übungsblatt 10 zur Vorlesung “Statistische Methoden”

Olivier Warin 22. Mai 2011

Aufgabe 49 [Simulation einer Regression]

> # Teilaufgabe a):

> PN<− 2

> N<− 100

> sigma <− sqrt( 2 )

5 > b e t a 0 <− 1

> b e t a 1 <− PN

> x <− 1 :N

> y <− b e t a 0 + b e t a 1∗x + rnorm(N, 0 , sigma )

>

10 > # Teilaufgabe b):

> # Zuerst von Hand :

> SSxx <− sum( ( x−mean( x ) ) ^ 2 )

> SSxy <− sum( ( x−mean( x ) )∗( y−mean( y ) ) )

> b e t a 1 h u t <− SSxy/SSxx

15 > b e t a 0 h u t <− mean( y ) − b e t a 1 h u t∗mean( x )

> yhut <− b e t a 0 h u t + b e t a 1 h u t∗x

> s i g m a 2 h u t <− 1/(N−2)∗sum( ( y − yhut ) ^ 2 )

> b e t a 0 h u t [ 1 ] 0 . 9 9 8 3 9 4

20 > b e t a 1 h u t [ 1 ] 2 . 0 0 1 7 0 1

> s i g m a 2 h u t [ 1 ] 2 . 2 0 4 4 4 6

> sqrt( s i g m a 2 h u t ) #( weil R die Standardabweichung angibt )

25 [ 1 ] 1 . 4 8 4 7 3 8

> # Nun noch direkt mit R:

> mydata <− data.frame( x , y )

> r e g r <− lm( y~x , mydata )

> summary( r e g r )

30

Call:

lm(formula = y ~ x , data = mydata ) R e s i d u a l s :

35 Min 1Q Median 3Q Max

−3.44556 −1.00851 0 . 0 2 6 5 5 0 . 8 7 0 7 4 3 . 7 6 0 9 5 C o e f f i c i e n t s :

E s t i m a t e Std . E r r o r t v a l u e Pr ( >|t| )

40 ( I n t e r c e p t ) 0 . 9 9 8 3 9 4 0 . 2 9 9 1 8 9 3 . 3 3 7 0 . 0 0 1 2 0 ∗∗

x 2 . 0 0 1 7 0 1 0 . 0 0 5 1 4 4 3 8 9 . 1 6 8 < 2 e−16 ∗∗∗

−−−

S i g n i f . codes: 0 ’∗∗∗’ 0 . 0 0 1 ’∗∗’ 0 . 0 1 ’∗’ 0 . 0 5 ’ . ’ 0 . 1 ’ ’ 1

45 R e s i d u a l s t a n d a r d e r r o r : 1 . 4 8 5 on 98 d e g r e e s o f f r e e d o m M u l t i p l e R−s q u a r e d : 0 . 9 9 9 4 , A d j u s t e d R−s q u a r e d : 0 . 9 9 9 3

Fr Olivier Warin Seite 3 von 8

F−s t a t i s t i c : 1 . 5 1 5 e+05 on 1 and 98 DF, p−v a l u e : < 2 . 2 e−16

> # Das Resultat ist also dasselbe wie von Hand> plot( x , y )

> abline( r e g r )

50 >

> # Teilaufgabe c):

> r e g r c <− lm( x~y , mydata )

> r e g r c

55 Call:

lm(formula = x ~ y , data = mydata ) C o e f f i c i e n t s :

( I n t e r c e p t ) y

60 −0.4658 0 . 4 9 9 3

> b e t a 1 h u t_c <− sum( ( x−mean( x ) )∗( y−mean( y ) ) )/sum( ( y−mean( y ) ) ^ 2 )

> b e t a 0 h u t_c <− mean( x ) − b e t a 1 h u t_c∗mean( y )

> b e t a 0 h u t_c

65 [ 1 ] −0.4657943

> b e t a 1 h u t_c [ 1 ] 0 . 4 9 9 2 5 2 1

>

> # Zum Vergleich :

70 > −b e t a 0 h u t/b e t a 1 h u t [ 1 ] −0.4987728

> 1/b e t a 1 h u t [ 1 ] 0 . 4 9 9 5 7 5 2

>

Diese R-Session hat noch den foglenden Plot erzeugt:

0 20 40 60 80 100

050100150200

x

y

Frühjahrsemester 2011 Olivier Warin Seite 4 von 8

Übungsblatt 10 zur Vorlesung “Statistische Methoden” Seite 5 von 8

Aufgabe 50 [Aufspaltung der Variation in den y]

Behauptung: In den Notationen aus 7.1.2 gilt Xn

i=1

(yi−y)²= Xn

i=1

(ˆyi−y)²+ Xn

i=1

(yi−yˆi)².

Beweis: Nach 7.1.2 gilt Xn

i=1

(yi−βˆ0−βˆ1xi) = 0 und Xn

i=1

xi(yi−βˆ0−βˆ1xi) = 0. (∗) Daraus schliessen wir

0 = ˆβ0

Xn

i=1

(yi−βˆ0−βˆ1xi) + ˆβ1

Xn

i=1

xi(yi−βˆ0−βˆ1xi) = Xn

i=1

(yi−βˆ0−βˆ1xi)( ˆβ0+ ˆβ1xi)

= Xn

i=1

(yi−yˆi)ˆyi = Xn

i=1

(yiyˆi−yˆ²_i).

Diese Gleichung werden wir gleich noch benutzen. Wenn wir noch beachten, dass aus (∗) sofort folgt Pn

i=1yˆi=Pn

i=1yi, können wir nämlich schliessen Xn

i=1

(ˆyi−y)²+ Xn

i=1

(yi−yˆi)²= Xn

i=1

y_i²+ Xn

i=1

y²−2y Xn

i=1

ˆ yi+ 2

Xn

i=1

ˆ y²_i −2

Xn

i=1

yiyˆi

= Xn

i=1

y_i²+ Xn

i=1

y²−2y Xn

i=1

yi−2 Xn

i=1

(yiyˆi−yˆ²_i)

| {z }

=0

= Xn

i=1

(yi+y−2yyi) = Xn

i=1

(yi−y)².

Dies beweist natürlich die Behauptung.

Aufgabe 51 [Erwartungstreue Schätzer bei OLS]

Behauptung: Die Schätzer (in der Situation und den Notationen aus der Vorlesung) βˆ1 = SSxy

SSxx

und βˆ0 = y−βˆ1x sind erwartungstreu.

Beweis: DaE[Yi] =E[β0+β1xi+εi] =β0+β1xi undE[Y] =β0+β1xschliessen wir:

E[ ˆβ1] =E SSxY

SSxx

= E Pn

i=1(xi−x)(Yi−Y) Pn

i=1(xi−x)²

= 1

Pn

i=1(xi−x)² Xn

i=1

(xi−x)(E[Yi]−E[Y]) = Pn

i=1(xi−x)(β0+β1xi−(β0+β1x)) Pn

i=1(xi−x)²

= β1Pn

i=1(xi−x)² Pn

i=1(xi−x)² = β1.

Dies bedeutet genau, dassβˆ1 ein erwartungstreuer Schätzer vonβ1 ist.

Es folgt:

E[ ˆβ0] =E[Y −βˆ1x] = E[Y]−E[ ˆβ1]x = β0+β1x−β1x = β0. Also istβˆ0 ein erwartungstreuer Schätzer vonβ0.

Frühjahrsemester 2011 Olivier Warin Seite 5 von 8

Aufgabe 52 [yi=β0+εi]

Wir vereinfachen das Modell von der Gleichung (7.1) auf Yi=β0+εi, wobeiε1,· · ·, εn iid sind mitε1∼ N(0, σ²).

Nun bestimmen bestimmen wir in diesem Modell ein paar Schätzer:

• Zuerst wollen wir den OLS-Schätzer βˆ₀^OLS vonβ0bestimmen. Die Schätzung yˆ_i^OLSvon yi ist dann natürlich einfach durchyˆ^OLS= ˆβ^OLS₀ gegeben. Dazu müssen wir die Funktion

Xn

i=1

(yi−β0)²=nβ²₀−2nβ0y+ Xn

i=1

y²_i = n(β0−y)²+ Xn

i=1

y²_i −y²

bezüglichβ0 minimieren. In obiger Form können wir die Stelle, an der das Minimum angenommen wird, gleich ablesen und erhalten so

βˆ₀^OLS=y.

• Jetzt möchten wir den ML-Schätzerβˆ₀^MLvonβ0bestimmen. Dazu müssen wir uns die gemeinsame Dichtefunktionfβ0vonY1, . . . , Ynbestimmen. DaYi=β0+εi, hatYiklar eineN(β0, σ²)-Verteilung.

Es folgt

fβ0(y1, . . . , yn)^iid= Yn

i=1

√ 1

2πσ²exp

− 1

2σ²(x−β0)² .

Da wir uns bei der ML-Schätzung nur für die Stelle des Maximums (bezüglich β0) interessieren, können wir gerade so gut den Logarithmus davon betrachten:

logfβ0(y1, . . . , yn) =−n

2log(2π)−n

2 log(σ²)− 1 2σ²

Xn

i=1

(yi−β0)².

Für die Stelle des Maximums bezüglichβ0sind die Summanden, die nicht vonβ0abhängen, natürlich irrelevant. Ausserdem spielt der Faktor _2σ¹₂ (>0) natürlich auch keine Rolle. Daher reicht es wenn wir die Maximumsstelle der Funktion

− Xn

i=1

(yi−β0)²

bestimmen. Bis auf das Vorzeichein ist das genau die gleiche Funktion, wie diejenige die wir fürβˆ^OLS₀ minimiert haben. Wegen dem anderen Vorzeichen wird natürlich aus dem Minimum ein Maximum.

Wir schliesen also

βˆ₀^ML= ˆβ₀^OLS = y.

• Zum Schluss bestimmen wir noch den ML-Schätzerσˆ^2ML vonσ². Dazu müssen wirf_σ²(y1, . . . , yn) bzw.logfσ²(y1, . . . , yn)bezüglichσ² (undβ0) maximieren. Nach obigem gilt:

logfσ²(y1, . . . , yn) =−n

2 log(2π)−nlog(σ)− 1 2σ

Xn

i=1

(yi−β0)².

Der Summand, der nicht vonσ²abhängt spielt hier keine Rolle. Ausserdem haben wir oben gezeigt, dass das Maximum bezüglich β0 unabhänig von σ² an der Stelleβ0 = y angenommen wird. Aus Gründen der Bequemlichkeit multiplizieren wir die Funktion auch noch mit 2. Konkret müssen wir also noch die Funktion

−nlog(σ²)− 1 σ²

Xn

i=1

(yi−y)² = −nlog(σ)−Syy

σ²

Frühjahrsemester 2011 Olivier Warin Seite 6 von 8

Übungsblatt 10 zur Vorlesung “Statistische Methoden” Seite 7 von 8

bezüglichσ² minimieren. Ableiten nachσ² liefert:

−n

σ² + Syy

(σ²)². Ausserdem lautet die zweite Ableitung nach σ²:

n

(σ²)² −2 Syy

(σ²)³. Die Nullstelle (bezüglichσ²) von der ersten Ableitung lautet

σ²=Syy

n .

Wenn wir dies in der zweiten Ableitung einsetzen erhalten wir:

−n³ Syy

<0,

also handelt es sich um ein Maximum. Somit kommen wir zu dem folgenden Ergebnis:

σˆ^2ML= 1

nSyy = 1 n

Xn

i=1

(yi−y)².

Aufgabe 53 [Testen, ob β1= 0,β1= PN]

Dies ist die Fortsetzung der R-Session von Aufgabe 49:

> # Teilaufabe a)

> t <− b e t a 1 h u t/ sqrt( s i g m a 2 h u t/SSxx )

> pt(abs(t) ,N−2 ,lower. t a i l =F) #P−Wert [ 1 ] 2 . 1 2 4 2 1 6 e−158

5 >

> # Teilaufgabe b)

> t <− ( b e t a 1 h u t − PN)/ sqrt( s i g m a 2 h u t/SSxx )

> pt(abs(t) ,N−2 ,lower. t a i l =F) ^#P−Wert [ 1 ] 0 . 3 7 0 7 9 8 2

10 >

Wir haben dabei die Teststatistik aus der Vorlesung benutzt.

Aufgabe 54 [Test, obβ₀= 0]

Wir wollen nun in Analogie zu 7.1.3 einen Test entwickeln, obβ0= 0oder nicht. Dazu betrachen wir die Definition vonβˆ0:

βˆ0=Y −βˆ1x.

Wir wissen bereits aus 7.1.3, dass βˆ1 eine N

β1,_SS^σ2_xx

-Verteilung hat. Ausserdem hat Y klar eine N(β0+β1x,^σ_n²)-Verteilung. Wir schliessen (siehe auch Aufgabe 51)

βˆ0∼ N

β0,(SSxx+x²n)σ² nSxx

. Wie in 7.1.3, benutzen wir jetzt die Schätzung ˆσ²= _n−2¹ Pn

i=1(yi−yˆi)² für σ². Damit erhalten wir die folgende Teststatistik

T = βˆ0

q(SSxx+x²n)ˆσ² nSxx

,

welche unterH⁰(alsoβ0= 0) einetn−2-Verteilung hat. Wir werden dieH⁰-Hypothese verwerfen, sobald diese Teststatistik Werte annimmnt, welche weiter als ein bestimmter kritischer Wert von Null entfernt sind.

Frühjahrsemester 2011 Olivier Warin Seite 7 von 8

Bemerkung: In obiger Herleitung haben wir zwei Sachen benutzt, die eigentlich nicht offensichtlich sind:

• Bei der Bestimmung von der Verteilung von βˆ0 haben wir Unabhängigkeit von Y¯ undβˆ1 benutzt.

Denn sie Summe von zwei normalverteilten Zufallsgrössen ist im Allgemeinen nur dann normal- verteilt, wenn die beiden Summanden unabhängig sind. Ausserdem haben wir die Unabhängigkeit (oder mindestens Unkorreliertheit) benutzt, um die Varianz zu berechnen.

• Das zweite ist das Einsetzen von σˆ² stattσ². Denn auch hier ist a priori die Unabhängigkeit nicht klar und damit auch nicht dietn−2-Verteilung.

Im freiwilligen Teil von Kapitel 7 werden wir diesen Test nochmals in einer etwas allgemeineren Situation sehen. Dort werden sich diese zwei Punkte noch klären.

Frühjahrsemester 2011 Olivier Warin Seite 8 von 8