3 Multiple Regression

3 Multiple Regression

Wir verallgemeinern auf den Fall mehrerer Regressoren.

Idee: Parameter in multipler Regression messen partiellen Beitrag der einzelnen Ein‡ussfaktoren (Regressoren) unter einer ceteris paribus - Annahme.

Sprachregelung: andere Faktoren konstant gehalten, oder kontrolliert.

Mehrere Ein‡ussfaktoren – was passiert, wenn man einige davon nicht berück- sichtigt?

3.1 Beispiel

Zurück zur Lohngleichung:

– Es ist plausibel anzunehmen, dass nicht nur Ausbildung, sondern (zumin- dest) auch die Berufserfahrung den Lohnsatz beein‡usst.

– Längere Ausbildung bedeutet kürzere Berufserfahrung:

vielleicht hatten wir deshalb bisher den E¤ekt der Ausbildung unter- schätzt?

wie ändert dies die Überlegung, ob sich zusätzliche Ausbildung lohnt?

Mit den Wooldridge-Daten als Beispiel:

ln(wage_i) = ₀ + ₁educ_i + ₂exper_i + u_i

ln(wage\ _i) = 0;2169 + 0;0979educ_i + 0; 0104exper_i

Im einfachen Modell (ohne exper) hatten wir:

b₀ = 0;5838; ^b₁ = 0;0827

Zuvor waren mögliche E¤ekte von Erfahrung auf den Lohn im Fehler u versteckt.

Wenn nun Erfahrung einen systematischen E¤ekt auf den Lohn hat, dann haben wir den vorher vergessen – ist das ein Problem? Wenn es ein Problem ist: wofür ist es ein Problem?

Allgemein: wenn ein Modell k Regressorvariablen hat,

– warum muss man dann eine multiple Regression durchführen (alle k Varia- blen auf der rechten Seite),

– und kann nicht einfach k Einfachregressionen (immer nur eine Variable auf der rechten Seite) durchführen,

– oder gibt es Konstellationen, in denen das doch geht?

Auf diese Frage kommen wir später in diesem Kapitel zurück, nachdem wir das multiple Regressionsmodell genauer untersucht haben.

3.2 Das multiple lineare Regressionsmodell

Das Modell lautet:

y = ₀ + ₁x₁ + + _kx_k + u

Wir betrachten jetzt also k erklärende Variablen. ₀ ist das Intercept (der Koe¢ zient der Konstanten), _i ist der Parameter zur Variable x_i.

In der englischsprachigen Literatur heißen die _i slope parameters, also Stei- gungsparameter.

Um die Parameter mit OLS zu schätzen (und die gewünschten Eigenschaften der OLS Schätzer zu haben) müssen wir die zuvor gemachten Annahmen ver- allgemeinern.

Wir unterstellen in diesem Kapitel, dass wir eine Stichprobe mit Querschnitts- daten haben (Zeitreihen werden später behandelt).

Annahmen: multiple Regression

I Die abhängige Variable y hängt in der Form y = ₀ + ₁x₁ + + _kx_k +u von den unabhängigen Variablen x_j, j = 1; :::; k und dem Fehlerterm u ab.

II Wir verfügen über eine Zufallsstichprobe (y_i; x_i1; : : : ; x_ik)_i=1;:::;n generiert durch das obige Modell.

III Die erklärenden Variablen 1;x_j; j = 1; : : : ; k sind nicht linear abhängig (weder in der Stichprobe noch in der Grundgesamtheit).

IV E(u_jx₁; : : : ; x_k) = 0 für alle beliebigen Werte von x_j; j = 1; : : : ; k.

Parameterschätzung

Die Schätzung basiert, unter den gemachten Annahmen, wiederum auf dem OLS - Prinzip, d.h. es gilt nun folgendes Problem zu lösen:

b = ^b₀; ^b₁; : : : ; ^b_k ⁰

= arg min _b0;b1;:::;b

k2R Xn i=1

(y_i b₀ b₁x_i1 b_kx_ik)²

Wie im einfachen Regressionsmodell haben wir ein Polynom 2. Grades zu mini- mieren, allerdings jetzt nicht mit 2 sondern k + 1 Parametern.

Bezeichnen wir die Fehlerquadratsumme auf der rechten Seite als S(b₀; b₁; :::; b_k), dann sind die Bedingungen 1. Ordnung:

@S

@b₀ = 2

Xn i=1

(y_i b₀ b₁x_i1 b_kx_ik) = 0

@S

@b₁ = 2

Xn i=1

x_i1 (y_i b₀ b₁x_i1 b_kx_ik) = 0 ...

@S

@b_k = 2

Xn i=1

x_ik (y_i b₀ b₁x_i1 b_kx_ik) = 0

k+ 1 lineare Gleichungen für k+ 1 Unbekannte. Die Lösung dieser Gleichungen liefert uns ^b₀; ^b₁; : : : ; ^b_k .

Mit den geschätzten Parametern erhalten wir die ‘…tted values’oder prognos- tizierten (angepassten) Werte

b

y_i = ^b₀ + ^b₁x_i1 + + ^b_kx_ik; i = 1; : : : ; n und die Residuen

b

u_i = y_i y_bi; i = 1; : : : ; n

Die Residuen sind nicht mit den unbeobachteten Fehlern zu verwechseln!

Die Orthogonalitätsbeziehung von zuvor können wir also schreiben als:

Xn i=1

x_iju_bi = 0; j = 1; : : : ; k

Genau wie in der einfachen Regression können wir SST, SSE und SSR de…nieren und damit auch das Bestimmtheitsmaß:

R² = SSE

SST = 1 SSR SST

Wenn man beliebige weitere Variablen in die Regression aufnimmt, dann bleibt R² gleich oder wird i.A. größer.

Das bedeutet R² ist kein sinnvolles Instrument, um verschiedene Regressions- modelle zu vergleichen bzw. zu beurteilen!

Wir verwenden daher als Alternative das korrigierte oder adjustierte Bestimmt- heitsmaß

R² = 1 SSR=(n (k + 1))

SST =(n 1) = 1 n 1

n (k + 1)

SSR SST

Der neue Faktor ist immer größer als 1, wächst mit k und wirkt daher wie ein Strafterm für zusätzliche Regressoren.

Mit dem adjustierten Bestimmtheitsmaßkönnen wir nun verschiedene, geschach- telte Modelle miteinander vergleichen.

Grössere Modelle kommen dabei nicht mehr automatisch besser weg, weil das adjustierte R² eben einen Strafterm hat. R² ist daher in gewissem Sinn zur Modellwahl geeignet.

Parameterschätzung in Matrixform

Für spätere Zwecke ist es nützlich, eine kompakte Darstellung in Matrixnotation zu verwenden:

0 BB B@

y₁ y₂ ...

y_n

1 CC CA

| {z } y

=

0 BB B@

1 x₁₁ x_1k 1 x₂₁ x_2k

... ... ...

1 x_n1 x_nk

1 CC CA

| {z }

X

0 BB B@

0

...1 k

1 CC CA

| {z }

+

0 BB B@

u₁ u₂ ...

u_n

1 CC CA

| {z } u

Kompakt geschrieben haben wir also:

y= X +u und:

S(b) =

Xn i=1

(y_i b₀ b₁x_i1 b_kx_ik)² = (y Xb)⁰(y Xb) mit b = (b₀; b₁; : : : ; b_k)⁰:

Für die gegebene Stichprobe ist S(b) eine Funktion von b ₂ R ^nach R (Summe der quadrierten Abweichungen ist einfach eine Zahl), also S(b) : R^k+1 ! R^.

Die Funktion ist ein Polynom zweiten Grades in b und somit di¤erenzierbar, und wir de…nieren den Gradientenvektor:

dS(b) db ⁼

0 BB BB BB

@

@S(b)

@b₀

@S(b)

@b₁

...

@S(b)

@b_k

1 CC CC CC A

2 R^k+1

Wir erhalten:

dS(b)

db ^{= 2X}

0y + 2X⁰Xb

Exkurs: Herleitung hiervon: wir haben

S(b) = (y Xb)⁰(y Xb)

= y⁰y y⁰Xb b⁰X⁰y + b⁰X⁰Xb

Rechenregeln für Vektor- und Matrixableitungen: Für a ₂ R^{k+1 und A} 2 R(k+1) (k+1) gilt

d(a⁰b)

db ⁼ a ^d(b⁰A⁰Ab)

db ^{= 2A}

0Ab

Angewandt auf unsere Funktion:

d(y⁰Xb)

db ^{= X}

0y ^d(b⁰X⁰Xb)

db ^{= 2X}

0Xb

Exkurs Ende.

Die Bedingungen erster Ordnung an der Stelle des Minimums der Fehlerquadrate (^b ersetzt b) kann man schreiben als

X⁰X^b = X⁰y

Daraus folgt, wenn X⁰X invertierbar ist:

b = (X⁰X) ¹X⁰y

X⁰X ist invertierbar, wenn alle Variablen linear unabhängig sind (Annahme III).

Die Elemente des Parametervektors ^b = ^b₀; ^b₁; : : : ; ^b_k ⁰ sind die geschätzten OLS-Parameter, die wir nun interpretieren müssen.

Interpretation der Koe¢ zienten im multiplen Regressionsmodell

Es gilt per De…nition für die …tted values:

b

y = ^b₀ + ^b₁x₁ + + ^b_kx_k

D.h. wenn wir z.B. x₂; : : : ;x_k als konstant annehmen, dann gilt

b

y = ^b₁ x₁

D.h. jedes ^b_i hat eine ceteris paribus Interpretation.

Mit multipler Regression ist ceteris paribus Interpretation möglich, obschon die Daten nicht ceteris paribus erhoben worden sind.

Andere Sprachregelungen: ^b₁ misst den E¤ekt einer Änderung in x₁, – wenn (gedanklich) x₂; : : : ;x_k ‘konstant gehalten’werden,

– oder wenn für die Ein‡üsse von x₂; : : : ;x_k ‘kontrolliert’ wird (daher auch der Ausdruck Kontrollvariablen für Regressoren).

Zurück zum Eingangsbeispiel: Wir haben nun das multiple Regressionsmodell ln(wage_i) = ₀ + ₁educ_i + ₂exper_i + u_i

Die OLS Schätzung führt auf

ln(wage\ _i) = 0;2169 + 0;0979educ_i + 0; 0104exper_i mit R² = 0;2493 und R² = 0;2465.

Die angepassten Werte lassen sich wie im einfachen Regressionsmodell inter- pretieren:

– Es handelt sich um ein Log-Level-Modell.

– Steigt die Anzahl der Ausbildungsjahre c.p. um 1, so steigt der Lohn um 9,7 %.

– Steigt die Anzahl der Jahre Berufserfahrung c.p. um 1, so steigt der Lohn um 1 %.

0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 2.2

-0.5 0 0.5 1 1.5 2 2.5 3

Fitted values

ln(wage)

3.3 Eigenschaften der OLS Schätzer

Erwartungstreue

Unter den Annahmen I bis IV sind die OLS Schätzer ^b_j, j = 0;1; : : : ; k un- verzerrt / erwartungstreu, d.h.:

E(^b_j) = _j

Wir wissen ^b = (X⁰X) ¹X⁰y und y = X + u. Einsetzen ergibt:

b = (X⁰X) ¹X⁰(X + u)

= (X⁰X) ¹(X⁰X + X⁰u)

= + (X⁰X) ¹X⁰u

Wir berechnen als nächstes den Erwartungswert bedingt auf X: E(^bjX) = + E (X⁰X) ¹X⁰u_jX

= + (X⁰X) ¹X⁰E(u_jX)

= + (X⁰X) ¹X⁰0 =

D.h. der bedingte E ist gleich - und ist somit auch gleich dem unbedingten E.

Man beachte die Bedeutung von Annahme IV (E(u_jX) = 0)!

Varianz

Um die Varianz der OLS Schätzer zu bestimmen, machen wir im Moment - wie zuvor im einfachen Regressionsmodell - eine zusätzliche Annahme: homos- kedastische Fehler.

Bezüglich der Varianz der Fehlerterme u_i wird angenommen:

Annahme V: Var(u_ijx₁; : : : ; x_k) = ²

Die Varianz eines jeden Fehlerterms u_i ist gleich der Konstanten ² (für alle möglichen Werte von x₁; : : : ;x_k), d.h. die Fehler sind homoskedastisch.

Anmerkung: Da wir hier eine Zufallsstichprobe aus Querschnittsdaten betrach- ten, sind überdies zwangsläu…g auch die Fehlerterme untereinander unkorreliert, d.h. es gilt

Cov(u_i; u_jjx₁; : : : ;x_k) = 0 für i 6= j

Diese Annahme ist bei Querschnittsdaten automatisch erfüllt, bei Zeitreihenda- ten aber potenziell problematisch (siehe spätere Kapitel).

Varianz der Steigungsparameter (hier ohne Beweis, siehe die äquivalente Ma- trixberechnung unten): Unter den Annahmen I bis V gilt, bedingt auf die Stich- probenwerte der Variablen x₁; : : : ;x_k, dass

Var(^b_j) =

2

SST_j(1 R_j²); für j = 1; : : : ; k, mit der Abkürzung

SST_j =

Xn i=1

(x_ij x_j)²

als die Stichprobenvariation von x_j, und R²_j bezeichnet das R² der Regression von x_j auf alle anderen x Variablen und die Konstante.

Wovon hängt die Varianz

Var(^b_j) =

2

SST_j(1 R²_j) der OLS Schätzer ab?

– Varianz der Fehler u, also ². Größere Fehlervarianz erhöht Varianz der Steigungsparameter: Die Varianz der OLS Schätzer kann also hoch sein, obwohl wir alles richtig gemacht haben, weil ² einfach großist.

– Variation der Variablen x_j in der Stichprobe, also SST_j. Höhere Stichpro- benvariation verringert die Varianz der Steigungsparameter, d.h. erhöht die Schätzpräzision.

– R_j²: Lineare Abhängigkeit von x_j von den anderen Variablen (in der Stich- probe). Wenn R²_j gross, also nahe bei 1, ist, dann ist die Varianz von ^b_j gross.

– Die Varianz ist am kleinsten, wenn R²_j = 0 ist, also wenn die Stichproben- korrelation zwischen x_j und den anderen Variablen gleich 0 ist.

Multikollinearität

Perfekte Multikollinearität liegt vor, wenn die Variablen nicht alle linear unab- hängig sind, d.h. der Rang von X 2 R^{n (k+1)} ist nicht voll.

Dies impliziert wiederum, dass X⁰X nicht invertierbar ist. Es gibt in diesem Fall kein eindeutig bestimmtes ^b.

In der Praxis ist eher unvollständige Multikollinearität ein Problem.

Diese impliziert, wie wir gesehen haben, dass die Varianz der geschätzten Ko- e¢ zienten sehr großwerden kann.

Es gibt keine Faustregeln, was zuviel an Multikollinearität ist.

Varianz von ^b: Matrixberechnung

De…nition der bedingten Varianz für den Vektor ^b:

Var(^bjX) = E ^b E(^bjX) ^b E(^bjX) ⁰ X

Diese Schreibweise …nden Sie häu…g in der Literatur. Wie ist sie zu verstehen?

Und wieso transponieren wir?

b ist keine skalare Zufallsvariable, sondern ein Vektor mit k + 1 Elementen.

Demgemäßhat ^b eine Varianz-Kovarianz Matrix der Dimensionen (k + 1) (k + 1).

Betrachten wir als Beispiel den zwei-dimensionalen Fall und betrachten wir die unbedingte Varianz, dann haben wir:

Var ^b_b⁰

1

!

= Var(^b₀) Cov(^b₀; ^b₁) Cov(^b₀; ^b₁) Var(^b₁)

!

Dies stimmt genau überein mit:

Var(^b) = E ^b E(^b) ^b E(^b) ⁰

wie man durch ausmultiplizieren und Verwendung der De…nition von Varianz und Kovarianz sehen kann.

Zurück zum Ausgangsproblem. Wir suchen die bedingte Varianz-Kovarianz Ma- trix von ^b. Hierfür benötigen wir also

b E(^bjX) = (X⁰X) ¹X⁰y

= (X⁰X) ¹X⁰(X + u)

= (X⁰X) ¹X⁰u

wobei die erste Gleichung Gebrauch macht von E(^bjX) = , was wir ja schon oben gesehen hatten.

Damit erhalten wir:

Var(^bjX) = E ^b E(^bjX) ^b E(^bjX) ⁰ X

= E (X⁰X) ¹X⁰u (X⁰X) ¹X⁰u ⁰ X

= E ^h(X⁰X) ¹X⁰uu⁰X(X⁰X) ¹ Xⁱ

= (X⁰X) ¹X⁰E(uu⁰_jX)X(X⁰X) ¹

= (X⁰X) ¹X^{0 2}I_nX(X⁰X) ¹

= ²(X⁰X) ¹

wobei I_n die n-dimensionale Einheitsmatrix ist.

Der vorletzte Schritt ist erklärungsbedürftig. Wir haben den Ausdruck E(uu⁰_jX) durch ²I_n ersetzt. Warum dürfen wir das, und was bedeutet das?

Entscheidend ist, dass der Ausdruck E(uu⁰_jX) genau die Varianz-Kovarianz Matrix des Vektors der Fehlerterme ist. Für den gilt ja per De…nition

Var(u_jX) = E ^h(u E(u_jX)) (u E(u_jX))⁰ Xⁱ

was sich wegen unserer üblichen Annahme IV E(u_jX) = 0 vereinfacht zu

Var(u_jX) = E uu⁰_jX

Nun hatten wir aber oben angenommen (siehe Annahme V), dass für jedes Ele- ment dieser Varianz-Kovarianz Matrix gilt: Var(u_ijX) = ² und alle Kovarian- zen zwischen allen u_i und u_j sind null. Deshalb folgt für die Varianz-Kovarianz Matrix (erinnern Sie sich: auf deren Hauptdiagonale stehen Varianzen, abseits stehen Kovarianzen):

Var(u_jX) = E uu⁰_jX =

0 BB BB

@

2 0 0

0 ² ...

... . . . 0

0 0 ²

1 CC CC

A = ² I_n wobei I_n die n-dimensionale Einheitsmatrix ist.

Fazit aus alledem: wir haben also zwei identische Ausdrücke für Var(^b_j), näm- lich

Var(^b_j) =

2

SST_j(1 R²_j)

= das (j; j) - Element aus der Matrix ²(X⁰X) ¹

Der erste Ausdruck ist nützlich für die Intuition, der zweite für konkrete Be- rechnungen.

Schätzung von (und )

Wir müssen noch die Fehlervarianz ² schätzen. Wie in der einfachen Regres- sion ist ein Problem, dass wir die Fehler u_i nicht beobachten, sondern nur (geschätzte) Residuen u_bi.

Das impliziert, dass wir wie in der einfachen Regression eine Freiheitsgrad- Korrektur durchführen müssen, um einen unverzerrten Schätzer für ², unter den Annahmen I bis V, zu erhalten:

b² = 1

n (k + 1)

Xn i=1

b

u²_i = SSR n (k + 1)

Die Residuen werden i.A. kleiner, wenn man mehr Regressoren mit in die Re- gression aufnimmt.

Der Standardfehler der Regression (SER) ist wie schon im einfachen Modell de…niert als

SER =

q

b² = _b

Standardfehler der Koe¢ zienten

Der Standardfehler der Koe¢ zienten ^b_j ist die Wurzel aus seiner geschätzten Varianz, gegeben durch:

se(^b_j) =

qVar(d ^b_jjX) = _q ^b

SST_j(1 R²_j)

= Quadratwurzel des (j; j) - Elements aus der Matrix b²(X⁰X) ¹

Im Beispiel: Geschätzte Varianz und Standardfehler (Lohndaten). Im Modell ln(wage_i) = ₀ + ₁educ_i + ₂exper_i + u_i

beträgt die geschätzte Varianz _b² = 0;2129, bei 523 Freiheitsgraden.

Die Standardfehler der einzelnen Steigungsparameter betragen

se(^b₀) = 0;1086 se(^b₁) = 0;0076 se(^b₂) = 0;0016

Interpretation: siehe unten.

Gauß-Markov Theorem

Gauß-Markov Theorem: Unter den Annahmen I bis V sind die OLS Schätzer ^b_j, j = 0;1; : : : ; k die besten linearen unverzerrten Schätzer von ₀; ₁; : : : ; _k.

– Die ‘besten’: d.h. Schätzer mit kleinster Varianz.

– Unverzerrt: E(^b_j) = _j, j = 0; : : : ; k.

– Linear: für x_j gegeben – auf x_j bedingt – lineare Funktion von y_i, i = 1; : : : ; n.

Dieses Theorem begründet die weite Verwendung von OLS: sofern die Annah- men zutre¤en, ist OLS in einem gewissen (oben genau spezi…zierten) Sinn das beste was wir machen können!

3.4 Stichprobenverteilung der OLS Schätzer

Um die Standardfehler interpretieren zu können, benötigen wir eine Information über deren Wahrscheinlichkeitsverteilung.

Das liefert uns dann die Möglichkeit, Hypothesentests durchzuführen.

Wir erhalten die Verteilung der Standardfehler der Parameterschätzer, wenn wir bezüglich der Fehlerterme folgendes annehmen:

Annahme VI: Die Fehler u_i sind unabhängig von den erklärenden Variablen x₁;x₂; : : : ;x_k und unabhängig und identisch normalverteilt mit Mittelwert 0 und Varianz ²:

u _N(0; ²I_n)

Diese Annahme ist in zweifacher Hinsicht stärker als die bisherigen Annahmen:

– Zum Einen nehmen wir jetzt an, dass die x und die u_i unabhängig sind, – zum Anderen postulieren wir jetzt eine spezielle Verteilung, eben die Nor-

malverteilung.

Diese starken Annahmen kaufen uns aber auch viel:

– Erstens sind die OLS Schätzer nun die e¢ zientesten unter allen unverzerrten Schätzern.

– Zweitens erlaubt es uns die Verteilungen der geschätzten Koe¢ zienten und von Teststatistiken zu bestimmen.

Dichtefunktionen der Normalverteilung mit Mittelwert 0:

-50 -4 -3 -2 -1 0 1 2 3 4 5

0.1 0.2 0.3 0.4 0.5 0.6

σ² = 1 σ² = 0.5 σ² = 2

Das Modell unter der Normalverteilungsannahme

Verteilung von y

y_jx _N( ₀ + ₁x₁ + _kx_k; ²) – Also die bedingte Verteilung von y gegeben x ist normal, – der bedingte Mittelwert ist eine lineare Funktion von x, – und die (bedingte) Varianz ist konstant.

Die N-Annahme ist allerdings nicht immer gut bzw. sinnvoll, z.B. wenn y nur wenige Werte annehmen kann, etc...

Es gilt, dass die geschätzten Koe¢ zienten bedingt auf die erklärenden Variablen X, eine Linearkombination der normalverteilten Fehler u sind:

b = + (X⁰X) ¹X⁰u

= + Mu

Es gilt, dass Summen oder allgemeiner Linearkombinationen von normalverteil- ten Zufallsvariablen wieder normalverteilt sind.

Also gilt jetzt

bjX N( ; ²(X⁰X) ¹)

Das heißt durch Annahme VI kennen wir die Verteilung der geschätzten Para- meter und diese ist noch dazu einfach zu handhaben.

Jeder einzelne geschätzte Koe¢ zient ^b_j ist dann normalverteilt mit

bj N( _j;Var(^b_j));

wobei Var(^b_j) das (j; j) Element aus ²(X⁰X) ¹ ist (wie wir wissen äquiva- lent gegeben durch ²

SST_j(1 R²_j)).

Es folgt unmittelbar, dass die standardisierten Koe¢ zientenschätzer standard- normalverteilt sind:

b_{j j} q

Var(^b_j) N(0;1)

Was passiert, wenn wir das unbekannte ² durch die Schätzung

b² = _{n (k+1)}^{1 Pn}_i=1 u_b²_i ersetzen?

In der Skalierung durch _b zu ersetzen bedeutet, dass wir durch den Stan- dardfehler se(^b_j) dividieren. Die resultierende Größe ist dann nicht mehr stan- dardnormalverteilt, sondern t-verteilt mit n (k + 1) Freiheitsgraden:

b_{j j}

se(^b_j) t_{n (k+1)}

(Hier kein Beweis. Für Interessierte: z.B. Wooldridge, Appendix E.)

Daraus können wir nun einen Hypothesentest konstruieren.

Gra…k: t-Verteilung und Standardnormalverteilung.

-40 -3 -2 -1 0 1 2 3 4

0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4

Wahrscheinlichkeitsdichte

t-Verteilung mit 10 FG Standardnormalverteilung

3.5 Multiple Regression: Inferenz

Test einer Hypothese bezüglich eines Parameters

Da wir nun wissen, welche Verteilung die Größe ^{bj j}

se(b_j) besitzt, können wir daraus einen Hypothesentest konstruieren.

Was ist überhaupt ein statistischer Test?

Wir wollen eine inhaltlich interessante Hypothese bezüglich eines Parameter testen. Nehmen wir an, wir hätten die Theorie, dass der Parameter _j gleich dem Wert sein sollte.

Unsere Nullhypothese lautet also:

H₀ : _j =

Wir wollen entscheiden, ob die ‘Daten kompatibel’sind mit unserer Nullhypo- these H₀.

Was kann bei dieser Entscheidung passieren?

H₀ nicht verwerfen H₀ verwerfen

H₀ richtig gut schlecht

H₀ falsch schlecht gut

Aus der obigen Tabelle ist ersichtlich, dass man 2 Arten von Fehlern begehen kann:

– Fehler 1. Art: H₀ wird verworfen, obwohl sie richtig ist (oben rechts).

– Fehler 2. Art: H₀ wird nicht verworfen, obwohl sie falsch ist (unten links).

Das Signi…kanzniveau eines Tests ist die Wahrscheinlichkeit eines Fehlers 1. Art (wird oft mit bezeichnet).

Im Zusammenhang damit steht die Macht (auch Güte, power) eines Tests. Die Macht eines Tests ist die Wahrscheinlichkeit die Nullhypothese zu verwerfen wenn sie falsch ist, nämlich 1 Wahrscheinlichkeit eines Fehlers 2. Art (unten rechts).

Wenn wir keinen Fehler 1. Art akzeptieren (mit positiver Wahrscheinlichkeit), dann kann der Test eine Hypothese nie verwerfen. Das ist dann natürlich kein sehr nützlicher Test.

Faustregel: Wir wollen Tests so ‘konstruieren’, dass wir H₀ verwerfen, wenn die Teststatistik Werte annimmt, die unter H₀ ‘unwahrscheinlich’sind.

Also: wenn der wahre Wert des Parameters ist, wie wahrscheinlich ist dann der Schätzwert ^b_j, den wir aus unserer Stichprobe ermittelt haben?

Dafür muss man die Verteilung von ^b_j unter der Nullhypothese kennen, und man muss ein Signi…kanzniveau festlegen, d.h. eine unvermeidliche Wahr- scheinlichkeit für den Fehler 1. Art akzeptieren. Gebräuchlich sind 10 %, 5 % oder 1 % (also für z.B. 5 % wäre = 0:05).

Betrachten wir den Fall eines zweiseitigen Tests. Dieser soll folgende Hypothesen untersuchen:

H₀ : _j = gegen

H₁ : _j 6=

Die Teststatistik ist gegeben als:

t j= =

b_j

se(^b_j)

Wir lehnen die Nullhypothese ab, wenn ^b_j entweder sehr viel kleiner als oder sehr viel größer als ist.

Genauer: Ablehnung der Nullhypothese erfolgt, wenn die Wahrscheinlichkeit, die ermittelte Teststatistik t

j= in der Stichprobe zu erhalten, kleiner als das gewählte Signi…kanzniveau ist.

Formal: die Entscheidungsregel ist gegeben durch den kritischen Bereich lehne H₀ ab, wenn t

j= > c_{tn (k+1)};1 =2

d.h. wir lehnen die Nullhypothese ab, wenn die Teststatistik betragsmäßig größer als der kritische Wert c_{tn (k+1)};1 =2 ist.

Der kritische Wert ist das (1 =2)-Quantil der t-Verteilung mit n (k + 1) Freiheitsgraden.

Gra…k: kritischer Bereich für n ! 1

-40 -3 -2 -1 0 1 2 3 4

0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4

t-Verteilung für große Stichproben

kritischer Wert: |1,96 | Fläche 0,95

Fläche 0,025 Fläche 0,025

Beispiel: t-Test (Lohndaten). Das Modell lautet weiterhin

ln(wage_i) = ₀ + ₁educ_i + ₂exper_i + u_i

In diesem Fall ist es sinnvoll zu testen, ob die Nullhypothese H₀ : _j = 0 abgelehnt werden kann (also der Hypothesenwert = 0).

Die Nullhypothese lautet also: Ausbildung und Berufserfahrung haben keinen Ein‡uss auf den Lohnsatz, ein beobachteter Zusammenhang kann allein durch den Zufall bei der Stichprobenziehung erklärt werden.

Das würde bedeuten, dass die zugehörige unabhängige Variable keinen statis- tisch signi…kanten Ein‡uss auf die Werte der abhängigen Variable hat.

Getestet wird die Nullhypothese gegen die Alternative H₁ : _j 6= 0.

Da wir bereits alle notwendigen Größen berechnet haben, können wir die drei Teststatistiken direkt angeben als (gerundet)

t 0=0 = 0;2169 0

0;1086 = 1;9972 t

1=0 = 12;8816 t

2=0 = 6;4375

Das 97,5%-Quantil der (symmetrischen) t-Verteilung mit 526-(2+1) = 523 Freiheitsgraden beträgt 1,9645 (siehe Tabellen in Ihrem Statistik-Lehrbuch, oder eine Funktion Ihrer Ökonometrie-Software).

Alle drei t-Statistiken sind (absolut) größer als das Quantil, sodass in allen drei Tests die Nullhypothese zum Signi…kanzniveau 5% abgelehnt werden kann.

Es kann also –unter den gemachten Annahmen –behauptet werden, dass sowohl educ als auch exper einen statistisch signi…kanten Ein‡uss auf den Lohn haben (der Zusammenhang wirkt also nicht rein zufällig).

Eine nützliche Faustregel

Für die häu…g getestete Nullhypothese H₀ : _j = 0 ist die Teststatistik einfach

b_j

se(^b_j)

also der betragsmäßige Quotient aus Parameterschätzer und dessen Standard- fehler.

Für große Stichproben ist der kritische Wert der t-Verteilung für diese Hypothese beim 5%-Signi…kanzniveau

n ! 1; = 0;05 : c_{tn (k+1);1 =2} = c_t

1;0:975 = 1;9645 also etwas weniger als 2.

Als grobe Faustregel kann man sich daher merken: ein Parameter ist auf dem 5%-Signi…kanzniveau statistisch signi…kant von null verschieden, wenn der Pa- rameterschätzer im Betrag mindestens doppelt so großist, wie sein Standard- fehler.

Kon…denzintervalle

Eine Parameterschätzung ^b_j an sich sagt nichts über die Unsicherheit der Schät- zung der unbekannten Parameter. Daher interessiert die Frage: welches Intervall beinhaltet den wahren, unbekannten Parameter _j mit einer gewissen, vorge- gebenen Wahrscheinlichkeit?

Formal also: Sei _j ein unbekannter Parameter, dann bezeichnet das Intervall [V_u;V_o], ein Kon…denzintervall zum Niveau 1 , falls gilt

P(V_{u j} V_o) = 1

Hierbei sind die Intervallgrenzen V_u < V_o Stichprobenfunktionen, die von den Daten abhängen.

Hier wird die Beziehung zu den oben diskutierten Parametertests deutlich. Wir haben soeben gesehen, dass der Ablehnungsbereich eines t-Tests der Nullhypo- these H₀ : _j = 0 gegeben ist durch

b_j

se(^b_j) < c_t

n (k+1);1 =2 oder

b_j

se(^b_j) > c_t

n (k+1);1 =2

Ein symmetrisches zweiseitiges (1 )-%-Kon…denzintervall für den Parameter

j ist daher gegeben durch

b_j c_t

n (k+1);1 =2 se(^b_j)

Das Kon…denzintervall kann als Nichtverwerfungsregion (für Hypothesen bzgl.

der Koe¢ zienten) interpretiert werden.

Für jedes im Kon…denzintervall kann die Nullhypothese H₀ : _j = zum Niveau nicht verworfen werden (gegen die Alternative H₁ : _j 6= ).

Wir betrachten erneut das Beispielmodell:

ln(wage\ _i) = 0;2169

(0;1086)

+ 0;0979

(0;0076)

educ_i + 0;0103

(0;0016)

exper_i

Betrachten wir den Koe¢ zienten von educ. Bei = 0;05 gilt c_t523;0;975 = 1;9645. Damit ist das (1 )-Kon…denzintervall bzw. 95%-Kon…denzintervall gegeben durch

b_educ c_t523;0;975 se(^b_educ) = [0;0979 1;9645 0;0076 ; 0;0979 + 1;9645 0;0076]

= [0;0830 ; 0;1129]

Interpretation: die Wahrscheinlichkeit, dass das obige Intervall den wahren Pa- rameter überdeckt, beträgt 95%.

p-Wert

Der p-Wert oder das marginale Signi…kanzniveau einer Teststatistik ist das kleinste Signi…kanzniveau _min zu dem die H₀ verworfen wird (wenn sie korrekt ist).

Klarerweise hängt der p-Wert auch von der betrachteten Alternativhypothese ab (da die kritische Region von H₁ abhängt).

So ist bei einem zweiseitigen t-Test mit H₀ : _j = 0, H₁ : _j 6= 0 (also Signi…kanztest) der zweiseitige p-Wert gegeben durch

P(jt

j=0j > jt j)

wenn t den numerischen Wert der t-Statistik bezeichnet.

Je kleiner der p-Wert umso stärker ist die Evidenz gegen H₀ (im Vergleich zur betrachteten H₁).

Zusammenhang mit der Testentscheidung des t-Tests: Wenn der p-Wert kleiner als das gewählte Signi…kanzniveau ist, kann H₀ bei der Fehlerwahrscheinlich- keit abgelehnt werden.

Fast jede Statistik-Software gibt p-Werte an. Dadurch fällt das länger dauernde Berechnen von und vergleichen mit kritischen Werten weg.

Einen Großteil der gretl-Ausgabe können wir inzwischen interpretieren. Hier für das Beispielmodell:

Testen von Hypothesen bezüglich einer Linearkombination von Parametern

Wie können wir z. B. die H₀ : ₁ + 2 ₃ = 5 testen?

Allgemeiner können wir diese Art von Hypothese formulieren als:

H₀ : r₀ r₁ r_k

| {z }

R

0 BB B@

0

...1 k

1 CC CA

| {z }

= r

Erste Frage: Was ist die (bedingte) Verteilung von R^b r?

bjX N( ; ²(X⁰X) ¹)

R^bjX N(R ; ²R(X⁰X) ¹R⁰)

R^b rjX N(R r; ²R(X⁰X) ¹R⁰)

D. h. R^b r ist normalverteilt und wenn H₀ zutri¤t – wenn also R = r – mit Mittelwert 0.

Wenn H₀ nicht zutri¤t, ist der Erwartungswert ungleich 0.

Zu beachten: R(X⁰X) ¹R⁰ ist hier ein Skalar, da R in diesem Fall eine ein- zeilige Matrix ist.

Das deutet alles wieder auf einen t-Test hin (einseitig, zweiseitig, ...)

Unter der Nullhypothese H₀ : R = r haben wir t_{R =r} = R^b r

q

b²R(X⁰X) ¹R⁰

t_{n (k+1)}

Überlegen Sie, wie Sie die kritischen Regionen (zum Niveau ) für die Tests mit den Alternativen H₁ : R 6= r, H₁ : R > r und H₁ : R < r konstruieren.

Testen mehrerer linearer Hypothesen (F-Test)

Oftmals will man mehrere Hypothesen gemeinsam testen, z. B.:

H₀ : ₀ = 0

1 + 2 ₂ = 3

4 = 5

Die multiple lineare Hypothese können wir formal wie vorher beschreiben H₀ : R = r;

mit R 2 R^{q (k+1) und} r ₂ R^q.

Das heißt q (k + 1) ist die Anzahl der Hypothesen und es ist sinnvoll anzunehmen (warum?), dass der Rang von R gleich q ist (voller Rang).

Im Fall multipler Hypothesen ist die Alternative H₁ : R 6= r.

Da R und r Vektoren sind, ist nicht klar, was > oder < heißen soll.

Außerdem könnte für manche der einzelnen Hypothesen > und für andere <

als Alternative relevant sein.

R r ist selbst ein Vektor: Teststatistik wird zusammenhängen mit Länge dieses Vektors (also der Anzahl der Restriktionen).

Die Teststatistik kann in mehreren äquivalenten Formen angegeben bzw. her- geleitet werden (Beweise siehe Literatur).

Eine Basis ist die Verteilung der Abweichungen von der Hypothese (R^b r), für die gilt:

(R^b r)^{0 h}R ²(X⁰X) ¹R^{0i 1} (R^b r) ²_q

Idee: wenn die Nullhypothese zutri¤t, werden die Abweichungen (R^b r) (ge- wichtet mit ihrer Varianz) klein sein, so dass ein großer Wert der Teststatistik zur Ablehnung führt.

Für die praktische Durchführung muss wieder ² durch b² ersetzt werden.

Das führt dann auf die F-Verteilung. Man kann den F-Test in verschiedenen Formen angeben, was eine intuitivere Darstellung ermöglicht.

Eine mögliche Darstellungsform ist die folgende F-Statistik F = (R^b r)^{0 h}R(X⁰X) ¹R^{0i 1} (R^b r)

b²

1 q

= (R^b r)^{0 h}R(X⁰X) ¹R^{0i 1} (R^b r)

b

u⁰ub

n (k + 1)

q F_{q;n (k+1)} die F-verteilt ist mit q und n (k + 1) Freiheitsgraden.

Die F-Statistik misst die gewichtete quadrierte Summe der Abweichungen von der Nullhypothese.

Gewichtet: Wir wollen wissen, ob die Abweichung großist für eine Zufallsvariable – deshalb die Skalierung mit (geschätzter) Varianz.

Die kritische Region (zum Niveau ) ist gegeben durch:

F > c_F

q;n (k+1);1

was sich in Tabellen der F-Verteilung in Ökonometrielehrbüchern oder in der entsprechenden Funktion der verwendeten Software nachschlagen lässt.

Alternative Formulierungen des F-Tests (die äquivalent sind) basieren auf einem geeigneten Vergleich des

– unrestringierten OLS-Schätzers ^b mit dem – restringierten OLS-Schätzer ~.

Der restringierte OLS-Schätzer ~ ist die Lösung des folgenden Problems:

~ = ~

0; ~

1; : : : ; ~

k 0

= arg min _b0;b1;:::;b

k2R XN i=1

(y_i b₀ b₁x_i1 b_kx_ik)² unter der Nebenbedingung: Rb = r, mit b = (b₀; b₁; : : : ; b_k).

Aus der Lösung kann man dann die Residuen u~ des restringierten Modells ge- winnen (im Gegensatz zu den Residuen ub des unrestringierten Modells).

Die F-Statistik ist damit äquivalent auch darstellbar als F = (^b ~)⁰X⁰X(^b ~)

b

u⁰ub

n (k + 1) q

= u~⁰u~ ub⁰ub b

u⁰ub

n (k + 1) q

Die erste Darstellung zeigt, dass die Teststatistik misst, wie stark sich die ge- schätzten Parameter ändern, wenn man die Restriktionen R = r auferlegt.

Die zweite Darstellung verwendet als Maß, um wie viel schlechter die Anpassung des Modells ist, wenn die Restriktionen auferlegt werden.

Der Zähler ist die Di¤erenz der restringierten Residuenquadratsumme u~⁰u~ und der unrestringierten Residuenquadratsumme ub⁰ub.

Wieso ist der Zähler sicher nicht-negativ?

Wenn die Hypothese dergestalt ist, dass auch unter H₀ die Konstante im Modell enthalten ist (also keine der Hypothesen ist ₀ = 0), dann gibt es eine weitere äquivalente Form der F-Statistik.

Bezeichne R² das Bestimmtheitsmaßder unrestringierten Regression und R~² das der restringierten Regression. Dann kann man die folgende F-Statistik ver- wenden:

F = R² R~² 1 R²

n (k + 1) q

Überlegen Sie sich, warum notwendigerweise R² R~² gilt.

Wir können, um eine einzelne Hypothese zu testen, statt des t-Tests natürlich auch den F-Test verwenden (für die Version mit H₀ : _j = gegen die zweiseitige Alternative H₀ : _j 6= ).

Die entsprechende F-Statistik stimmt exakt überein mit dem Quadrat der t- Statistik.

Veri…zieren Sie dies, indem Sie die F-Statistik für eine Hypothese mit der t- Statistik vergleichen (was sind in diesem Fall R und r?).

Im Beispielmodell: Bereits im letzten Kapitel haben wir die Hypothese H₀ :

1 = 0 mithilfe eines t-Tests überprüft. Wenn wir stattdessen einen F-Test anwenden möchten, ist

R = ^h 0 1 0 ⁱ und r = ^h 0 ⁱ R^b r = ^h 0;0979 ⁱ

hR(X⁰X) ¹R^{0i 1} = ^h 3664;2470 ⁱ

b² = SSR

523 = 0;2129

Damit ist F = 165;0812 > 3;8593 = c_{F1;523; 0;95} und die Nullhypothese wird zum Niveau 5 % abgelehnt.

p165;0812 = 12;8484 t

1=0. (Die Unterschiede ergeben sich durch Run- dungsfehler!)

Signi…kanz der Regression

Als Spezialfall betrachten wir die Nullhypothese, dass

H₀ : ₁ = : : : = _k = 0

d. h. dass keine der erklärenden Variablen signi…kant ist ( ₀ entspricht wie üblich der Konstanten).

Dies testet die Signi…kanz des Regressionsmodells insgesamt.

Formal können wir diese H₀ schreiben als:

R =

2 64

0 1 0

0 ... ... ...

0 0 1

3 75

2 66 64

0

...1 k

3 77 75 =

2 64

0...

0

3 75 ;

mit R 2 R^{k (k+1) und r} 2 R^k.

Jede der angegebenen Formulierungen der F-Statistik kann verwendet werden.

Die letzte angegebene ist in diesem Fall jedoch besonders einfach, denn: wir wis- sen, dass das BestimmtheitsmaßR² in einer Regression nur auf die Konstante gleich 0 ist. Damit vereinfacht sich die R²-Form der F-Teststatistik zu:

F = R² 1 R²

n (k + 1)

k F_{k;n (k+1)}

Diese Teststatistik wird in vielen Softwarepaketen automatisch mit ausgegeben, und heißt dann dort meistens auch einfach F oder ähnlich (siehe obiger gretl- Output).

Beispiel für den F-Test

Hier ein Beispiel. Wir verwenden den Datensatz labour2 aus Verbeek: ein Querschnitt mit Beobachtungen über 569 belgische Firmen für 1996. Wir un- tersuchen die Determinanten der Arbeitsnachfrage (wovon hängt die Zahl der Beschäftigten ab?).

Grundhypothese: Arbeitsnachfrage sollte aus dem Verhalten der Unternehmen folgen, die bei Gewinnmaximierung eine Beschäftigung wählen würden, bei dem das Grenzprodukt der Arbeit gleich dem Lohnsatz ist.

Man muss also das Grenzprodukt der Arbeit schätzen. Dafür benötigt man eine Annahme bezüglich der Produktionsfunktion.

Welche Produktionsfunktion soll man unterstellen? Dazu gibt es eine riesige empirische Literatur.

Sei Q_i der Output einer Firma (Wertschöpfung in Mio Euro), L_i der Ar- beitseinsatz (Zahl der Beschäftigten) und K_i der Kapitalstock (Anlagevermögen in Mio Euro). Dann unterstellen wir eine (noch recht einfache und doch ziemlich allgemeine) CES-Produktionsfunktion (constant elasticity of substitution)

Q_i = z L

1

i + (1 )K

1

i

! ₁

wobei z ein konstanter Skalierungsfaktor für das technologische Niveau ist, 2 (0;1), > 0.

Der Parameter > 0ist die Substitutionselastizität. Wie leicht können Arbeit und Kapital gegeneinander substituiert werden?

– ! 0 gar nicht (Leontief, feste Koe¢ zienten)

– ! 1 sehr leicht (Produktionsfunktion wird linear)

– ! 1 ein berühmter Spezialfall, die CES-Produktionsfunktion wird für

! 1 zur Cobb-Douglas-Funktion Q_i = zL_i K_i¹

Bei Gewinnmaximierung gilt bekanntlich: (Real-)Lohn = Grenzprodukt der Ar- beit, also (mit W_i dem Lohnsatz)

W_i = @Q_i

@L_i = z^{1 1=} Q

1

i L

1

i

was aufgelöst nach dem Arbeitseinsatz L_i die Arbeitsnachfragefunktion des i- ten Unternehmens ergibt:

L_i = z ¹Q_iW_i

Das ist linear in Logarithmen (mit ₀ = ln z ¹ ):

lnL_i = ₀ + ln Q_i lnW_i

Fügen wir die unvermeidlichen Zufallsfehler u_i hinzu, erhalten wir ein schätz- bares Modell:

lnL_i = ₀ + ₁ lnQ_i + ₂ lnW_i + u_i

worin wir ₂ als interpretieren und für ₁ einen Wert von eins erwarten.

Wir können dieses Modell schätzen und verschiedene theoretisch interessieren- den Hypothesen testen. So sagt das Modell voraus, dass ₂ negativ sein sollte.

Wir können also testen:

H₀ : ₂ 0 gegen H₁ : ₂ < 0 Das läuft auf einen t-Test hinaus.

Hier gehen wir einen Schritt weiter: Wir können auch testen, ob die einfachere Cobb-Douglas-Funktion ( ! 1) ausreicht, um die Daten zu beschreiben. Wir würden dann testen:

H₀ : ₁ = 1 und ₂ = 1 Dafür verwenden wir den F-Test.

Hier die gretl-Ausgabe für die OLS-Schätzung:

Machen Sie sich klar, welche Interpretation der ausgegebene Wert für F(2;566) in dieser Tabelle hat!

Wenden wir nun den uns interessierenden F-Test auf H₀ : ₁ = 1 und ₂ = 1 an. Die Hypothese in der Form R = r lautet

R =

"

0 1 0 0 0 1

# 2 64

0 1 2

3 75 =

"

1 1

#

= r

Das gretl-Resultat:

Ihr Fazit?

3.6 Weggelassene Variablen (omitted variable bias)

Wir hatten uns am Anfang dieses Kapitels gefragt: warum braucht man über- haupt multiple Regression? Kann man nicht den Ein‡uss jeder Variablen einzeln mit einfacher Regression ermitteln?

Die Antwort lautet: im Allgemeinen nicht, weil es eine Verzerrung durch ausge- lassene Variablen (omitted variable bias) gibt.

Wir nehmen an, das wahre Modell ist:

y_i = ₀ + ₁x_i1 + ₂x_i2 + u_i

Wir schätzen aber nur ein einfaches lineares Regressionsmodell y_i = ~₀ + ~₁x_i1 + v_i

d.h. wir vergessen oder vernachlässigen die Variable x₂. Hier gilt:

v_i = ₂x_i2 + u_i

Was sind die Eigenschaften der Schätzung von ~

1 aus der Gleichung ohne x₂?

Man kann zeigen (siehe Lehrbuchliteratur und Übungsaufgaben):

E(~₁jx₁;x₂) = ₁ + ₂

P_n

i=1(x_i1 x₁)(x_i2 x₂)

P_n

i=1(x_i1 x₁)²

= ₁ + ₂Cov(^d x₁;x₂) Var(d x₁)

= ₁ + ₂~₁

Hierin ist ~₁ der OLS Schätzer einer Regression von x₂ auf eine Konstante und x₁.

Wann ist ~

1 unverzerrt? Falls ~

1 verzerrt ist, in welche Richtung geht die Verzerrung?

Fazit:

– ausgelassene Variablen führen im Allgemeinen zur Verzerrung des Parame- terschätzers,

– es sei denn die ausgelassene Variable wäre unwichtig ( ₂ = 0) oder unkor- reliert mit dem berücksichtigten Regressor.

Im Regelfall muss man Sorge tragen, alle relevanten Variablen auch in die Re- gression aufzunehmen!

Omitted variables sind eines der Hauptprobleme empirischer Arbeit.

Über‡üssige Regressoren

Was passiert im umgekehrten Fall, wenn wir zu viele Variablen in die Regression hineinnehmen?

Das wahre Modell ist:

y = ₀ + ₁x₁ + + _kx_k + u

Wir schätzen aber ein Modell der Form:

y = ₀ + ₁x₁ + + _kx_k + _k+1x_k+1 + + _mx_m + u mit zusätzlichen Variablen x_k+1; : : : ; x_m die nicht notwendig sind.

Es ist zu beachten, dass formal auch das zu große Modell ein wahres Modell ist, mit den wahren Parameterwerten _k+1 = = _m = 0.