Wir hatten uns am Anfang dieses Kapitels gefragt: warum braucht man über-haupt multiple Regression? Kann man nicht den Ein‡uss jeder Variablen einzeln mit einfacher Regression ermitteln?
Die Antwort lautet: im Allgemeinen nicht, weil es eine Verzerrung durch ausge-lassene Variablen (omitted variable bias) gibt.
Wir nehmen an, das wahre Modell ist:
yi = 0 + 1xi1 + 2xi2 + ui
Wir schätzen aber nur ein einfaches lineares Regressionsmodell yi = ~0 + ~1xi1 + vi
d.h. wir vergessen oder vernachlässigen die Variable x2. Hier gilt:
vi = 2xi2 + ui
Was sind die Eigenschaften der Schätzung von ~
1 aus der Gleichung ohne x2?
Man kann zeigen (siehe Lehrbuchliteratur und Übungsaufgaben):
E(~1jx1;x2) = 1 + 2
Hierin ist ~1 der OLS Schätzer einer Regression von x2 auf eine Konstante und x1.
Wann ist ~
1 unverzerrt? Falls ~
1 verzerrt ist, in welche Richtung geht die Verzerrung?
Fazit:
– ausgelassene Variablen führen im Allgemeinen zur Verzerrung des Parame-terschätzers,
– es sei denn die ausgelassene Variable wäre unwichtig ( 2 = 0) oder unkor-reliert mit dem berücksichtigten Regressor.
Im Regelfall muss man Sorge tragen, alle relevanten Variablen auch in die Re-gression aufzunehmen!
Omitted variables sind eines der Hauptprobleme empirischer Arbeit.
Über‡üssige Regressoren
Was passiert im umgekehrten Fall, wenn wir zu viele Variablen in die Regression hineinnehmen?
Das wahre Modell ist:
y = 0 + 1x1 + + kxk + u
Wir schätzen aber ein Modell der Form:
y = 0 + 1x1 + + kxk + k+1xk+1 + + mxm + u mit zusätzlichen Variablen xk+1; : : : ; xm die nicht notwendig sind.
Es ist zu beachten, dass formal auch das zu große Modell ein wahres Modell ist, mit den wahren Parameterwerten k+1 = = m = 0.
Was ist mit der Erwartungstreue der Schätzer? Was ist mit der Varianz der Schätzer?
Erwartungstreue:
– Damit die OLS Schätzer erwartungstreu sind, brauchen wir die Annahmen I bis IV: Diese sind i.A. nach wie vor erfüllt.
– Das heißt, solange die über‡üssigen Variablen nicht perfekt untereinan-der ountereinan-der mit den relevanten Variablen korreliert sind, werden die Schätzer
b0; : : : ; bm erwartungstreu bleiben.
Varianz der Schätzer: Var(bj) = 2
SSTj(1 Rj2)
– Was sich ändern kann ist R2j: wenn die zusätzlichen Variablen stark mit xj korrelieren, dann nimmt R2j durch Einbeziehung der über‡üssigen Variablen zu, und somit
– kann auch die Varianz der geschätzten Koe¢ zienten zunehmen.
Partitionierte Regression
Wir konzentrieren uns beispielhaft auf 1 im Modell
yi = 0 + 1xi1 + + kxik + ui
Wir bezeichnen den OLS Schätzer von 1 wie gehabt als b1.
Es gibt eine äquivalente Methode 1 zu schätzen, welche den exakt gleichen Schätzwert b1 liefert:
1. Regressiere y auf 1;x2; : : : ;xk und berechne die Residuen bry. Hier ist bry der Teil von y, welcher nicht durch 1;x2; : : : ;xk erklärt wird. Der Ein‡uss von x1 ist aber noch präsent.
2. Regressiere x1 auf 1;x2; : : : ;xk und berechne die Residuen br1. Hier ist br1 der Teil von x1, welcher nicht durch 1;x2; : : : ; xk erklärt wird.
3. Regressiere bry auf br1. D.h. regressiere den Teil von y der übrig bleibt nach Regression auf 1;x2; : : : ;xk auf den Teil von x1 der übrig bleibt nach Regression von x1 auf 1;x2; : : : ;xk.
Es gilt, dass b1 exakt übereinstimmt mit dem Koe¢ zienten aus Schritt 3 der gerade beschriebenen Prozedur.
Dieses Resultat bedeutet, dass das Einbeziehen von x2; : : : ; xk ins Modell den Ein‡uss dieser Variablen auf y und x1 wegnimmt, wenn man den Zusammen-hang zwischen y und x1 schätzt.
Mit anderen Worten OLS kontrolliert für den Ein‡uss von x2; : : : ;xk auf den Zusammenhang zwischen y und x1.
Das Resultat gilt analog natürlich für jede andere Variable und auch für mehrere Variablen gemeinsam (also für Gruppe von Variablen).
In der ökonometrischen Literatur ist dieses Resultat auch als Frisch-Waugh-Theorem bekannt.
3.7 Asymptotik
Alle bisher diskutierten Eigenschaften (wie Erwartungstreue, der Ausdruck für die Varianz des Schätzers) waren unabhängig von der Stichprobengröße. Des-halb gelten sie auch in kleinen Stichproben (‘small sample properties’).
Allerdings haben wir teilweise recht restriktive Annahmen benötigt. Die sind nicht immer erfüllt. In vielen Situationen in der Ökonometrie kennen wir die exakten Eigenschaften von Schätzern auch nicht oder nur unzureichend.
In dem Fall, dass die Eigenschaften eines Schätzers in kleinen Stichproben unbe-friedigend sind (z.B. verzerrt) oder unbekannt sind, kann gleichwohl der Schätz-ansatz gerechtfertigt sein durch ein asymptotisches Argument.
Idee: vielleicht hat ein Schätzer gute Eigenschaften, wenn die Stichprobe groß ist, also konzeptuell gegen unendlich geht (‘large sample properties’)?
Mit den Eigenschaften von Schätzern bei n ! 1 beschäftigt sich die asym-ptotische Theorie.
Untersuchte Eigenschaften: Konsistenz und Grenzverteilung.
Wenn wir Verständnis über die Eigenschaften in großen Stichproben haben, dann ho¤en wir, dass die Stichprobenverteilungen nicht zu weit weg sind von den ermittelten Grenzverteilungen.
Grundbegri¤e
Eine Folge n von Zufallsvariablen (indexiert mit dem Stichprobenumfang n) konvergiert in Wahrscheinlichkeit gegen , wenn
nlim!1P fj n j g = 1 8 > 0
(convergence in probability).
Man schreibt dafür auch
plim n =
Wenn n ein Schätzer auf Basis einer Stichprobe vom Umfang n ist und der wahre Wert ist, nennt man n konsistent für .
Eine Folge von Zufallsvariablen n (mit E(j nj) < 1 8n 2 N) genügt dem Gesetz der großen Zahlen (GdgZ), wenn
p lim 1 n
Xn i=1
i = E( )
wenn also der Mittelwert in Wahrscheinlichkeit gegen den Erwartungswert kon-vergiert (weak law of large numbers).
– Wann gilt das Gesetz der großen Zahlen? Auf jeden Fall, wenn die i unab-hängig und identisch verteilt sind (es gibt Versionen für schwächere Bedin-gungen).
Eine Folge n von Zufallsvariablen mit Verteilungsfunktionen Fn( ) konvergiert in Verteilung gegen mit Verteilungsfunktion F( ), wenn
nlim!1Fn(x) = F(x) für alle Stetigkeitsstellen von F(x) (convergence in distribution).
Ein äußerst wichtiges Resultat ist der zentrale Grenzwertsatz: sei n eine Folge von unabhängig und identisch verteilten Zufallsvariablen mit Varianz 2, dann gilt
n E( )
=p n
!
! N(0;1) wobei ! hier Konvergenz in Verteilung bezeichnet.
Konsistenz des OLS-Schätzers
Betrachten wir als Beispiel den Schätzer des Steigungsparameters 1 im einfa-chen Regressionsmodell und überlegen wir uns, was wir an Annahmen braueinfa-chen, um Konsistenz zu zeigen.
Wir haben also yi = 0 + 1xi +ui als Modell und eine Stichprobe der Größe n. Konsistenz bedeutet hier plim b1 = 1
Für den OLS-Schätzer gilt wie wir wissen b1 =
Pn
Das heißt Konsistenz erhalten wir, falls das GdgZ anwendbar ist:
(a) n1 Pni=1(xi x)ui ! E(xiui) = Cov(xi; ui) =0 [Zshg. zu Annahme IV]
(b) n1 Pni=1(xi x)2 ! Var(x) >0 [Zshg. zu Annahme III]
Wenn wir noch zusätzlich annehmen, dass E(x2i) < 1, dann erfüllen die beiden Größen von zuvor jeweils ein GdgZ (unabhängig und identisch verteilt haben wir ja angenommen: Annahme II)
Unsere Annahme IV (E(ujx) = 0) gemeinsam mit endlicher Varianz von x impliziert Cov(xi; ui) = 0 und (gemeinsam mit den anderen Ann.) das GdgZ.
Mit der endlichen Varianz haben wir auch das GdgZ für Punkt (b).
Damit haben wir die Konsistenz des OLS-Schätzers gezeigt.
Das Ganze gilt völlig analog im multiplen Regressionsmodell (unter entspre-chenden Annahmen).
Zur Beachtung:
– Um Erwartungstreue zu zeigen, brauchen wir E(ujx) = 0. Für Konsistenz reicht Cov(xi; ui) = 0 aus, was eine schwächere Annahme ist (E(ujx) = 0 ) Cov(xi; ui) = 0, aber nicht umgekehrt).
– Es gibt also Situationen, in denen OLS nicht erwartungstreu, aber konsistent ist. Darauf werden wir zurückkommen.
Asymptotische Normalverteilung des OLS-Schätzers
Wir hatten, um Hypothesentests und Kon…denzintervalle zu konstruieren, ange-nommen, der Fehlerterm sei normalverteilt. Dann ist auch der Parameterschät-zer normalverteilt.
Wenn diese Annahme nicht erfüllt ist, ist Inferenz (Tests und Kon…denzinter-valle) in kleinen Stichproben nicht möglich.
Aber: viele ökonometrische Schätzer haben asymptotisch, d.h. in großen Stich-proben (n ! 1) eine Normalverteilung, selbst wenn das in kleinen Stichproben nicht der Fall ist weil die Fehlerterme nicht normalverteilt sind.
Grund: Anwendbarkeit zentraler Grenzwertsätze der Statistik.
Für den Schätzvektor b des multiplen Regressionsmodells kann man zeigen (z.B. Wooldridge, Appendix E):
pn b ! N 0; 2(X0X) 1
Der OLS-Schätzer ist also asymptotisch normalverteilt (und zwar unabhängig von seiner Verteilung in kleinen Stichproben).
Ein Schätzer der asymptotischen Varianz des j-ten Elements des Schätzvektors ist daher
Asympt:Var(\ bj) = j; j-Element aus b2(X0X) 1
In großen Stichproben (n ! 1) ist also keine Normalverteilungsannahmen not-wendig, weil man auf die asymptotische Normalverteilung des Schätzers bauen kann.