1. Die Kovarianz und ihre Eigenschaften

Vorlesung 8a

Kovarianz und Korrelation,

Regressionsgerade

1. Die Kovarianz und ihre Eigenschaften

Wir erinnern an die Definition der Kovarianz

F ¨ur reellwertige Zufallsvariable X, Y mit

E

E

Insbesondere ist also

Cov

Var

Die Kovarianz ist

- im Fall von zwei gleichen Eintr ¨agen nichtnegativ:

Cov

- in den beiden Eintr ¨agen symmetrisch:

Cov

Cov

- bilinear, d.h. in jedem einzelnen Eintrag linear:

2. Die Kovarianz-Varianz-Ungleichung

Die “Kovarianz-Varianz-Ungleichung”

|Cov_{[X, Y ]| ≤} ^√Var_X ^√Var_Y

folgt (mit G := X − µ_X, H := Y − µ_Y ) sofort aus der Cauchy-Schwarz Ungleichung:

F ¨ur reellwertige Zufallsvariable G, H mit

E

E

(E_[GH])² _≤ E_[G²_] E_[H²_{] .}

Behauptung: ±E_{[GH] ≤}

r

E_[G²_]

r

E_[H²_]

Beweis:

Fall 1: E_[G²_],E_[H²_{] > 0.}

U := G/^q

E

E

E

E

Aus ±2U V ≤ U² + V ² folgt

±E_{[U V ] ≤} ¹

2(

E

E

± E_[GH]

qE_[G²_]^qE_[H²_] ^{≤ 1.}

Behauptung: ±E_{[GH] ≤}

r

E_[G²_]

r

E_[H²_]

Fall 2: E_[G²_{] = 0.}

Dann folgt aus dem

Satz von der Positivit ¨at des Erwartungswertes

P

also

P

3. Der Korrelationskoeffizient

Definition.

F ¨ur zwei Zufallsvariable X, Y

mit positiven, endlichen Varianzen ist κ_XY := Cov_{[X, Y ]}

√Var_X^√Var_Y

der Korrelationskoeffizient von X und Y .

Aus der Kovarianz-Varianz-Ungleichung folgt sofort

−1 ≤ κ ≤ 1.

4. Die Bedeutung des Korrelationskoeffizienten

F ¨unf prominente Zahlen

zur (teilweisen) Beschreibung der Verteilung eines zuf ¨alligen Paares (X, Y ) in R × R:

µ_X und µ_Y : die Erwartungswerte von X und Y

σ_X und σ_Y : die Standardabweichungen von X und Y

κ_XY : der Korrelationskoeffizient von X und Y

Wir werden sehen:

κ² ist ein Maß daf ¨ur, um wieviel besser man Y

durch eine affin lineare Funktion von X vorhersagen kann:

Y = β₁X + β₀ + “Fehler”, als durch eine Konstante:

Y = c + “Fehler”.

(Die “G ¨ute der Vorhersage” bezieht sich auf die Kleinheit des erwarteten quadratischen Fehler (mean sqare error).)

5. Beste konstante Vorhersage

Um die eben behauptete Eigenschaft von κ² einzusehen, fragen wir erst einmal:

Durch welche Konstante wird die Zufallsvariable Y (im Sinn des erwarteten quadratischen Fehlers)

am besten vorhergesagt?

Durch ihren Erwartungswert E_{[Y ] !}

Denn:

E_{[(Y − c)}²_{] =}

E

=

E

Y )²] + 2

E

Y )(µ_Y − c)] + (µ_Y − c)²

= σ_Y² + 0 + (µ_Y − c)².

Das wird minimiert von c = µ_Y

und hat den Minimalwert

6. Beste affin lineare Vorhersage

Durch welche affin lineare Funktion von X, β₁X + β₀,

wird die Zufallsvariable Y

(wieder im Sinn des erwarteten quadratischen Fehlers) am besten vorhergesagt?

Genauer:

F ¨ur welche Zahlen β₁, β₀ wird

Wie wir gleich sehen werden, ist die L ¨osung:

β₁ := σ_Y

σ_X κ_XY

und β₀ so, dass µ_Y = β₁µ_X + β₀.

M. a. W.: β₀ so, dass der Punkt (µ_X, µ_Y ) auf der Geraden y = β₁x + β₀ liegt.

Wir nennen diese Gerade

Wir begr ¨unden jetzt die Behauptung ¨uber β₀ und β₁:

E

=

Var

E

= Var_{[Y − β1X] + (µ}

Y − β₁µ_X − β₀)²

Der zweite Summand ist Null f ¨ur β₀ = µ_Y − β₁µ_X. Damit haben wir schon mal die eine Bedingung gefunden.

F ¨ur welches β₁ wird der erste Summand minimal?

Var_{[Y − β1X] =}

Var

Cov

1

Var

= σ_Y² − 2β₁κ σ_Xσ_Y + β₁²σ_X²

= σ_Y² − σ_Y² κ² + (σ_Y² κ² − 2β₁κ σ_Xσ_Y + β₁²σ_X² )

Var_{[Y − β1X] =}

Var

Cov

1

Var

= σ_Y² − 2β₁κ σ_Xσ_Y + β₁²σ_X²

= σ_Y² − σ_Y² κ² + (σ_Y κ − β₁σ_X)²aaaaa

Der rechte Summand wird Null f ¨ur β₁ = σ_Y

σ_Xκ.

Damit ist auch der Minimalwert von Var_{[Y − β1X − β0 1]}

gleich σ_Y² (1 − κ²).

Der Minimalwert von Var_{[Y − c 1] war σ}²

Y .

Die Verbesserung der Approximation (“Vorhersage”) von Y im quadratischen Mittel, wenn man zu den Vielfachen von 1

die Vielfachen von X dazunimmt, betr ¨agt σ_Y² − σ_Y² (1 − κ²) = κ²σ_Y² .

Also ist der Anteil von σ_Y² ,

der von den Vielfachen von X zus ¨atzlich zu

2 2

Wir halten fest: Die Minimierungsaufgabe

E

f ¨ur die beste affin lineare Vorhersage von Y auf der Basis von X

(im Sinn des quadratischen Mittels) hat die L ¨osung

β₁ = σ_Y

σ_Xκ, µ_Y = β₁µ_X + β₀

7. Beispiel:

Gemeinsam normalverteilte Zufallsvariable

Z₁, Z₂ seien unabh ¨angig und standard-normalverteilt, Wir w ¨ahlen eine Konstante κ ∈ [−1, 1] und setzen

X := Z₁, Y := κZ₁ + ^q1 − κ²Z₂. Damit ergibt sich σ_X² = σ_Y² = 1, Cov[X, Y ] = Cov[Z₁, ρZ₁] = κ.

Somit gilt hier:

κ_XY = κ

(die Bezeichnung der Konstanten war hier also mit Bedacht gew ¨ahlt).

Die folgenden Bilder

(κ = −0.9, −0.7, . . . , 0.7, 0.9) zeigen jeweils die Realisierungen von

1000 unabh ¨angige Kopien (X_i, Y_i) von (X, Y ), zusammen mit der

Regressionsgeraden f ¨ur Y auf der Basis von X

Korrelation = - 0.9

Korrelation = - 0.7

Korrelation = - 0.5

Korrelation = - 0.3

Korrelation = - 0.1

Korrelation = 0

Korrelation = 0.1

Korrelation = 0.3

Korrelation = 0.5

Korrelation = 0.7

Korrelation = 0.9

8. Beispiel: “Welche Gerade passt am besten?”

(x₁, y₁), . . . , (x_n, y_n) seien n verschiedene Punkte im R².

(X, Y ) sei eine rein zuf ¨allige Wahl daraus:

P

n, i = 1, . . . , n.

Dann ist

E

X x_i =: ¯x

σ_X² = 1 n

X(x_i − ¯x)²

Cov

X(x_i − ¯x)(y_i − y)¯

κ := κ_XY =

P(x_i − x)(y¯ _i − y)¯

q (x − x¯)^2q (y − y¯)².

E

Xn i=1

(y_i − β₁x_i − β₀)²

wird, wie wir gezeigt haben, minimiert durch β₁ :=σ_Y

σ_Xκ =

P(x_i − x)(y¯ _i − y)¯

P(x_i − ¯x)²

und β₀ so, dass y¯ = β₁x¯ + β₀. Diese Gerade y = β₁x + β₀ heißt die

Regressionsgerade zu den Punkten (x_i, y_i), i = 1, . . . , n.

(oder auch die mit der Methode der kleinsten Quadrate

Eine anschauliche Illustration des Themas “Korrelation und Regression” finden Sie auf von Brooks Ferebee konzipierten Folien zur Vorlesung “Statistik f ¨ur Biologen”