Dr. Christof Luchsinger Frühjahrsemester 2011 Olivier Warin Seite 1 von 8

Ubungsblatt 11 zur Vorlesung ¨

”Statistische Methoden” - freiwilliger Teil

Rechnen mit Matrizen, Multivariate Normalverteilung

Herausgabe des ¨Ubungsblattes: Woche 20, Abgabe der L¨osungen: Woche 21 (bis Freitag, 1615 Uhr), Be- sprechung: Woche 22 (Dienstag und Mittwoch)

Must

Aufgabe 55 [Idempotente Matrizen I]

Zeigen Sie mit der Notation aus Kapitel 6:

a)M^zist idempotent.

b)M^z1=~0 und damit auch1^tM^z= (~0)^t c) unter Verwendung vonM^z: Pn

i=1(xi−x) = 0 d)Pn

i=1(xi−x)²= (~x)^tM^z~x e) Pn

i=1(xi−x)(yi−y) = (~x)^tM^z~y

Aufgabe 56 [Idempotente Matrizen II]

Zeigen Sie mit der Notation aus Kapitel 6:

a)H undM sind symmetrisch und idempotent b)HA=A

c) H undM sind orthogonal zueinander, das heisst, es gilt: HM = 0.

Standard

Aufgabe 57 [Rang(H) =k][4 Punkte]

SeiA eine (n×k)-Matrix,n≥kund Rang(A) =k (voller Rang). Zeigen Sie: H :=A(A^tA)⁻¹A^that auch Rangk.

Aufgabe 58 [Idempotente Matrizen III][1 Punkt]

Zeigen Sie:

a) Die Eigenwerte von idempotenten Matrizen sind entweder 0 oder 1.

b) F¨ur idempotente, symmetrische Matrizen Agilt: Rang(A) = tr(A).

Dr. Christof Luchsinger

Aufgabe 59 [Niveaulinien und Kovarianz][4 Punkte]

Betrachten wir die Dichte einer bivariaten Normalverteilung MVN2(µ,Σ). Was l¨asst sich ¨uber die Niveaulin- ien aussagen. Betrachten Sie insbesondere die F¨alle

a)µ= (1,1)^tund

Σ=2 0 0 1

b)µ= (0,0)^t und

Σ=1 0 0 1

c) µ= (0,0)^tund

Σ= 1 −1

−1 2

d)µ= (0,0)^t und

Σ=2 1 1 2

und machen Sie jeweils eine Skizze dazu.

Honours

Aufgabe 60 [Randdichten der Multivariaten Normalverteilung] [2 Punkte]

SeiXeine MVN2(µ,Σ)-Zufallsgr¨osse. Dabei sei

Σ=

1 0.5 0.5 1

.

Wie ist die Dichte der ersten KomponenteX1dieses zweidimensionalen Zufallsvektors (mit Beweis bitte)?

Übungsblatt 11 zur Vorlesung “Statistische Methoden” Seite 3 von 8

Übungsblatt 11 zur Vorlesung “Statistische Methoden”

Olivier Warin 30. Mai 2011

Aufgabe 55 [Idempotenze Matrizen I]

Wir benutzen in der ganzen Aufgabe die Notationen aus Kapilel 6.

a) Behauptung: Die MatrixM^z ist idempotent.

Beweis: Nach Definition vonM^z gilt (M^z)²= (In− 1

n11^t)² = I_n²−I_n1

n11^t−1

n11^tI_n+ 1 n²1 1|{z}^t1

=n

1^t = I_n−1

n11^t = M^z.

b) Behauptung: Es giltM^z1 =~0 und damit auch1^tM^z= (~0)^t Beweis: Wiederum nach der Definition von M^z gilt

M^z1= (In− 1

n11^t)1 = 1− 1 n1 1|{z}^t1

=n

=~0.

c) Behauptung: Es giltPn

i=1(xi−x) = 0.

Beweis: Wie wir in 6.3.5.1 gesehen haben gilt

M^z~x=





 x1−x x2−x

... xn−x





.

Wir schliessen daraus

Xn i=1

(xi−x) =1^tM^z~x = (^b) ~0)^t~x = 0.

d) Behauptung: Es giltPn

i=1(xi−x)²= (~x)^tM^z~x.

Beweis: DaM^z klar symmetrisch ist, schliessen wir

(~x)^tM^z~x= (~x)^{a) t}(M^z)²~x = (~x)^t(M^z)^tM^z~x = (M^z~x)^tM^z~x

6.3.5.1

=





 x1−x x2−x

... xn−x







t



 x1−x x2−x

... xn−x





 = Xn i=1

(xi−x)².

e) Behauptung: Es giltPn

i=1(xi−x)(yi−y) = (~x)^tM^z~y. Beweis: Analog wie in d) schliessen wir

(~x)^tM^z~y= (~x)^{a) t}(M^z)²~y = (~x)^t(M^z)^tM^z~y = (M^z~x)^tM^z~y

6.3.5.1

=





 x1−x x2−x

... xn−x







t



 y1−y y2−y

... yn−y





 = Xn i=1

(xi−x)(yi−y).

Aufgabe 56 [Idempotenze Matrizen II]

Wir benutzen wieder die Notationen aus Kapitel 6.

a) Behauptung: Die MatrizenH undM sind symmetrisch und idempotent.

Beweis: Es gilt

H^t= (A(A^tA)⁻¹A^t)^t = (A^t)^t((A^tA)⁻¹)^tA^t = A((A^tA)^t)⁻¹A^t = A(A^tA)⁻¹A^t = H M^t= (In−H)^t = Int

−H^t = In−H H²=A(A^tA)⁻¹A^tA(A^tA)⁻¹

| {z }

=Ik

A^t = A(A^tA)⁻¹A^t =H

M²= (In−H)² = In−InH−HIn+|{z}H²

=H

= In−H = M.

b) Behauptung: Es giltHA=A. Beweis:

HA=A(A^tA)⁻¹A^tA

| {z }

=Ik

= A.

c) Behauptung: H undM sind orthogonal zueinander, das heisst es giltHM = 0.

Beweis: Es gilt

HM =H(In−H) = H−H² = 0.^a)

Aufgabe 57 [Rang(H) =k]

SeiAeine (n×k)-Matrix,n>kundRang(A) =k(voller Rang).

Behauptung: Die MatrixH :=A(A^tA)⁻¹A^that auch Rangk.

Beweis: Nach Aufgabe 56 a) istH symmetrisch und idempotent. Also gilt nach Aufgabe 58 b):

Rang(H) = tr(H) = tr(A(A^tA)⁻¹A^t) = tr(A^tA(A^tA)⁻¹) = tr(Ik) = k.

Wir haben dabei das Kommutativgesetz der Addition inRbenutzt. Genauer wissen wir aus der linearen Algebra, dasstr(M N) = tr(N M)für MatrizenM undN (sofern beide Produkte überhaupt Sinn machen natürlich). Hier haben wir dies mitM =A(A^tA)⁻¹ undN =A^teingesetzt. (Bei mehr als zwei Matrizen wäre dies allerdings im Allgemeinen nur bei zyklischen Vertauschungen erlaubt.)

Übungsblatt 11 zur Vorlesung “Statistische Methoden” Seite 5 von 8

Aufgabe 58 [Idempotente Matrizen III]

a) Behauptung: Die Eigenwerte von idempotenten Matrizen sind entweder 0 oder 1.

Beweis: Sei A eine idempotente Matrix. Seien weiter λein Eigenwert und v 6= 0 ein zugehöriger Eigenvektor. Es gilt alsoAv =λv und damit

A²v=AAv = Aλv = λ²v A²v=Av = λv.

Daraus schliessen wir λ=λ² und damitλ= 0oderλ= 1.

b) Behauptung: Für idempotente, symmetrische MatrizenAgiltRang(A) = tr(A).

Beweis: Da A symmetrisch ist, ist A klar diagonalisierbar (Spektralsatz). Daraus folgt, dass der Rang gerade die Anzahl Eigenwerte (mit Vielfachheit gezählt), die nicht Null sind, ist.

Wie wir in a) gesehen haben, sind die Eigenwerte vonA0 oder 1. Daraus folgt sofort die Behauptung.

Bemerkung: Bei a) spielt es keine Rolle über welchem Körper wir die idempotente Matrizen betrachten.

Beim Beweis von b) haben wir den Spektralsatz benutzt. Dieser setzt reelle Matrizen voraus. Al- lerdings ist die Aussage auch über einem beliebigen Körper mit Charakteristik 0 richtig, da idem- potente Matrizen sowieso immer diagonalisierbar sind. Die Eigenschaft “symmetrisch” braucht man also nicht.

Aufgabe 59 [Niveaulinien und Kovarianz]

Es seif : R² → Rdie Dichtefunktion einer MVN2(µ,Σ)-Zufallsgrösse. In dieser Aufgabe interessieren wir uns für die Niveaulinien dieser Dichtefunktion. Allgemein gilt fürx∈R²undc∈R:

c = f(x, y) = 1 2π

p 1

det(Σ)exp

−1

2(x−µ)^tΣ⁻¹(x−µ)

⇔ (x−µ)^tΣ⁻¹(x−µ) = C,

für ein gewissesC∈R.

a) Fallsµ= (1,1)^tundΣ=2 0 0 1

, so folgt aus obiger allgemeiner Überlegung mitx= (x, y)

f(x) = c⇔ 1

2(x−1)²+ (y−1)² = C,

für eine gewisse reelle ZahlC. Also sind die Niveaulinien hier Ellipsen, wie in der folgenden Skizze angedeutet:

1 2

1 2 3

−1

b

Bemerkung: Beachten Sie bitte, dass die Hauptachsen der Ellipsen von den Höhenlinien das Verhältnis1 :√2 haben (Standardabweichungen) und nicht1 : 2 (Varianzen).

b) Fallsµ= (0,0)^tundΣ=1 0 0 1

, so folgt aus obiger allgemeiner Überlegung mitx= (x, y) f(x) = c⇔x²+y² = C,

für eine gewisse Zahl C ∈ R. Also sind die Niveaulinien hier Kreise, wie in der folgenden Skizze angedeutet:

1 2

−1

−2

1 2

−1

−2

b

c) Falls µ= (0,0)^tundΣ= 1 −1

−1 2

, so folgtΣ⁻¹=2 1 1 1

.

Σ⁻¹ist klar positiv definit. Dies impliziert, dass die Niveaulinien hier Ellipsen sind. Um die genaue Lage dieser Ellipsen zu bestimmen, berechnen wir noch schnell die Eigenwerte von Σ⁻¹: Diese lautenλ1,2= ^3±₂^√5. Weiter lauten zugehörige Eigenvektoren wie folgt:

v1,2= 3∓√ 5

±2√5−4

.

Diese Informationen liefern uns die folgende Skizze:

Übungsblatt 11 zur Vorlesung “Statistische Methoden” Seite 7 von 8

1 2

−1

−2

1 2

−1

−2

b

d) Fallsµ= (0,0)^t undΣ =2 1 1 2

, so folgt sofortΣ⁻¹= ¹₃ 2 −1

−1 2

. Die Eigenwerte von Σ⁻¹ lautenλ1= 1undλ2= ¹₃. Ausserdem lauten zugehörige Eigenvektoren wie folgt:

v1=1

−1

, v2=1 1

.

Also sind die Niveaulinien hier Ellipsen in der Lage wie in der folgenden Skizze angedeutet:

1 2

−1

−2

1 2

−1

−2

b

Bemerkung: Diese Höhenlininen sind allgemein immer Ellipsen, da die Kovarianzmatrix Σund damit auchΣ⁻¹ immer positiv definit ist.

Aufgabe 60 [Randdichten der Multivariaten Normalverteilung]

SeiX eineMVN2(µ,Σ)-Zufallsgrösse. Dabei sei

Σ= 1 0.5 0.5 1

Wir interessieren uns nun für die Dichte der ersten KomponenteX1 vonX. Es gilt X1= 1 0

X = η+BX, wobei η= 0undB= 1 0 .

Damit schliessen wir mit Satz 7.7 sofort, dassX1 eine MVN1(η+Bµ, BΣB^t) = MVN1

µ1, 1 01 0.5 0.5 1 1

0

= N(µ1,1)-Verteilung

hat.µ1ist dabei die erste Komponente vonµ. Somit lautet eine Dichtef von X1 wie folgt:

f(x) = 1

√2πe^{−(x−µ1 )}

2

2 .