Statistische Analyseverfahren Abschnitt 5: Hauptkomponentenanalyse

Statistische Analyseverfahren Abschnitt 5: Hauptkomponentenanalyse

Dr. Andreas W¨ unsche

TU Bergakademie Freiberg Institut f¨ur Stochastik

Dezember 2019

5 Hauptkomponentenanalyse 5.1 Einf¨ uhrung

I

Bei der Diskriminanzanalyse und der Clusteranalyse gilt das Hauptinteresse den Objekten, bei der Hauptkomponenten- und Faktorenanalyse gilt es dagegen den Merkmalen.

I

Die Hauptkomponentenanalyse (HKA, engl. ”principal component analysis”, ”PCA”) nutzt ein Vorgehen, welches bei vielen ganz unterschiedlichen angewandten und theoretischen mathematischen Problemstellungen zum Tragen kommt und f¨ ur welches verschiedene Bezeichnungen (z.B.

” Hauptachsentransformation“) genutzt werden.

I

Fragestellungen, die zur Haupkomponentenanalyse f¨ uhren, sind z.B.:

(i) Welche Linearkombination der Merkmale reagiert besonders sensibel, hat eine maximale Varianz?

(ii) Welche wenigen Linearkombinationen der Merkmale erkl¨ aren den

Großteil der Variabilit¨ at der Daten?

Grundlegende Zielstellung

I

Ein Ausgangspunkt der ¨ Uberlegungen ist, dass die beobachteten Merkmale meist entsprechend der M¨ oglichkeit ihrer Beobachtung ausgew¨ ahlt werden. Welche Merkmale tats¨ achlich einen statistischen (oder stochastischen) Sachverhalt gut beschreiben, wird im

Allgemeinen nicht bekannt sein bzw. diese sind nicht beobachtbar.

I

Bei der Hauptkomponentenanalyse spielen erste und zweite

Momente bzw. deren statistische Entsprechungen die Hauptrolle und man nutzt lineare Transformationen. Im Prinzip nutzt man eine orthogonale lineare Koordinatentransformation, um Zufallsgr¨ oßen bzw. Daten so darzustellen, dass Eigenschaften m¨ oglichst gut zu ermitteln sind bzw. weitere Rechnungen m¨ oglichst einfach werden.

I

Die Hauptkomponentenanalyse kann in stochastischen Modellen auf Zufallsvektoren oder aber auf statistische Daten angewandt werden.

I

Die mathematische Grundlage der Hauptkomponentenanalyse ist die

Spektraldarstellung reeller symmetrischer Matrizen.

Spektraldarstellung reeller symmetrischer Matrizen

Satz 5.1

Ist b eine reelle symmetrische p × p−Matrix, dann existieren p reelle Eigenwerte λ

und dazugeh¨ orige Eigenvektoren γ

i

, i = 1, . . . , p , die man als orthogonale Einheitsvektoren w¨ ahlen kann (d.h. b γ

= λ

γ

, γ

γ

= 0 falls i 6= j und γ

γ

= 1), so dass gilt

b = Γ Λ Γ

=

p

X

i=1

λ

γ

γ

, Γ

b Γ = Λ .

Dabei ist Λ die Diagonalmatrix der Eigenwerte von b und Γ die

zugeh¨ orige orthogonale Matrix (d.h. Γ Γ

= Γ

Γ = I

) , deren Spalten

die normierten Eigenvektoren enthalten. Ist die Matrix b positiv

semidefinit, dann sind alle Eigenwerte nichtnegativ. Die Eigenwerte

k¨ onnen der Gr¨ oße nach monoton fallend geordnet werden, so dass wir in

diesem Fall λ

≥ λ

≥ . . . ≥ λ

≥ 0 annehmen werden. Ein Vektor γ

kann bei Bedarf unter Beibehaltung aller Eigenschaften auch durch −γ

ersetzt werden.

5.2 Populationshauptkomponenten

Def. 5.2

Geg. p−dimensionaler Zufallsvektor X mit E X = µ , C ovX = Σ (ist positiv semidefinit) mit Spektraldarstellung Σ = Γ Λ Γ

aus Satz 5.1, d.h. auch Λ = Γ

Σ Γ . Die Transformation

X 7→ Z := Γ

X − µ

heißt Hauptkomponententransformation. Die i −te Komponente Z

von Z heißt i −te Hauptkomponente von X (oder auch theoretische Hauptkomponente, Populationshauptkomponente) . F¨ ur sie gilt

Z

= γ

X − µ , dabei wird γ

i

als i −ter Vektor von Hauptkomponentenladungen

bezeichnet.

Eigenschaften der Hauptkomponenten

I

Def. 5.3

F¨ ur einen Zufallsvektor X = (X

, . . . , X

)

und a = (a

, . . . , a

)

heißt eine Linearkombination a

X = P

j=1

a

X

der Komponenten eine standardisierte Linearkombination von X , falls P

j=1

a

= 1.

I

Satz 5.4

Es gelten mit den Bezeichnungen aus Definitionen 5.2, 5.3 :

(i) Alle Hauptkomponenten sind standardisierte Linearkombinationen von X − µ .

(ii) E Z = 0

, C ovZ = Λ , d.h. V arZ

= λ

, C ov[Z

, Z

] = 0 , i 6= j . (iii) V arZ

= λ

≥ V arZ

= λ

≥ . . . ≥ V arZ

= λ

.

(iv) Keine standardisierte Linearkombination von X − µ hat eine gr¨ oßere Varianz als die erste Hauptkomponente und eine kleinere Varianz als die letzte Hauptkomponente.

(v) Die i−te Hauptkomponente mit i > 1 ist eine zu Z

, . . . , Z

unkorrelierte standardisierte Linearkombination von X − µ mit

gr¨ oßter Varianz.

Eigenvektor-Basisdarstellung

I

Nutzt man die r¨ aumliche orthonormale Basis (γ

; i = 1, . . . , p) zur Basisdarstellung des Zufallsvektors X − µ , erh¨ alt man f¨ ur die zuf¨ alligen Koordinaten ˜ Z

:

X − µ =

p

X

j=1

Z ˜

γ

, Z ˜

= γ

(X − µ) = Z

, i = 1, . . . , p .

Dies zeigt, dass man die Hauptkomponenten Z

als die Koordinaten des Vektors X in dem kartesischen Koordinatensystem betrachten kann, dessen Koordinatenursprung mit dem Erwartungswertvektor

¨ ubereinstimmt und die Eigenschaft hat, dass die Komponenten Z

unkorreliert mit fallender Varianz f¨ ur wachsende i sind.

I

Nutzt man unkorrelierte Zufallsgr¨ oßen Y

mit Z

= √

λ

Y

zur Basisdarstellung, so bilden diese die Karhunen-Lo` eve-Basis f¨ ur den gegebenen Zufallsvektor X und es gilt X = µ + P

j=1

p λ

Y

γ

.

Dimensionsreduktion

I

Aus dieser Basisdarstellung folgt E kX − µk

=

p

X

j=1

λ

.

I

Sind einige Eigenwerte und damit Varianzen der Hauptkomponenten klein, kann man die Dimension des Problems reduzieren, indem man die Hauptkomponenten mit kleinen Varianzen nicht ber¨ ucksicht.

I

Ber¨ ucksichtigt man nur die ersten m < p Hauptkomponenten, arbeitet man mit der N¨ aherung

X

:= µ +

m

X

j=1

p λ

Y

γ

mit E kX − X

k

=

p

X

j=m+1

λ

f¨ ur den dadurch zugelassenen Fehler. Der Zufallsvektor X

− µ liegt in einem m−dimensionalen Teilraum des R

. Der Anteil der mit X

ber¨ ucksichtigten Varianz betr¨ agt

P

λ

P

j=1

λ

.

Korrelationsstruktur

I

Mit Z = Γ

(X − µ) erh¨ alt man C ov[X, Z] = E

h

(X − E X)(Z − E Z)

i

= E

(X − E X)

Γ

(X − µ)

= E h

(X − EX)(X − EX)

Γ i

= Σ Γ = Γ Γ

Σ Γ = Γ Λ

I

Damit gelten f¨ ur i , j = 1, . . . , p , C ov[X

, Z

] = γ

λ

und mit V arX

= σ

, V arZ

= λ

auch

C orr[X

, Z

] =: %

= γ

λ

p σ

λ

= γ

s λ

σ

.

Bestimmtheitsmaß

I

Die Gr¨ oße

%

= γ

λ

σ

misst den Anteil der Variation des Merkmals X

, der durch die j −te Hauptkomponente

” erkl¨ art“ wird. Dabei gilt f¨ ur den Nenner wegen Σ = Γ Λ Γ

auch σ

=

p

X

j=1

λ

γ

.

I

Analog beschreibt f¨ ur eine Teilmenge g ⊂ {1, . . . , p} die Gr¨ oße

%

:= X

j∈g

%

= P

j∈g

λ

γ

σ

den Anteil der Variation des Merkmals X

, der durch die j −ten Hauptkomponenten mit j ∈ g

” erkl¨ art“ wird.

Beispiel

Bsp. 5.5

Sei X = (X

, X

)

ein Zufallsvektor mit zweidimensionaler Normalverteilung mit Parametern

E X = 0

und C ovX =

1 −0.9

−0.9 1

. Dann erh¨ alt man

Γ =

√2 2

√2

2

−

√ 2 2

√ 2 2

!

, Λ =

1.9 0 0 0.1

.

Dichtefunktion dieser Verteilung.

Fehlende Skaleninvarianz

I

Die Hauptkomponenten sind nicht skaleninvariant, deshalb spielt z.B. die Wahl der Maßeinheiten eine große Rolle. Deshalb standardisiert (oder autoskaliert) man auch bei Bedarf die Komponenten des Zufallsvektors vor Anwendung der Hauptkomponententransformation und arbeitet mit der Korrelationsmatrix (statt der Kovarianzmatrix).

I

Bsp. 5.6

Andert man z.B. im Beispiel 5.5 die Varianz von ¨ X

auf

VarX

= 100 und bleibt bei demselben Korrelationkoeffizienten, dann gilt C ovX =

100 −9

−9 1

. In diesem Fall erh¨ alt man

Γ =

0.9959593 0.0898056

−0.0898056 0.9959593

, Λ =

100.81153 0

0 0.18847

,

insbesondere ¨ andern sich also auch die Achsenrichtungen.

p = 2 standardisierte Merkmale

I

X = X

X

, Erwartungswert µ = E X =

E X

E X

= µ

µ

,

Kovarianzmatrix Σ = C ovX =

V arX

C ov[X

, X

] C ov[X

, X

] V arX

.

I

Standardisierte Zufallsgr¨ oßen ˜ X

= X

− E X

√ VarX

, ˜ X

= X

− E X

√ VarX

,

E X ˜

= E X ˜

= 0 , Var X ˜

= Var X ˜

= 1 , Cov h X ˜

, X ˜

i

= ρ

= ρ .

I

Die Kovarianzmatrix der standardisierten Zufallsgr¨ oßen ist die Korrelationsmatrix der nicht standardisierten Zufallsgr¨ oßen.

I

Die Eigenwerte der symmetrischen Matrix

1 ρ

ρ 1

sind 1 + ρ und 1 − ρ , der Gr¨ oße nach geordnet: λ

= 1 + |ρ| ≥ λ

= 1 − |ρ| .

I

F¨ ur die Hauptkomponenten der standardisierten Gr¨ oßen gilt:

V ar Z ˜

= 1 + |ρ| und V ar Z ˜

= 1 − |ρ| .

Fortsetzung p = 2 standardisierte Merkmale

I

ρ = 0 : Hier sind die Zufallsgr¨ oßen X

und X

schon unkorreliert und eine Hauptkomponentenanalyse ist nicht notwendig.

I

0 < ρ < 1 : Die Zufallsgr¨ oßen X

und X

sind positiv korreliert, λ

= 1 + ρ > 1 − ρ = λ

. Orthonormierte Eigenvektoren sind γ

=

√ 2

√2 2 2

! , γ

=

√ 2 2

−

√2 2

! .

I

ρ = 1/ − 1 : Zwischen X

und X

gibt es einen positiven/negativen linearen Zusammenhang, die gesamte

Variabilit¨ at kann durch die erste Hauptkomponente erkl¨ art werden.

I

−1 < ρ < 0 : Die Zufallsgr¨ oßen X

und X

sind negativ

korreliert, λ

= 1 − ρ > 1 + ρ = λ

. Orthonormierte Eigenvektoren sind γ

1

=

√2 2

−

√ 2 2

! , γ

2

=

√2

√2 2 2

!

.

5.3 Stichprobenhauptkomponenten

I

Stichprobenhauptkomponenten werden analog zu den theoretischen Hauptkomponenten definiert, statt µ und Σ m¨ ussen allerdings Sch¨ atzungen verwendet werden.

I

F¨ ur eine n × p−Datenmatrix x = (x

, . . . , x

)

ist die empirische p × p−Kovarianzmatrix

s

:= 1 n − 1

n

X

j=1

x

− x

x

− x

= 1

n − 1 x

h x mit h := I

−

1

1

und x =

x

1

.

I

Man rechnet oft auch mit s

=

x

h x =

s

.

I

F¨ ur x und s

m¨ ussen (p

+ 3p)/2 Werte gesch¨ atzt werden, dehalb sollte n hinreichend groß sein!

p 1 2 3 4 5 6 7 8 9 10

(p

+ 3p)/2 2 5 9 14 20 27 35 44 54 65

Spektralzerlegung der empirischen Kovarianzmatrix

Es existiert die Spektralzerlegung

s

= g ` g

mit einer orthogonalen p × p−Matrix (der Eigenvektormatrix) g = (g

, . . . , g

)

und einer p × p−Diagonalmatrix (der Matrix der Eigenwerte)

` = diag(`

, . . . , `

) mit `

≥ . . . ≥ `

≥ 0 . Es gilt damit auch

` = g

s

g . Bei der Modellierung werden s

x

, g , ` bzw. ` = (`

, . . . , `

)

als

Realisierungen entsprechender Zufallsmatrizen S

, G , L bzw. L

angesehen.

Stichproben-Hauptkomponententransformation

Def. 5.7

Die Transformation

x 7→ z :=

x − 1

x

g heißt Stichproben-Hauptkomponententransformation.

Die j −te Spalte von z z

=

x − 1

x

g

, j = 1, . . . , p ,

ist die j −te Stichproben-Hauptkomponente, deren Komponente f¨ ur das r −te Objekt ist z

= g

j

(x

− x) = (x

− x)

g

j

, r = 1, . . . , n , d.h. der transformierte r−te Merkmalsvektor ist z

= (x

− x)

g = g

(x

− x) . Der j −te Vektor von Hauptkomponentenladungen ist die j -te Spalte g

von g . Die Matrix z wird auch als Matrix der Faktorenwerte

bezeichnet.

Eigenschaften

I

Satz 5.8

Es gilt f¨ ur die transformierte Datenmatrix z : z := 1

n z

1

= 0

, s

:= 1 n − 1

n

X

j=1

z

z

= 1

n − 1 z

z = ` .

I

Auch in diesem Fall sind die Hauptkomponenten nicht skaleninvariant. Wird jeweils die j −te Variable bei einer Umskalierung durch d

> 0 geteilt, erh¨ alt man f¨ ur die neue Stichprobenkovarianzmatrix diag(d

) s

diag(d

) mit im Allgemeinen anderen Eigenvektoren. Deshalb sollte man z.B.

(i) wenn alle Merkmale vom gleichen Typ sind (z.B. L¨ angen), alle mit der gleichen Maßeinheit messen oder

(ii) alle Merkmale vorher standardisieren (autoskalieren) und mit der

Stichproben-Korrelationsmatrix rechnen.

Beispiel 5.9

I

Hauptkomponentenanalyse des Datensatzes zu ”open/closed book examinations”; erzielte Punkte von 100 m¨ oglichen, 2 F¨ acher (Mechanics ("mec"), Vectors ("vec")) ”open book”, 3 F¨ acher (Algebra ("alg"), Analysis ("ana"), Statistics ("sta")) ”closed book” (n = 88, p = 5).

I

Daten aus: K.V. Mardia, J.T. Kent, J.M. Bibby , Multivariate Analysis, Academic Press 1979; die Daten sind auch im R-Paket

”bootstrap” zu finden (Datensatz "scor").

I

Gerundete Werte der erwartungstreuen Sch¨ atzungen x = (38.95 50.59 50.60 46.68 42.31)

;

s

=













305.77 127.22 101.58 106.27 117.40 127.22 172.84 85.16 94.67 99.01 101.58 85.16 112.89 112.11 121.87 106.27 94.67 112.11 220.38 155.54 117.40 99.01 121.87 155.54 297.76













.

Fortsetzung Beispiel 5.9

I

Gerundete Eigenwerte von s

:

`

= 686.99 , `

= 202.11 , `

= 103.75 , `

= 84.63 , `

= 32.15 .

I

Gerundete Eigenvektoren (spaltenweise) von s

x

:

g =













0.51 −0.75 0.30 −0.30 0.08 0.37 −0.21 −0.42 0.78 0.19 0.35 0.08 −0.15 0.00 −0.92 0.45 0.30 −0.60 −0.52 0.29 0.53 0.55 0.60 0.18 0.15











 .

I

In R k¨ onnen z.B. die Befehle prcomp und princomp genutzt werden. Dabei nutzt prcomp die erwartungstreue Sch¨ atzung s

x

,

princomp jedoch als Sch¨ atzung s

.

Erste Hauptkomponente Beispiel 5.9

I

Werte der 1. Hauptkomponente f¨ ur das r−te Objekt (r = 1, . . . , n) z

= 0.51(x

− 38.95) + 0.37(x

− 50.59) + 0.35(x

− 50.60)

+ 0.45(x

− 46.68) + 0.53(x

− 42.31)

I

” Mittelung“ der zentrierten Punkte der 5 Pr¨ ufungen (gewichtetes Mittel).

I

Hat man in allen 5 Pr¨ ufungen viele Punkte erzielt, dann hat die erste Hauptkomponente einen hohen Wert und umgekehrt.

I

Die erste Hauptkomponente k¨ onnte so f¨ ur ein Ranking der 88

Studierenden dienen.

Zweite Hauptkomponente Beispiel 5.9

I

Werte der 2. Hauptkomponente f¨ ur das r−te Objekt (r = 1, . . . , n) z

= −0.75(x

− 38.95) − 0.21(x

− 50.59) + 0.08(x

− 50.60)

+ 0.30(x

− 46.68) + 0.55(x

− 42.31)

I

Kontrast zwischen open book (X

, X

, X

) und closed book (X

, X

) Pr¨ ufungen.

I

Ein Student mit vielen Punkten in den open book F¨ achern (X

, X

, X

) und wenig Punkten in den closed book F¨ achern

(X

, X

) erh¨ alt einen großen Wert in der zweiten Hauptkomponente

und umgekehrt.

Weitere Hauptkomponenten Beispiel 5.9

Werte der 3.-5. Hauptkomponenten f¨ ur das r−te Objekt (r = 1, . . . , n) z

= 0.30(x

− 38.95) − 0.42(x

− 50.59) − 0.15(x

− 50.60)

− 0.60(x

− 46.68) + 0.60(x

− 42.31)

z

= −0.30(x

− 38.95) + 0.78(x

− 50.59) + 0.00(x

− 50.60)

− 0.52(x

− 46.68) + 0.18(x

− 42.31)

z

= 0.08(x

− 38.95) + 0.19(x

− 50.59) − 0.92(x

− 50.60)

+ 0.29(x

− 46.68) + 0.15(x

− 42.31)

Fortsetzung Beispiel 5.9

I

Wegen der fehlenden Skaleninvarianz der Hauptkomponentenanalyse k¨ onnte man auch standardisierte Merkmale nutzen.

I

In diesem Beispiel ist durch die gleichartigen Merkmale auf einer Absolutskala dies aber nicht notwendig bzw. w¨ unschenswert.

I

Eine formale Anwendung liefert folgende gerundete Eigenwerte und Eigenvektoren.

`

= 3.18 , `

= 0.74 , `

= 0.44 , `

= 0.39 , `

= 0.25;

g =













0.40 0.65 −0.62 0.15 0.13 0.43 0.44 0.71 −0.30 0.18 0.50 −0.13 0.04 0.11 −0.85 0.46 −0.39 0.14 0.67 0.42 0.44 −0.47 −0.31 −0.66 0.23













.

5.4 Erkl¨ arungsanteile der Hauptkomponenten

I

F¨ ur einen p−dimensionalen Zufallsvektor X mit EX = µ ,

CovX = Σ mit Spektraldarstellung Σ = Γ Λ Γ

aus Satz 5.1. kann

E kX − µk

=

p

X

i=1

E (X

− µ

)

=

p

X

i=1

σ

= sp Σ = sp Λ =

p

X

j=1

λ

als Gesamtvarianz des Zufallsvektors angesehen werden.

I

Der Anteil der Varianz λ

der i−ten Hauptkomponente Z

(i ∈ {1, . . . , p}) kann dann als Erkl¨ arungsanteil der i−ten Hauptkomponente angesehen werden:

λ

P

j=1

λ

= λ

sp Σ .

Erkl¨ arungsanteile der Stichproben-Hauptkomponenten

I

Analog ist f¨ ur eine n × p−Datenmatrix x = (x

, . . . , x

)

mit empirischer p × p−Kovarianzmatrix s

mit Spektralzerlegung s

= g ` g

der Anteil der Totalvariation (Gesamtvarianz), der durch die i−te Stichproben-Hauptkomponente erkl¨ art wird (i ∈ {1, . . . , p})

`

sp s

x

= `

P

j=1

`

.

I

F¨ ur eine Teilmenge g ⊂ {1, . . . , p} ist P

i∈g

`

sp s

x

= P

i∈g

`

P

`

den Anteil der Totalvariation, der durch die i −ten Stichproben-Hauptkomponenten mit i ∈ g

” erkl¨ art“ wird.

Erkl¨ arungsanteile im Beispiel 5.9

I

Im Beispiel 5.9 gilt mit den Eigenwerten von s

`

= 686.99 , `

= 202.11 , `

= 103.75 , `

= 84.63 , `

= 32.15 :

I

`

P

j=1

`

≈ 0.6191 , d.h. 61.91% der Totalvariation werden durch die erste Stichproben-Hauptkomponente erkl¨ art.

I

`

P

j=1

`

≈ 0.1821 , d.h. 18.21% der Totalvariation werden durch die zweite Stichproben-Hauptkomponente erkl¨ art.

I

`

+ `

+ `

P

j=1

`

≈ 0.89481 , d.h. 89.48% der Totalvariation werden

durch die ersten drei Stichproben-Hauptkomponenten erkl¨ art.

Erkl¨ arungsanteile bei standardisierten Daten

I

Bei Nutzung von standardisierten Daten ist die Totalvariation (Gesamtvarianz) immer gleich

`

+ . . . + `

= p .

I

Im Beispiel 5.9 mit standardisierten Daten erh¨ alt man f¨ ur die Erkl¨ arungsanteile an der Totalvariation f¨ ur die entsprechenden Stichproben-Hauptkomponenten:

I

1. Hauptkomponente 3.18

5 ≈ 0.6362 ˆ = 63.62% .

I

2. Hauptkomponente 0.74

5 ≈ 0.1479 ˆ = 14.79% .

I

3. Hauptkomponente 0.44

5 ≈ 0.0890 ˆ = 8.90% .

I

4. Hauptkomponente 0.39

5 ≈ 0.0776 ˆ = 7.76% .

I

5. Hauptkomponente 0.25

5 ≈ 0.0493 ˆ = 4.93% .

Erkl¨ arungsanteile bezogen auf die Merkmale

I

Analoga der Formeln f¨ ur die Anteile der Variation eines Merkmals, der durch eine oder eine Gruppe von Hauptkomponenten erkl¨ art wird, erh¨ alt man durch das Ersetzen von

λ

durch `

, γ

durch g

, σ

durch s

(s

ist die empirische Varianz des i−ten Merkmals).

I

Das Analogon zum Bestimmheitsmaß %

ist die Gr¨ oße r

= g

`

s

.

Dies ist der Anteil der empirischen Varianz des i−ten Merkmals, der durch die j −te Stichproben-Hauptkomponente

” erkl¨ art“ wird.

I

F¨ ur eine Teilmenge g ⊂ {1, . . . , p} beschreibt die Gr¨ oße r

:= X

j∈g

r

= P

j∈g

g

`

s

den Anteil der Variation des Merkmals X

, der durch die j −ten Stichproben-Hauptkomponenten mit j ∈ g

” erkl¨ art“ wird.

Erkl¨ arungsanteile f¨ ur Merkmale im Beispiel 5.9

I

Im Beispiel 5.9 (nicht standardisiert) werden 18.21% der Totalvariation durch die zweite Stichproben-Hauptkomponente erkl¨ art.

I

Bezogen auf die einzelnen Merkmale werden die folgenden Anteile durch die zweite Stichproben-Hauptkomponente erkl¨ art.

I

Merkmal X

: r

= g

`

s

≈ (−0.75)

· 202.11

305.77 ≈ 0.371 .

I

Merkmal X

: r

= g

`

s

≈ (−0.21)

· 202.11

172.84 ≈ 0.050 .

I

Merkmal X

: r

= g

`

s

≈ 0.08

· 202.11

112.89 ≈ 0.010 .

I

Merkmal X

: r

= g

`

s

≈ 0.30

· 202.11

220.38 ≈ 0.083 .

I

Merkmal X

: r

= g

`

s

≈ 0.55

· 202.11

297.76 ≈ 0.204 .

Fortsetzung Erkl¨ arungsanteile f¨ ur Merkmale Bsp. 5.9

Die Anteile auch der anderen Stichproben-Hauptkomponenten sind zusammengefasst in der folgenden Tabelle zu finden. In den Zeilen stehen die Daten f¨ ur die einzelnen Merkmale, in den Spalten die f¨ ur die

jeweiligen Hauptkomponenten.

r

1 2 3 4 5 P

1 0.574 0.371 0.030 0.024 0.001 1

2 0.539 0.050 0.104 0.300 0.007 1

3 0.727 0.010 0.019 0.000 0.243 1

4 0.634 0.083 0.168 0.103 0.012 1

5 0.660 0.204 0.126 0.009 0.002 1

Auswertung zum Beispiel 5.9

I

Die erste Stichproben-Hauptkomponente

” erkl¨ art“ rund 62% der Totalvariation.

I

Die ersten drei Stichproben-Hauptkomponenten

” erkl¨ aren“ fast 90%

der Totalvariation.

I

Betrachtet man nur die ersten drei Hauptkomponenten, dann werden rund 10% der Totalvariation nicht

” erkl¨ art“.

I

Es werden aber beim 2. Merkmal 30.7% (30%+0.7%) nicht

” erkl¨ art“

und beim 3. Merkmal werden 24.3% (0%+24.3%) nicht

” erkl¨ art“.

I

Nutzt man standardisierte Daten sind die Rechnungen analog, sie werden noch etwas einfacher, da die empirische Varianz der einzelnen standardisierten Merkmale immer gleich 1 ist.

I

Bsp. 5.9, standardisierte Werte, 3. Merkmal, 2. Hauptkomponente:

r

= g

· `

1 ≈ (−0.13)

· 0.74 ≈ 0.012 , d.h. ungef¨ ahr 1.2% der

empirischen Varianz von X

wird (sch¨ atzungsweise) durch die zweite

Stichproben-Hauptkomponente erkl¨ art“.

Anzahl genutzter Hauptkomponenten

I

Bei Nutzung standardisierter Daten kann zum Beispiel das Kaiser -Kriterium zur Bestimmung der Anzahl zu nutzender Hauptkomponenten angewandt werden:

Man nehme genau so viele Hauptkomponenten, wie es Eigenwerte

`

gr¨ oßer (gleich) 1 gibt, d.h. falls `

≥ 1 f¨ ur i = 1, . . . , k und

`

< 1 , nutze man k Hauptkomponenten.

I

Im Beispiel 5.9 mit standardisierten Werten gilt `

= 3.18 ,

`

= 0.74 . Hier ist k = 1 und man w¨ ahle eine

Stichproben-Hauptkomponente.

Scree-Plots

Bei nicht standardisierten Werten kann zum Beispiel ein Ger¨ olldiagramm (Scree-Plot) genutzt werden. Dazu verbindet man die Punkte (i , `

) , i = 1, . . . , p , in einem kartesischen Koordinatensystem durch

Geradenst¨ ucken. Oft entsteht ein deutlicher Knick und es werden nur die

Hauptkomponenten bis zum Knick (oder vor dem Knick) gew¨ ahlt.

Nutzung des Erkl¨ arungsanteils zur Dimensionsreduktion

I

Eine weitere M¨ oglichkeit, die Anzahl der Hauptkomponenten zu w¨ ahlen, besteht darin, den Erkl¨ arungsanteil zu nutzen. Hier kann man sich z.B. vorgeben, dass die gew¨ ahlten Hauptkomponenten mindestens 70% oder 90% der Totalvariabilit¨ at

” erkl¨ aren“.

I

Da die Erkl¨ arungsanteile nur Sch¨ atzungen darstellen, ist hier auch

die Nutzung von geeigneten Signifikanztests angebracht.

Test auf den Anteil der ersten k Hauptkomponenten an der Totalvariation f¨ ur normalverteilte Daten

I

Sei Ψ

(λ) = P

i=1

λ

P

i=1

λ

, λ = (λ

, . . . , λ

)

.

I

0 < ψ

< 1 sei ein hypothetischer Wert f¨ ur Ψ

(λ) .

I

Hypothesen:

(1) H

: Ψ

(λ) = ψ

, H

: Ψ

(λ) 6= ψ

oder (2) H

: Ψ

(λ) ≤ ψ

, H

: Ψ

(λ) > ψ

oder (3) H

: Ψ

(λ) ≥ ψ

, H

: Ψ

(λ) < ψ

.

I

Testgr¨ oße: T = Ψ

(L) − ψ

τ (L) mit

I

τ

(L) = 2 n − 1

sp S

(sp S)

Ψ

(L) − 2α

Ψ

(L) + α

,

I

α

= P

i=1

L

P

i=1

L

, L = (L

, . . . , L

)

.

Fortsetzung Test

I

Bem.

sp S =

p

X

i=1

L

= L

+ . . . + L

, sp S

=

p

X

i=1

L

= L

+ . . . + L

,

bei der Berechnung der Testgr¨ oße m¨ ussen die empirischen Werte, d.h. `

, . . . , `

, genutzt werden.

I

Kritischer Bereich (asymptotisch)

(1) K = {t : |t| > z

} ;

(2) K = {t : t > z

} ;

(3) K = {t : t < −z

} .

Beispieltest f¨ ur Daten Beispiel 5.9

1. H

: Ψ

(λ) = ψ

:= 0.65 (1. HK erkl¨ art 65% der Totalvariation) , H

: Ψ

(λ) 6= ψ

= 0.65 (Erkl¨ arungsanteil der 1. HK ist 6= 65%).

2. α = 0.05 (Signifikanzniveau).

3. T = Ψ

(L) − ψ

τ (L) (Testgr¨ oße).

4. K = {t : |t| > z

= 1.96} (kritischer Bereich).

5. Berechnungen zum Wert der Testgr¨ oße sp s =

5

X

i=1

`

= 1109.632 ; sp s

=

5

X

i=1

`

= 531 763.5 ;

α

= `

sp s

= 0.8875 ; Ψ

(`) = `

sp s = 0.6191 ; n = 88 ; τ

(`) = 0.0017 ⇒ t = −0.75

6. |t| = 0.75 6> 1.96 ⇒ t 6∈ K , H

wird angenommen; der

Erkl¨ arungsanteil der 1. HK ist nicht signifikant von 65% verschieden.

Bemerkungen

I

Ber¨ ucksichtigt man nur die ersten k < p Hauptkomponenten, arbeitet man mit der transformierten n × k −Datenmatrix

z

:=

x − 1

x

g

(und mit nur k

” neuen“ Merkmalen), wobei die Matrix g

aus den ersten k Spalten der Eigenvektormatrix g besteht.

I

Mit dieser geringeren Anzahl von

” neuen“ Merkmalen kann man

versuchen, andere Aufgabenstellungen der multivariaten Statistik,

wie z.B. eine Clusteranalyse oder eine multivariate Regression, mit

geringerem Aufwand durchzuf¨ uhren.