Statistische Analyseverfahren Abschnitt 6: Faktoranalyse (Faktorenanalyse)

Statistische Analyseverfahren

Abschnitt 6: Faktoranalyse (Faktorenanalyse)

Dr. Andreas W¨ unsche

TU Bergakademie Freiberg Institut f¨ur Stochastik

Dezember 2019/Januar 2020

6 Faktoranalyse (Faktorenanalyse)

I

Die Faktoranalyse ist ein mathematisches Verfahren, welches (im Gegensatz zur Hauptkomponentenanalyse) auf die Erkl¨ arung der Korrelationen zwischen vielen messbaren (beobachtbaren bzw.

beobachteten) Merkmalen haupts¨ achlich durch wenige zugrundeliegende (nichtbeobachtbare bzw. nicht beobachtete,

” latente“) sogenannte allgemeine Faktoren abzielt.

I

Insbesondere hohe Korrelationen zwischen den Merkmalen k¨ onnen darauf hindeuten, dass diese von einer oder von mehreren latenten Gr¨ oßen beeinflusst werden.

I

Zum Beispiel sind K¨ orpergr¨ oße und Gewicht (oder Schuhgr¨ oße) korreliert und beschreiben in etwa den latenten Faktor

” Statur“).

I

Die Merkmale und Faktoren sind durch lineare Beziehungen verkn¨ upft und aus mathematischer Sicht kann man die Faktoranalyse als Strukturanalyse von Kovarianz- bzw.

Korrelationsmatrizen ansehen.

Weitere einf¨ uhrende Bemerkungen

I

Die Faktoranalyse wurde zuerst von Psychologen entwickelt, sp¨ ater erfolgten statistische Begr¨ undungen, mathematische

Untersuchungen und die Entwicklung weiterer Verfahren.

I

Bei der Hauptkomponentenanalyse waren die Hauptkomponenten Linearkombinationen der Merkmale (und auch umgekehrt). Bei der Faktoranalyse werden umgekehrt die Merkmale als

Linearkombinationen der Faktoren dargestellt.

I

Ziel der Faktoranalyse ist die Extraktion der latenten Faktoren.

I

Insbesondere wird untersucht, wie viele und welche Faktoren die Zusammenh¨ ange m¨ oglichst gut

” erkl¨ aren“.

I

Die Faktoren sollten m¨ oglichst gut interpretierbar sein.

I

Ein typisches Beispiel besteht in der Extraktion von Faktoren wie

Kreditw¨ urdigkeit oder Grad der Existenzgef¨ ahrdung einer Firma aus

Realisierungen von Bilanzmerkmalen X

, . . . , X

.

6.1 Das k -Faktor-Modell

I

Def. 6.1.1

Sei X ein p−dimensionaler Zufallsvektor mit E X = µ , C ovX = Σ . X gen¨ ugt einem k -Faktor-Modell (k ∈ N, k < p), falls gilt

X = λ F + U + µ (1)

(Bezeichnung: X ∼ F (k , λ, ψ)) mit

(i) F , ein k −dimensionaler Zufallsvektor mit E F = 0

, C ovF = I

, der Vektor der allgemeinen Faktoren,

(ii) λ , die deterministische p × k −Matrix der Faktorladungen,

(iii) U , ein p−dimensionaler Zufallsvektor der spezifischen Faktoren mit E U = 0

, C ovU = diag(ψ

, . . . , ψ

) =: ψ , C ov[F, U] = 0

k×p

. (iv) µ , der p−dimensionale deterministische Erwartungswertvektor des

Merkmalszufallsvektors X .

I

Bem. Die p Komponenten des Zufallsvektors X werden durch

k + p andere Zufallsgr¨ oßen beschrieben.

Komponentenweise Modellgleichungen

Bem. 6.1.2

I

Die Modellgleichung (1) komponentenweise lautet X

=

k

X

j=1

λ

F

+ U

+ µ

, i = 1, . . . , p ,

mit der Interpretation: wenige (k) allgemeine Faktoren F

, . . . , F

und jeweils ein spezieller oder spezifischer Faktor U

” erkl¨ aren“ das Merkmal X

(d.h. insgesamt k + 1 Zufallsgr¨ oßen).

I

λ

wird als Ladung des j −ten Faktors beim i−ten Merkmal bezeichnet (und gibt damit den Einfluss des j −ten allgemeinen Faktors auf das i −te Merkmal an).

I

Die allgemeinen Faktoren besitzen die Varianz 1 und sie sind unkorreliert.

I

Die spezifischen Faktoren sind untereinander unkorreliert und

unkorreliert zu den allgemeinen Faktoren, der i−te spezifische

Faktor besitzt die Varianz ψ

.

Fundamentaltheorem der Faktoranalyse

I

Satz 6.1.3

F¨ ur ein k-Faktor-Modell gem¨ aß Def. 6.1.1 gelten

CovX = Σ = λ λ

+ ψ = λ λ

+ diag(ψ

, . . . , ψ

) ; (2)

V arX

= σ

=

k

X

j=1

λ

+ ψ

= h

+ ψ

, i = 1, . . . , p . (3)

Bem. 6.1.4

I

Bei gegebenen k < p und ψ sind notwendig und hinreichend f¨ ur die Existenz einer solchen Kovarianzstruktur: der Rang der Matrix Σ − ψ ist kleiner oder gleich k und Σ − ψ ist positiv semidefinit.

I

h

= P

j=1

λ

wird allgemeine Varianz oder Kommunalit¨ at des i−ten Merkmals genannt, sie misst den Teil der Varianz, der durch die allgemeinen Faktoren erkl¨ art wird.

I

ψ

ist die spezifische Varianz des i−ten Merkmals.

Skaleninvarianz

Bem. 6.1.5

Ein k-Faktor-Modell ist (im Gegensatz zur Hauptkomponentenanalyse) skaleninvariant im folgenden Sinn.

(i) Es gelte X ∼ F (k, λ, ψ) und C = diag(c

, . . . , c

) sei eine Skalierungsmatrix mit positiven Elementen auf der Hauptdiagonale.

Dann gilt f¨ ur den skalierten Zufallsvektor

Y := C X ∼ F (k, C λ, C ψ C) .

(ii) Insbesondere kann c

= 1

√ σ

, i = 1, . . . , p , gew¨ ahlt werden, so dass man mit standardisierten Zufallsgr¨ oßen und der zugeh¨ origen Kovarianzmatrix, d.h. mit der Korrelationsmatrix des Zufallsvektors X arbeiten kann. In diesem Fall sind die Faktorladungen

Korrelationskoeffizienten der Merkmale mit den allgemeinen

Faktoren und so insbesondere betragsm¨ aßig kleiner (oder gleich) 1.

Nicht-Eindeutigkeit der Faktorladungen

Bem. 6.1.6

(i) In einem k-Faktor-Modell ist die Matrix der Faktorladungen f¨ ur einen gegebenen Zufallsvekor X nicht eindeutig bestimmt. Ist g eine orthogonale k × k−Matrix, dann gilt mit

X = λ F + U + µ auch X = (λ g)(g

F) + U + µ , also die Definitionsbeziehung f¨ ur ein k−Faktor-Modell mit der Matrix der Faktorladungen λ g und dem Vektor der allgemeinen Faktoren g

F . Man spricht in diesem Zusammenhang von einer Rotation der Faktoren.

(ii) Durch zus¨ atzliche formale Nebenbedingungen, z.B. λ

ψ

λ ist

diagonal oder λ

diag(σ

, . . . , σ

)

λ ist diagonal, kann λ im

Wesentlichen eindeutig bestimmt werden (bis auf Vorzeichenwechsel

in den Spalten), so dass das Fundamentaltheorem der Faktoranalyse

erf¨ ullt ist.

Parameteranzahl

Bem. 6.1.7

(i) Die Matrix Σ ohne zus¨ atzliche Struktur enth¨ alt

p(p + 1) Parameter, mit der Struktur eines k-Faktor-Modells pk + p Parameter und mit einer zus¨ atzlichen Nebenbedingung wie in 6.1.6 (ii) pk + p −

k (k − 1) Parameter. Da die Faktoranalyse nur sinnvoll ist, wenn dadurch die Anzahl der unbekannten Parameter verringert wird, fordert man im Allgemeinen

p(p + 1)

2 −

pk + p − k (k − 1) 2

= (p − k)

− p − k

2 := s > 0.

(ii) Diese Bedingung ergibt als maximale Anzahlen k von allgemeinen Faktoren in Abh¨ angigkeit von der Anzahl p der Variablen

p 3 4 5 6 7 8 9 10 11 12

max k f¨ ur s > 0 1 2 2 3 4 5 5 6 7

max k f¨ ur s ≥ 0 1 1 2 3 3 4 5 6 6 7

Fortsetzung Parameteranzahl

(iii) Bei Nutzung standardisierter Zufallsgr¨ oßen enth¨ alt deren Kovarianzmatrix (also ggf. die Korrelationsmatrix der

Ausgangszufallsgr¨ oßen)

p(p − 1) Parameter. Die Bedingung f¨ ur eine geringere Parameteranzahl in einem k-Faktor-Modell mit einer zus¨ atzlichen Nebenbedingung wie in 6.1.6 (ii) ist dann

p (p − 1)

2 −

pk + p − k(k − 1) 2

= (p − k)

− 3p − k

2 := s > 0.

(iv) Diese Bedingung ergibt als maximale Anzahlen k von allgemeinen Faktoren in Abh¨ angigkeit von der Anzahl p der Variablen

p 3 4 5 6 7 8 9 10 11 12

max k f¨ ur s > 0 1 2 2 3 4 4 5

max k f¨ ur s ≥ 0 1 1 2 2 3 4 4 5

(v) Das Auffinden von allgemeinen Faktoren kann aber auch so

inhaltlich von Nutzen sein.

Beispiel 1-Faktor-Modell

Bsp. 6.1.8

I

Es seien p = 3 und k = 1 , dann lautet das 1-Faktor-Modell



 X

X

X



 =



 λ

λ

λ



 · F +



 U

U

U



 +



 µ

µ

µ



 .

I

F¨ ur (2) erh¨ alt man mit σ

= σ

> 0 , i = 1, 2, 3 ,





σ

ρ

σ

σ

ρ

σ

σ

ρ

σ

σ

σ

ρ

σ

σ

ρ

σ

σ

ρ

σ

σ

σ





=





λ

λ

λ

λ

λ

λ

λ

λ

λ

λ

λ

λ

λ

λ

λ



+





ψ

0 0

0 ψ

0 0 0 ψ



.

Fortsetzung Beispiel 1-Faktor-Modell

I

Falls ρ

6= 0, i , j = 1, 2, 3 (i 6= j ) und 0 ≤ ρ

ρ

ρ

≤ 1 , 0 ≤ ρ

ρ

ρ

≤ 1 , 0 ≤ ρ

ρ

ρ

≤ 1 existiert eine eindeutige L¨ osung (bis auf die Vorzeichen der λ

)

λ

= ρ

ρ

ρ

σ

, λ

= ρ

ρ

ρ

σ

, λ

= ρ

ρ

ρ

σ

, ψ

= σ

− λ

, ψ

= σ

− λ

, ψ

= σ

− λ

.

I

Nutzt man standardisierte Merkmalszufallsgr¨ oßen kann man mit der Korrelationsmatrix rechnen und obige Formeln gelten mit

σ

= σ

= σ

= 1 .

I

Dieses Verfahren kann auch f¨ ur Zufallsvektoren mit p > 3 Komponenten angewandt werden. Ist die erste Zeile der

Korrelationsmatrix gleich (1, ρ

, ρ

, . . . , ρ

) , muss z.B. f¨ ur die

zweite Zeile eine Konstante c existieren, so dass diese lautet

(ρ

, 1, c ρ

, . . . , c ρ

), analog f¨ ur die anderen Zeilen.

6.2 Sch¨ atzung von λ und ψ

Bem. 6.2.1

(i) Seien x eine Datenmatrix, sowie µ ˆ = x und ˆ Σ = s

x

mit Diagonalelementen s

, . . . , s

Sch¨ atzer der Parameter.

(ii) Aufgrund der Skaleninvarianz kann man mit der standardisierten Datenmatrix y := (I

−

1

1

)x d

mit d = diag(s

, . . . , s

) arbeiten. Die empirische Kovarianzmatrix zu y ist die empirische Korrelationsmatrix zur Datenmatrix x , also r

= r .

(iii) Hier wird die Datenmatrix im Folgenden weiter mit x und die zugeh¨ orige empirische Korrelationsmatrix mit r bezeichnet.

(iv) Dann sind f¨ ur festes k eine Matrix der Faktorladungen ` und die Diagonalmatrix der spezifischen Varianzen ψ gesucht, so dass gilt

r = ` `

+ ψ bzw. r − ψ = ` `

.

Dabei sollten die spezifischen Varianzen m¨ oglichst klein sein.

Spezialfall 1-Faktor-Modell

Bsp. 6.2.2

I

Im Fall eines 1-Faktor-Modells (z.B. mit p = 3 und standardisierten Merkmalen) k¨ onnen (falls r

6= 0 , i , j = 1, 2, 3) die theoretischen Formeln von Beispiel 6.1.8 auf die empirischen Sch¨ atzwerte der Korrelationskoeffizienten angewandt werden, um Sch¨ atzwerte f¨ ur die Faktorladungen und Varianzen der spezifischen Faktoren zu erhalten:

ˆ λ

= `

= r

r

r

, λ ˆ

= `

= r

r

r

, λ ˆ

= `

= r

r

r

, ψ ˆ

= 1 − ˆ λ

, ψ ˆ

= 1 − ˆ λ

, ψ ˆ

= 1 − λ ˆ

.

I

Gilt dabei ˆ λ

< 0 oder ˆ ψ

< 0 f¨ ur ein i ∈ {1, 2, 3} , dann kann

kein 1-Faktor-Modell gefunden werden. Man nennt dies auch einen

Heywood -Fall.

Klassisches Beispiel von Spearman (1904)

Bsp. 6.2.3 ( Spearman 1904)

I

Untersuchungen von Pr¨ ufungsergebnissen von Kindern in

Altphilologie (”classics”, X

), Franz¨ osisch (X

) und Englisch (X

) . Die Auswertung ergab die folgende Stichproben-Korrelationsmatrix

r =





1 0.83 0.78 1 0.67 1



 .

I

Diese Matrix hat vollen Rang, besitzt jedoch die Darstellung

r ≈



 0.983 0.844 0.793



 (0.983 0.844 0.793) +





0.034 0 0

0 0.287 0

0 0 0.370





= ` · `

+ ψ .

Fortsetzung Beispiel 6.2.3

I

Die Ladungsmatrix ist ` = (0.983 0.844 0.793)

. Bei allen drei Merkmalen hat der eine allgemeine Faktor eine hohe Ladung.

I

Den einen allgemeinen Faktor F in X = λF + U + µ k¨ onnte man als ” Sprachbegabtheit“ oder “Sprachtalent“ interpretieren.

I

Da V arX

= 0.983

und ψ

= 1 − 0.983

= 0.034 ist das Merkmal X

(

” Altphilologie“) fast identisch mit dem allgemeinen Faktor.

I

Das dritte Merkmal (

” Englisch“) l¨ asst sich am wenigsten (aber immerhin zu ≈ 63 %) durch den allgemeinen Faktor

” Sprachtalent“

erkl¨ aren.

Verschiedene Sch¨ atzmethoden

Bem. 6.2.4

Es existieren verschiedene Sch¨ atzmethoden, z.B.

(i) die Hauptfaktorenanalyse (engl. ”principal factor analysis”), dabei wird die Spektralzerlegung symmetrischer Matrizen in einem iterativen Verfahren genutzt;

(ii) die Maximum-Likelihood-Faktor-Analyse unter der Voraussetzung, dass die Daten normalverteilt sind,

X ∼ N(µ, Σ = λ λ

+ ψ) ,

λ und ψ werden in einem iterativen Verfahren gesch¨ atzt;

(iii) die Zentroid-Methode ( Thurstone , 1931), die relativ einfach, aber auch mit viel Willk¨ ur verbunden ist; oder

(iv) die kanonische Faktoranalyse ( Rao , 1955), bei der ein Anliegen ist, dass die Korrelation zwischen den p Merkmalen und den zu

bestimmenden k allgemeinen Faktoren so groß wie m¨ oglich sein soll.

Algorithmus f¨ ur die Hauptfaktorenanalyse

Algorithmus 6.2.5

(Quelle: Handl, Kuhlenkasper , Multivariate Analysemethoden, Springer 2017, Kap. 9)

1. Mit dem Bestimmtheitsmaß b

einer Regression von X

auf die restlichen Variablen sei ˆ ψ

= 1 − b

der Sch¨ atzer der i −ten spezifischen Varianz (i = 1, . . . , p).

2. Aufstellen von ˆ ψ = diag( ˆ ψ

, . . . , ψ ˆ

) . 3. Berechnung von r − ψ ˆ .

4. Spektralzerlegung von r − ψ ˆ zur Bestimmung von ˆ λ .

5. Neue Diagonalmatrix ˆ ψ mit den Hauptdiagonalelementen von r − λ ˆ λ ˆ

auf der Hauptdiagonalen.

6. Wiederholung der Schritte 3., 4. und 5. so lange, bis aufeinander

folgende Paare von ˆ ψ und ˆ λ in einer vorgegebenen Genauigkeit

identisch sind.

Beispiel f¨ ur die Hauptfaktorenanalyse

Bsp. 6.2.6 (Quelle: Handl, Kuhlenkasper , Multivariate Analysemethoden, Springer 2017, Kap. 9, Bsp. 40)

I

Empirische Korrelationsmatrix und deren Inverse.

r =

















1.000 0.223 0.133 0.625 0.506 0.500 0.223 1.000 0.544 0.365 0.320 0.361 0.133 0.544 1.000 0.248 0.179 0.288 0.625 0.365 0.248 1.000 0.624 0.630 0.506 0.320 0.179 0.624 1.000 0.625 0.500 0.361 0.288 0.630 0.625 1.000

















r

=

















1.731 0.040 0.060 −0.810 −0.250 −0.231 0.040 1.578 −0.740 −0.234 −0.170 −0.123 0.060 −0.740 1.451 −0.070 0.124 −0.215

−0.810 −0.234 −0.070 2.365 −0.600 −0.605

−0.250 −0.170 0.124 −0.600 1.974 −0.705

−0.231 −0.123 −0.215 −0.605 −0.705 2.043

















Bsp. 6.2.6 Sch¨ atzung der Kommunalit¨ aten

I

Es gilt r − ψ ˆ = ˆ λ λ ˆ

. Die Matrizen r und r − ψ ˆ unterscheiden sich nur auf der Hauptdiagonalen, auf der rechten Seite stehen dort die Sch¨ atzungen der Kommunalit¨ aten ˆ h

, i = 1, . . . , p . Diesen Sch¨ atzwert erh¨ alt man, indem man die i−te Variable auf die anderen Variablen regressiert, der Wert ist das Bestimmtheitsmaß b

, f¨ ur welches gilt b

= 1 − 1

r

, wobei r

das i−te Element der Hauptdiagonale von r

ist.

I

So erh¨ alt man die Sch¨ atzungen

h ˆ

= 0.422 , h ˆ

= 0.366 , ˆ h

= 0.311 ,

h ˆ

= 0.577 , h ˆ

= 0.493 , ˆ h

= 0.511 .

Bsp. 6.2.6 Spektralzerlegung

I

Mit diesen Sch¨ atzern gilt

r − ψ ˆ =

















0.422 0.223 0.133 0.625 0.506 0.500 0.223 0.366 0.544 0.365 0.320 0.361 0.133 0.544 0.311 0.248 0.179 0.288 0.625 0.365 0.248 0.577 0.624 0.630 0.506 0.320 0.179 0.624 0.493 0.625 0.500 0.361 0.288 0.630 0.625 0.511

















I

Die Spektralzerlegung ergibt

r − ψ ˆ = v d v

mit einer Diagonalmatrix d , deren Diagonalelemente im

Allgemeinen nicht alle nichtnegativ sind.

Bsp. 6.2.6 Approximation von ˆ λ

I

Sei v

1

die Matrix mit den normierten Eigenvektoren zu den k gr¨ oßten Eigenwerten, wobei vorausgesetzt wird, dass diese positiv sind, d

sei die Diagonalmatrix mit diesen Eigenwerten.

I

Eine neue Approximation von r − ψ ˆ ist r − ψ ˆ ≈ v

1

d

1

(v

1

d

1

)

=: ˆ λ

1

λ ˆ

1

.

Diese Sch¨ atzung kann in die Ausgangsgleichung in 5. eingesetzt und

damit die Iterationen fortgesetzt werden.

Fortsetzung Beispiel 6.2.6

I

Im Beispiel gibt es zwei positive Eigenwerte d

= 2.606 , d

= 0.573 mit zugeh¨ origen Eigenvektoren

v

= (0.403 , 0.322 , 0.248 , 0.497 , 0.452 , 0.470)

v

= (0.316 , −0.602 , −0.669 , 0.191 , 0.219 , 0.081)

I

Durch Multiplikation von v

mit √

d

= 1.614 und von v

mit

√ d

= 0.757 erhalten wir die Spalten der Matrix ˆ λ

λ ˆ

=

0.650 0.519 0.400 0.803 0.730 0.759 0.239 −0.455 −0.506 0.145 0.165 0.061

.

Fortsetzung Beispiel 6.2.6

I

Man erh¨ alt

λ ˆ

1

λ ˆ

1

=

















0.480 0.229 0.139 0.557 0.514 0.508 0.229 0.477 0.438 0.351 0.304 0.366 0.139 0.438 0.416 0.248 0.208 0.272 0.557 0.351 0.248 0.666 0.610 0.618 0.514 0.304 0.208 0.610 0.560 0.564 0.508 0.366 0.272 0.618 0.564 0.580















 .

I

Also gilt

ψ ˆ

= 0.520 , ψ ˆ

= 0.523 , ψ ˆ

= 0.584 , ψ ˆ

= 0.334 , ψ ˆ

= 0.440 , ψ ˆ

= 0.420 .

Mit dieser neuen Matrix ˆ ψ kann ein neuer Sch¨ atzer ˆ λ bestimmt

werden .

Anzahl der allgemeinen Faktoren

Eine praktische Bestimmung der Anzahl k der Faktoren kann z.B.

erfolgen als

I

die Anzahl der Eigenwerte der empirischen Korrelationsmatrix, die gr¨ oßer als 1 sind;

I

die Anzahl der positiven Eigenwerte der Matrix r − ψ ˆ im Algorithmus 6.2.5 5.;

I

die kleinste Anzahl k , bei der die Summe der k gr¨ oßten Eigenwerte von r − ψ ˆ im Algorithmus 6.2.5 5. die Summe aller Eigenwerte ¨ ubertrifft.

I

Daneben kann man sich auch an den Ergebnissen einer

Hauptkomponentenanalyse der (skalierten) Daten orientieren.

6.3 Rotation der Faktorladungsmatrix

Bem. 6.3.1

(i) Liegen Sch¨ atzwerte f¨ ur die Faktorladungsmatrix und die Varianzen der spezifischen Faktoren vor, beginnt das Problem der Deutung des Ergebnisses. Dabei kann die Nicht-Eindeutigkeit der Faktorladungen (siehe Bem. 6.1.6) genutzt werden.

(ii) Eine Interpretation von Faktorladungen ist einfacher, wenn

I

jedes Merkmal eine hohe Ladung wenigstens eines Faktors hat,

I

jede Faktorladung entweder hoch oder nahe Null ist, d.h. es m¨ oglichst wenige

” mittlere“ Ladungen gibt. Man spricht auch von Faktorladungen mit einer sogenannten Einfachstruktur.

(iii) Eine Rotation muss nicht zur besseren Interpretation f¨ uhren.

(iv) Zur Bestimmung einer geeigneten orthogonalen Matrix g k¨ onnen verschiedene Prinzipien genutzt werden, hier sollen kurz die Varimax-Rotation und die Quartimax-Rotation erl¨ autert werden.

Dabei wird in den Formeln auf die Kennzeichnung der Sch¨ atzungen

durch ˆ · verzichtet.

Varimax-Rotation

Bem. 6.3.2

(i) Gesucht wird eine transformierte Matrix der Faktorladungen

∆ = λ g , die m¨ oglichst viele kleine oder große Ladungen hat.

(ii) Es sei ∆ = (δ

)

und d

= δ

h

, hier sind h

, i = 1, . . . , p , wieder die Kommunalit¨ aten.

(iii) Bei der Varimax-Rotation wird die Matrix ∆ so bestimmt, dass die quadrierten Ladungen maximal streuen (die Varianzen der

Ladungsquadrate eines Faktors werden maximiert), d.h. durch das Extremwertproblem

k

X

j=1 p

X

i=1

d

− (d

)

= max mit (d

) := 1 p

p

X

i=1

d

.

(iv) Die numerische L¨ osung der Optimierungsaufgabe erfolgt sukzessive

f¨ ur je zwei Faktoren.

Varimax-Rotation: Erster Schritt Optimierungsaufgabe

(v) Man beginnt mit j = 1 und j = 2 . Seien g

(1 2)

=

cos θ sin θ

− sin θ cos θ

die Rotationsmatrix mit dem Rotationswinkel θ und λ

die auf die ersten zwei Spalten reduzierte Faktorladungsmatrix.

(vi) Dann ergeben sich die Elemente der ersten zwei Spalten der normierten und rotierten Faktorladungsmatrix zu (i = 1, . . . , p)

d

= 1 h

(λ

cos θ − λ

sin θ) , d

= 1 h

(λ

sin θ + λ

cos θ) . (vii) Mit diesen d

und d

l¨ ost man die Optimierungsaufgabe

p

X

i=1

d

− (d

)

+

p

X

i=1

d

− (d

)

= max

θ

.

Varimax-Rotation: Fortsetzung Optimierungsaufgabe

(viii) Anschließend werden die dritte, vierte, . . . , und letzte Spalte der unrotierten Faktorladungsmatrix λ mit der rotierten ersten Spalte auf obige Weise rotiert.

(ix) Daran anschließend wird die rotierte zweite Spalte mit der rotierten dritten, vierten, . . . , rotierten letzten Spalte rotiert.

(x) Dieses Verfahren wird fortgesetzt, bis insgesamt k(k − 1)/2 Rotationen durchgef¨ uhrt sind.

(xi) Mitunter wird in (ii) auch die Skalierung durch die Kommunalit¨ aten

nicht durchgef¨ uhrt.

Quartimax-Rotation

Bem. 6.3.3

I

Bei der Quartimax-Rotation m¨ ochte man m¨ oglichst jedes Merkmal durch wenige allgemeinen Faktor erkl¨ aren.

I

Praktisch sucht man die Rotation, bei der die Summe der Varianzen der gewichteten Ladungsquadrate einer Variablen

p

X

i=1 k

X

j=1 p

X

i=1

δ

− (δ

)

= max mit (δ

) := 1 k

p

X

i=1

δ

.

maximiert wird.

6.4 Sch¨ atzung der allgemeinen Faktoren f¨ ur einen Merkmalsvektor

I

Bisher wurden f¨ ur eine Datenmatrix x die Sch¨ atzungen ` f¨ ur die Faktorladungsmatrix, ψ f¨ ur die Matrix der spezifischen Varianzen und x f¨ ur die Erwartungswerte betrachtet.

I

In bestimmten Situationen kann es aber auch von großem Interesse sein, f¨ ur einen gegebenen konkreten Merkmalsvektor x die

zugeh¨ origen Auspr¨ agungen der allgemeinen Faktoren zu sch¨ atzen, d.h. einen k −dimesionalen Vektor ˆ f , so dass gilt

x = ` ˆ f + ˆ u + x .

I

Genutzt werden bei den Sch¨ atzungen oft der zentrierte

Merkmalsvektor y = x − x oder der standardisierte Merkmalsvektor mit den Komponenten y

= x

− x

s

.

Bartlett - und Thompson -Faktor-Sch¨ atzung

I

Es gibt verschiedene Sch¨ atzmethoden f¨ ur die Faktorwerte, z.B.

basierend auf einer Regression oder die Sch¨ atzung nach Anderson-Rubin .

I

Die Bartlett -Faktor-Sch¨ atzung nutzt die Formel ˆ f =

`

ψ

`

`

ψ

y .

I

Die Thompson -Faktor-Sch¨ atzung nutzt die Formel ˆ f =

`

ψ

` + I

`

ψ

y .

6.5 Beispiel Autokaufentscheidung

I

Quelle: Horst Rinne , Statistische Analyse multivariater Daten : Einf¨ uhrung, R.Oldenbourg Verlag, M¨ unchen, Wien, 2000; Beispiel 5/1; siehe auch Vorlesungsskript Prof. Dr. Fred B¨ oker,

Georg-August-Universit¨ at G¨ ottingen, Analyse mehrdimensionaler Daten, Kap. 5 Faktorenanalyse,

https://www.uni-goettingen.de/de/304527.html.

I

Vergebene Punktzahlen (zwischen 0 und 20) von 25 K¨ aufern eines neuen Autos in einem Autohaus hinsichtlich der Wichtigkeit der Merkmale (in dieser Reihenfoge)

I

Anschaffungspreis,

I

Betriebskosten,

I

Umfang der Serienausstattung,

I

Styling der Karosserie,

I

Prestige der Marke,

I

Fahrkomfort,

I

Raumangebot.

Fortsetzung Bsp. 6.5

I

Es gibt zwei Eigenwerte der Korrelationsmatrix gr¨ oßer als 1.

I

Eine Hauptkomponentenanalyse der nicht skalierten und der skalierten Daten ergibt jeweils zwei Hauptkomponenten, die zusammen mehr als 91 % der Gesamtstreuung erkl¨ aren, bei 3 Hauptkomponenten sind es jeweils mehr als 94 % der

Gesamtstreuung.

I

Die Scree-Plots ergeben auch die Nutzung von 2 oder 3 Faktoren,

hier werden 2 gew¨ ahlt.

2. Fortsetzung Bsp. 6.5

I

In R kann eine Faktoranalyse z.B. mit dem Befehl factanal() durchgef¨ uhrt werden. Dabei wird eine Normalverteilung der Daten angenommen und die Maximum-Likelihood-Faktor-Analyse mit Varimax-Rotation berechnet.

I

Man erh¨ alt f¨ ur die Daten die folgende Faktorladungsmatrix und ein entsprechendes Schema f¨ ur die Faktorladungen betragsm¨ aßig gr¨ oßer als 0.5 :

` =





















−0.2522 0.9539

−0.0322 0.8431 0.0964 0.9383 0.8995 −0.0007 0.9093 −0.2814 0.8713 0.4080 0.9415 −0.2049



















 ,

x x x x x x x

.

I

Den ersten Faktor k¨ onnte man als

” Produktdesign“, den zweiten als

” Wirtschaftlichkeit“ bezeichnen.

3. Fortsetzung Bsp. 6.5

I

Die Variablen k¨ onnen in Faktorraum wie folgt dargestellt werden:

I

Eine Berechnung der Thompson -Faktorsch¨ atzwerte erfolgt z.B.

durch factanal(...,scores=’’regression’’).

I

Eine Varimax-Rotation der ersten beiden Hauptkomponenten ergibt

eine Ladungsmatrix, die sich nur wenig von der Ladungsmatrix bei

der Maximum-Likelihood-Faktoranalyse mit Varimax-Rotation

unterscheidet.