Sonstige Methoden

In diesem Unterabschnitt betrachten wir noch zwei Dimensionsreduktionsmethoden, wel-che sich nicht in die Gliederung der restliwel-chen Methoden einf¨ugen lassen. Die Methode der lokal linearen Koordination (LLC) weist einen Hybridcharakter auf und verbindet lokale und globale Dimensionsreduktion. Die Methode der mehrschichtigen Autoencoder ist der Welt der k¨unstlichen neuronalen Netze zuzuordnen, nutzt jedoch keine direkte geometrische Motivation wie die CCA, die SOM oder Isotop.

Lokal lineare Koordination (LLC)

Die lokal lineare Koordination (engl. Locally Linear Coordination, LLC) [127] ordnet unterschiedliche lokal lineare Modelle global zu einer niedrigdimensionalen Darstellung der gegeben Daten an (vgl. [91]).

Zun¨achst bestimmt die LLC eine Mischung von m lokal linearen Modellen gem¨aß einer Faktor-Analyse [123] (engl. mixture of factor analyzers) mittels des EM-Algorithmus (engl. expectation maximization algorithm). Anstelle der Faktor-Analyse lassen sich auch eine probabilistische PCA (engl. mixture of probabilistic PCA) (siehe [131]) oder f¨ur mehr Robustheit gegen¨uber Ausreißern Student-t-verteilte Unterraum-Modelle (engl.

mixture of t-distributed subspaces) (siehe [112]) verwenden. Grunds¨atzlich ist jede Mi-schung von lokalen Dimensionsreduktionsmethoden denkbar (siehe [127]).

Man erh¨alt zu jedem Datenpunkt xi und jedem j ∈ {1, . . . , m} Darstellungen zij und zugeh¨orige Gewichte (engl. responsibilities) r_ij mit r_ij ≥ 0 und Pm

j=1r_ij = 1, welche quantifizieren, inwieweit dasm-te Modell x_i darstellt. Man setze

u_ij =r_ijz_ij

und speichere diese gewichteten Darstellungen uij in einern×mD-Blockmatrix U. In einem zweiten Schritt werden die lokalen Modelle nun mittels der konvexen Kosten-funktion der LLE koordiniert. Man bestimmt wie bei der LLE f¨ur jeden Datenpunktxi

Rekonstruktionsgewichte, die eine optimale Affinkombination bez¨uglich seiner Nachbarn bilden, und speichert diese in der Matrix W. Anschließend setzt man

A=U^T(I−W)^T(I−W)U, B = 1

nU^TU.

Mittels der zu den d kleinsten von Null verschiedenen Eigenwerten zugeh¨origen Eigen-vektoren des verallgemeinerten Eigenwertproblems

Av=λBv

definiert man eine Abbildungsmatrix L = (v₁, . . . , v_d). Die lineare Abbildung L wird schließlich auf die Matrix U der gewichteten (lokalen) Darstellungen angewendet, um die (globale) niedrigdimensionale Darstellung der Daten zu erhalten, d.h.

Y =U L.

Bemerkung 1.45 1. Man beachte, dass die Abbildung der gewichteten lokalen Dar-stellungen u_ij auf y_i somit linear, die Abbildung der hochdimensionalen Daten-punkte xi auf yi durch die Kombination vieler lokaler Modelle jedoch nicht linear ist (vgl. [127]).

2. Obwohl die LLC in ihrem zweiten Schritt ein konvexes Problem mittels Spektral-technik l¨ost, ist sie aufgrund ihres ersten Schrittes als nicht konvexe Methode zu klassifizieren. Der im ersten Schritt durchgef¨uhrte EM-Algorithmus zur Berech-nung der lokalen Modelle erweist sich als kritischste Stelle der LLC, da er in einem lokalen Maximum stoppen kann (siehe [91]).

3. Die totale arithmetische Komplexit¨at der LLC ergibt sich zu einer Gr¨oße von O(T md³) und der Speicherplatzbedarf zu einer Gr¨oße von O(nmd) (siehe [91]).

Dabei ist m die Anzahl der betrachteten lokalen Modelle und T die Anzahl der Iterationen des EM-Algorithmus.

4. Da die LLC eine konkrete Abbildungsvorschrift der hoch- auf die niedrigdimen-sionalen Datenpunkte bestimmt, ist eine Verallgemeinerung der niedrigdimensio-nalen Darstellung auf zus¨atzliche Punkte (Out-of-sample-Erweiterung) problemlos m¨oglich (vgl. [91]).

In Abbildung 1.3 findet sich eine gem¨aß LLC berechnete niedrigdimensionalen Darstel-lung der Schweizer Rolle aus Abbildung 1.2. Die DarstelDarstel-lung weiß in diesem Beispiel uberhaupt nicht zu ¨¨ uberzeugen. Es wurden m = 20 lokale Modelle betrachtet und im LLE-Schritt wurde der Nachbarschaftsparameter k = 12 gew¨ahlt.

Bemerkung 1.46 Eine der LLC sehr ¨ahnliche Dimensionsreduktionsmethode stellt die Mannigfaltigkeitskartierung (engl. Manifold Charting) [22] dar. Wie bei der LLC erfolgt bei der Mannigfaltigkeitskartierung eine globale Koordination lokaler Modelle, welche aus einer Faktor-Analyse oder einer probabilistischen PCA resultieren. Die Bestimmung der linearen Abbildung von den gewichteten lokalen Darstellungen auf die globalen Koor-dinaten erfolgt jedoch durch Minimierung eines anderen Kostenfunktionals, wobei die optimale L¨osung wieder durch Spektraltechniken gefunden werden kann (siehe [91]).

−4 −3 −2 −1 0 1 2 3 4 5 6

−3

−2

−1 0 1 2 3 4 5 6

Abbildung 1.13: Mittels der Toolbox [89] erhaltene zweidimensionale Darstellung der Schweizer Rolle gem¨aß LLC.

Mehrschichtige Autoencoder (Multilayer Autoencoders)

Die Methode der mehrschichtigen Autoencoder (engl. Multilayer Autoencoder) [44, 71]

entstammt dem Gebiet k¨unstlicher neuronaler Netze (engl. artificial neural networks) und l¨asst sich f¨ur eine Form nicht geometrisch motivierter Dimensionsreduktion nutzen.

Wir gehen von einem k¨unstlichen neuronalen Netz mit einer Eingabeschicht (engl. in-put layer) und einer Ausgabeschicht (engl. outin-put layer) mit jeweils D Knoten, den k¨unstliche Neuronen, aus. Zwischen Eingabe- und Ausgabeschicht befindet sich eine un-gerade Anzahl von verdeckten Schichten (engl. hidden layers). Die mittlere verdeckte Schicht hat d Knoten (siehe [91]).

Die Knoten einer Schicht sind ¨uber gewichtete Kanten mit den Knoten der folgenden Schicht verbunden. Wir gehen von vorw¨arts gespeisten neuronalen Netzen (engl. feed-forward neural networks) aus, d.h., dass Kanten nur vorw¨arts gerichtet sind. Der einem Knoten zugewiesene Wert ergibt sich im Wesentlichen durch Anwendung einer Akti-vierungsfunktion auf die gewichtete Summe der Werte der Knoten in der vorherigen Schicht. F¨ur die Aktivierungsfunktionen w¨ahlt man mit Ausnahme der mittleren ver-deckten Schicht, wo man lineare Aktivierungsfunktionen verwendet, ¨ublicherweise Sig-moidfunktionen, um nicht lineare Zusammenh¨ange erfassen zu k¨onnen (vgl. [91]). Eine Sigmoidfunktion ist dabei eine reellwertige, beschr¨ankte und differenzierbare Funktion mit ¨uberall positiver (oder ¨uberall negativer) erster Ableitung (siehe etwa [64]), z.B.

die sogenannte logistische Funktion φ : R → R, φ(t) = _1+e¹−t. Ein neuronales Netz dieser Form wird auch mehrschichtiges Perzeptron (engl. multilayer perceptron, MLP) genannt. F¨ur eine genauere Beschreibung k¨unstlicher neuronaler Netze sei etwa auf [18]

verwiesen.

Das Voranschreiten im neuronalen Netz von der Eingabeschicht bis zur mittleren ver-deckten Schicht entspricht einer

”Kodierung“ der Eingabedaten (Encoder), das Voran-schreiten von der mittleren verdeckten Schicht zur Ausgabeschicht einer Rekonstruktion der Eingabedaten aus der gefundenen

”Kodierung“ (Decoder) (vgl. [71]). Man setzt f¨ur die Knoten der Eingabeschicht die gegebenen hochdimensionalen Datenpunktex_i an und trainiert das neuronale Netz so, dass der mittlere quadratische Fehler zwischen Eingabe und Ausgabe m¨oglichst gering wird. Die Werte der d Knoten der mittleren verdeckten Schicht lassen sich dann als die gesuchten niedrigdimensionalen Datenpunktey_iauffassen (siehe [91]).

Das Training eines neuronalen Netzwerkes erfolgt ¨ublicherweise ¨uber R¨uckpropagierung (engl. backpropagation). Diese Ans¨atze konvergieren jedoch nur langsam und sind anf¨allig daf¨ur, in lokalen Minima zu stoppen (siehe [91]). In [69] wird stattdessen ein dreisch-rittiger Lernprozess vorgeschlagen. Zun¨achst werden die Encoder-Schichten nacheinan-der durch das Trainieren sogenannter eingeschr¨ankter Boltzmann-Maschinen (engl. Re-stricted Boltzmann Machine, RBM) mittels einer in [68] beschriebenen Lernprozedur eingelernt. Zweitens erh¨alt man durch Invertierung der Encoder-Schichten die Decoder-Schichten. Im dritten Schritt erfolgt eine Feinabstimmung der Gewichte durch einen R¨uckpropagierungsansatz (vgl. [91]).

Bemerkung 1.47 1. Die Gr¨oßenordnung der arithmetischen Komplexit¨at der ge-samten Methode betr¨agtO(T nw), wobeiT die Anzahl der Iterationen des Optimie-rungsalgorithmus und w die Anzahl der Gewichte darstellt. Der Speicherplatzdarf liegt in der Ordnung O(w) (siehe [91]).

2. Man beachte, dass bei der Methode der mehrschichtigen Autoencoder ein parame-trischer Zusammenhang zwischen hoch- und niedrigdimensionalen Datenpunkten konstruiert wird. Dadurch erh¨alt man ohne weiteren Aufwand eine Verallgemeine-rung der niedrigdimensionalen Darstellung auf zus¨atzliche Datenpunkte (Out-of-sample-Erweiterung) (siehe [91]).

Vorteilhaft ist die tiefgehende Struktur neuronaler Netze. Die Methode der mehrschich-tigen Autoencoder konstruiert die niedrigdimensionalen Darstellungen y_i aus den gege-benen hochdimensionalen Punkten x_i ¨uber mehrere Zwischenschritte, die Schichten des neuronalen Netzes, und ber¨ucksichtigt somit mehrfach nicht lineare Zusammenh¨ange.

Die zuvor vorgestellten Spektralmethoden sind dagegen gewissermaßen einschichtige Me-thoden, da sie nur einen einfachen nicht linearen Zusammenhang zwischen den hoch- und niedrigdimensionalen Punkten betrachten (vgl. [91]).

Die Methode der mehrschichtigen Autoencoder ist nicht praktikabel f¨ur Datens¨atze zu hoher Dimension, da man in diesem Fall eine zu hohe Anzahl von Gewichten ben¨otigt.

Eine Vorbehandlung der Daten mittels einer PCA, um die Dimension des Datensatzes

−2.8 −2.6 −2.4 −2.2 −2 −1.8 −1.6 −1.4 −1.2 −1 −0.8

−2

−1.5