3. SIMULATIONEN UND ERGEBNISSE
3.2 M ETHODEN ZUR K ENNZAHLENEXTRAKTION , K LASSIFIZIERUNG UND A NALYSE NICHTLINEARER
3.2.4 Datenanalyse mit selbstorganisierenden Algorithmen
Zur Analyse zeitabhängiger Parameterkurven werden selbstorganisierende Verfahren untersucht, die auf Kohonennetzen basieren. Auch bei diesen Untersuchungen besteht die Vorverarbeitung aus der Betragsnormierung und Diskretisierung der Parameterkurven, wie bereits im Abschnitt über Backpropagation gezeigt. Ziel des Verfahrens ist, Cluster von zusammengehörenden (ähnlichen) Kurven zu erhalten. Die resultierenden Informationen aus diesem Verfahren können dann z. B. für das Training der Backpropagation-Netze eingesetzt werden.
Das neuronale Netzwerkmodell von Toivo Kohonen orientiert sich besonders stark am biologischen Vorbild. Bei Lebewesen ist bekannt, dass sich für die taktilen Sinne der Haut und der Organe auf entsprechende Neuronen der Großhirnrinde wiederfinden. Hierbei spiegelt die Position der Neuronen auf der Großhirnrinde (dem Kortex) die Position der Sinneszellen auf der Haut wider. Die Haut und Organe werden somit auf den Kortex abgebildet.
Diese Art der topologieerhaltenden Abbildung wird auch von Kohonenkarten realisiert. Ein n-dimensionaler Eingaberaum wird hierbei topologieerhaltend auf die Kohonenkarte abgebildet.
Das heißt, dass sich benachbarte Bereiche im n-dimensionalen Eingaberaum auf der m-dimensionalen Merkmalskarte ebenfalls in benachbarten Gebieten befinden werden. Ist die Dimension der Ausgabeschicht kleiner als die Dimension der Eingabeschicht, kann dieses Verfahren auch zur Dimensionsreduzierung verwendet werden und dadurch z. B. die Visualisierung höherdimensionaler Räume unterstützen.
In den folgenden Versuchen wurde nur mit zweidimensionalen Kohonenkarten gearbeitet.
Das Netzwerk besteht dann aus einer n-dimensionalen Eingabeschicht und einer
zweidimensionalen Ausgabeschicht (siehe Abbildung 3.39). Jedes Ausgabeneuron der Kohonenkarte ist über seine Synapsen mit der Eingabeschicht verbunden. Zusätzlich ist jedes Ausgabeneuron durch laterale, bzw. intralayer Verbindungen, mit allen anderen Ausgabeneuronen verbunden. Diese Verbindung wird durch die Nachbarschaftsfunktion h realisiert.
originale Parameterkurve
normierte Eingabewerte 1
0
Eingabeschicht (100 Neuronen)
Ausgabeschicht (8 x 6 Neuronen)
Abbildung 3.39: Architektur der verwendeten Kohonenkarte.
Zur Initialisierung der Gewichtsvektoren werden kleine positive Zufallszahlen gewählt. Die Aktivierungen der Neuronen der Kohonenkarte werden mittels der euklidischen Distanz des Eingabevektors zu den Gewichtsvektoren ermittelt. Das Lernen lässt sich dabei in zwei Schritte pro Lernzyklus unterteilen.
Die Aktivierung Φi jedes Neurons der Kohonenkarte wird mit der euklidischen Distanz zwischen Gewichts- bzw. Referenzvektor qi und Eingabevektor x ermittelt.
( )
å
−= Φ
i
ij i
j x q 2 (3.29)
Sieger wird das Neuron der Kohonenkarte mit der kleinsten Aktivierung. Der Gewichtsvektor des Siegerneurons hat also den kleinsten euklidischen Abstand zum Eingabevektor und ist diesem somit am ähnlichsten.
Nach der Ermittlung des Siegerneurons werden die Gewichte der Neuronen adaptiert. Das Siegerneuron s fungiert hierbei als Erregungszentrum Z der Kohonenkarte. Je näher ein Neuron der Kohonenkarte diesem Erregungszentrum ist, desto stärker wird sein Referenzvektor verändert.
Als Nachbarschaftsfunktion h wurde die Gauß'sche Glockenkurve gewählt. Bei Versuchen mit der Mexican-Hat Funktion wurden keine verwertbaren Ergebnisse erzielt.
( )
( )2
÷÷øö ççèæ
= − t d js
js
e t
h σ (3.30)
mit
djs: Abstand des Neurons cj zum Erregungszentrum Z
σ(t): zeitlich variabler Einflussbereich des Erregungszentrums Z
In Abbildung 3.40 ist eine Kohonenkarte mit einem Erregungszentrum Z und dem Einfluss, über die Nachbarschaftsfunktion h, auf benachbarte Neuronen dargestellt.
Visualisiert ist nur ein diagonaler Schnitt durch die 3-dimensionale Gauß'sche Glockenkurve.
Erregungszentrum Z
nahes Neuron (starke Gewichtsänderung)
entfernteres Neuron (schwache Gewichtsänderung)
Abbildung 3.40: Nachbarschaftsfunktion h mit Siegerneuron als Erregungszentrum.
Die Gewichtsänderung bewirkt, dass der Gewichtsvektor jedes Neurons sich in Richtung des Eingabevektors bewegt. Dem Erregungszentrum nahe Neuronen werden hierbei ihre Gewichtsvektoren stärker verändern als entfernte Neuronen. Mit zunehmendem Lernen werden die Einflüsse der Erregungszentren auf benachbarte Neuronen immer schwächer. Der Referenzvektor qj des Neurons cj wird nach folgender Formel adaptiert:
( )
t j( ) ( ) ( )
t t hj t(
j( )
t)
j q x q
q +1 = +η ⋅ ⋅ − (3.31)
Das Ende des Lernvorgangs ist erreicht, falls eine maximale Anzahl von Zyklen erreicht ist, oder das Netzwerk vollständig konvergiert ist.
Durch die Modifikation der Gewichtsvektoren in Richtung der Eingabevektoren wird erreicht, dass sich nach Abschluss des Lernens in den Referenzvektoren qj den Eingabekurven ähnliche Muster ausprägen. Dies hat natürlich den Vorteil einer einfachen Visualisierung des Ergebnisses der Kohonenkarte (siehe Abbildung 3.41).
Für die Lernrate η wurde in den Versuchen in diesem Abschnitt mit folgenden stetig fallenden Funktionen experimentiert.
-Gerade:
Die Parabel ist für das Verfahren günstiger, da die Größe der Gewichtsadaption nicht so schnell gegen Null geht und der Kohonenkarte mehr Zeit bleibt, sich vollständig auszuprägen.
Abbildung 3.41: Gewichtsvektoren einer teilweise ausgebildeten Kohonenkarte. Diese Darstellung der Gewichtsmatrix ermöglicht einen einfachen Überblick über die unterschiedlichen Klassen der Trainingsdaten. Bereits in diesem frühen Stadium sind die unterschiedlichen Klassen deutlich zu erkennen (oben links, oben mitte).
Eine zu große Anzahl von Ausgabeneuronen in der Kohonenkarte bewirkt, dass einzelne Eingabemuster direkt auf Ausgabeneuronen abgebildet werden. Dies bedeutet, dass die Generalisierungsleistung des neuronalen Netzes nachlässt. Das Problem ist aber nicht so gravierend, da das Netzwerk in diesem Beispiel nicht zum Klassifizieren von Kurven, sondern primär zur Analyse der Menge von Eingabekurven benutzt wird. Wegen des steigenden Rechenaufwands bei vielen Neuronen ist es unnötig, mehr Ausgabeneuronen als Eingabemuster zu verwenden.
In Abbildung 3.41 sind die Gewichtsvektoren einer teilweise ausgebildeten Kohonenkarte dargestellt. Diese Darstellung der Gewichtsmatrix ermöglicht einen einfachen Überblick über die unterschiedlichen Klassen der Trainingsdaten. Bereits in diesem frühen Stadium sind die unterschiedlichen Klassen deutlich zu erkennen und es zeigt sich, dass die Kohonenkarte in der Lage ist, die unterschiedlichen Klassen der Signalverläufe zu separieren.
Bei der Wahl der freien Parameter des Netzes (Anzahl der Neuronen der Kohonenkarte, Anzahl der Zyklen, η0 ) sollte man allerdings darauf achten, dass sich die SOM vollständig
ausprägen kann. Dies bedeutet, dass sich alle Gewichte auf Eingabekurven eingestellt haben.
Sind die freien Parameter falsch gewählt, wird sich die SOM nicht vollständig ausbilden können (Abbildung 3.41).