3. SIMULATIONEN UND ERGEBNISSE
3.2 M ETHODEN ZUR K ENNZAHLENEXTRAKTION , K LASSIFIZIERUNG UND A NALYSE NICHTLINEARER
3.2.2 Kennzahlenextraktion mit Backpropagation
Zur Extraktion klassifikationsrelevanter Kennzahlen wird im Folgenden der Backpropagation-Algorithmus untersucht. Die Parameterkurven, die für das Training des neuronalen Netzes verwendet wurden, waren in zwei Klassen (good, bad) eingeteilt. Das Ziel ist, durch die Kennzahlenextraktion eine skalare Größe für die Güte der Prozessierung zu erhalten und dadurch die Klassifikation möglichst einfach zu ermöglichen. Nach Abschluss der Trainingsphase sollte das neuronale Netz in der Lage sein, auch untrainierte Parameterkurven zu bewerten.
Zur Festlegung der Architektur wurden die Ergebnisse der Datenvoranalyse verwendet. Eine zu geringe Zahl von Neuronen führt dabei dazu, dass das neuronale Netz nicht in der Lage ist die Trainingsdaten zu lernen. Eine zu hohe Zahl von Neuronen in den Schichten gehen auf Kosten der Rechenzeit und Generalisierungsleistung.
Zur Festlegung der Eingabeschicht wurde die Autokorrelation und damit die Redundanz innerhalb der Zeitreihen berücksichtigt. Es werden 100 Eingabeneuronen verwendet. Die Anzahl der verdeckten Neuronen ist abhängig von der Komplexität der Trainingsaufgabe. In unserem Fall müssen 2-6 Neuronen ausreichen. Da für die gestellte Aufgabe nur zwei Klassen separiert werden müssen, wird als Ausgabeschicht nur ein einzelnes Neuron verwendet.
0
0 1000 2000 3000 4000 5000 6000 7000 8000
x(t)
Die freien Parameter, Lernrate η und Momentum-Term α, werden experimentell ermittelt.
Für η werden Werte zwischen 0,1 und 0,2, für α Werte zwischen 0.8 und 0,9 verwendet.
Backpropagation konvergiert nur sehr langsam. Die verwendete Online-Lernregel verstärkt dies noch. Bei jedem Zyklus werden die einzelnen Gewichte immer wieder auf ein anderes Trainingsmuster eingestellt. Der Vorteil dieses Vorgehens gegenüber der Offline-Lernregel ist jedoch, dass lokale Minima der Fehlerfunktion leichter verlassen werden können.
Durch die Einführung eines Momentum-Term kann die Konvergenz erheblich beschleunigt werden [Botha98, Zell97]. Der Momentum-Term berücksichtigt die Gewichtsänderung ∆wij
im vorangehenden Zyklus und bewirkt eine Glättung der Fehlerfunktion. Verändert sich nun ein Gewicht wij stets in eine Richtung, so wird bspw. eine starke Veränderung in die entgegengesetzte Richtung gedämpft.
Die Gewichtsänderung berechnet sich mit dem Momentum-Faktor α wie folgt:
( )
w( )
t x w( )
tEine weitere sehr einfache Möglichkeit zur Beschleunigung der Konvergenz wird durch die Addition eines kleinen Bias Wertes γ zur Ableitung f‘(a) erreicht. Gebiete mit flachem Anstieg (Flat-Spot) können so schneller verlassen werden [Botha98].
γ (a)= f'(a)+γ '
f (3.17)
Die Konvergenz des neuronalen Netzwerkes kann mit dem Momentum-Term und der Flat-Spot Eliminierung erheblich beschleunigt werden. Nach 5000 bis 10000 Lernzyklen stellt sich bei einer Anzahl von 20 – 40 Trainingsmustern ein gut konvergiertes neuronales Netzwerk ein. Die hierzu benötigte Rechenzeit liegt bei einem normalen PC (200Mhz, 64MByte RAM) bei wenigen Minuten ( 2-4 min).
Ein neuronales Netzwerk sollte in der Lage sein, einerseits Neues zu Lernen, aber trotzdem bereits Gelerntes nicht wieder zu vergessen. Beide Punkte arbeiten jedoch gegeneinander. Bei Backpropagation zieht die Plastizität zu Gunsten der Stabilität den kürzeren. Die starre Architektur eines Backpropagation-Netzwerkes ermöglicht es nicht, nach Abschluss des Trainings noch Neuronen für neue Trainingsmuster zu erzeugen. Ist Backpropagation einmal mit einer gewissen Anzahl von Trainingsmuster konvergiert und auf diese Muster adaptiert, so können neu hinzukommende Muster die Gewichte nicht mehr ändern. Zu Begin eines Trainingslaufes sollen die Gewichte mit möglichst kleinen Werten belegt sein. Dies ist nach abgeschlossenem Training dann nicht mehr der Fall.
Als Resultat ausgeprägter Gewichte sind auch die Aktivierungen a der Neuronen hoch. Die Ableitung der Aktivierungsfunktion f‘(a) wird dadurch sehr klein und somit sind die Gewichtsänderungen ∆wij= η⋅δj⋅xi nur noch sehr gering.
Abbildung 3.29: Sigmoide Aktivierungsfunktion mit Ableitung
Das Stabilitäts-Plastizitätsdilemma kann nicht gelöst werden. Sollen neue Trainingsmuster hinzugelernt werden, muss ein komplettes neues Training gestartet werden. Dies und die feste Architektur machen Backpropagation zu einem schlechten Klassifikator im Vergleich zu anderen Verfahren wie RBF oder RCE. Zur reinen Vorverarbeitung bzw.
Kennzahlenextraktion der Daten eignet sich der Algorithmus jedoch sehr gut.
Für die Initialisierung der Gewichte werden üblicherweise kleine Zufallszahlen im Bereich von –1 bis +1 gewählt. Es zeigte sich, dass es auch möglich ist, die synaptischen Verbindungen der Eingabeschicht zur verdeckten Schicht mit 0 zu belegen. Durch diese Belegung kann die Ausprägung der Gewichte besser beobachtet werden und zur Analyse der Trainingsdaten (siehe nächstes Kapitel) herangezogen werden. Außerdem konvergierte das neuronale Netzwerk sogar geringfügig schneller. Für die Verbindungen der verdeckten Schicht zur Ausgabeschicht müssen in jedem Fall unterschiedliche Werte eingestellt werden.
Die Trainingsdaten für das neuronale Netzwerk sind zeitabhängige Kurven eines Parameters.
Um den Zielwert für das Ausgabeneuron festzulegen (t=0 bzw. t=1) sind die Trainingskurven in 2 Klassen good und bad aufgeteilt. „good“-Parameterkurven werden mit t = 0, „bad“ mit t
= 1 trainiert.
Folgendes Bild zeigt den gesamten Versuchsaufbau für die Kennzahlenextraktion mit Backpropagation für die Emission_1-Parameterkurve.
)
originale Parameterkurve
normierte Eingabewerte
0 1
100 Eingabeschicht 1
(100 Neuronen)
verdeckte Schicht (2 Neuronen)
Ausgabeschicht
Abbildung 3.30: Versuchsaufbau für die Extraktion von Kennzahlen durch überwachtes Lernen bei Backpropagation-Algorithmen. Die Darstellung zeigt eine Originalparameterkurve, die normierten Eingabedaten als Eingaberaum des neuronalen Netzwerkes sowie die Netzwerkarchitektur mit einer verdeckten Schicht und einem Ausgabeneuron.
Pro Trainingszyklus wird abwechselnd ein good, und anschließend ein bad Datensatz zufällig dem neuronalen Netz präsentiert (Online-Lernverfahren). Dieses Vorgehen ermöglicht, dass die Anzahl der guten bzw. schlechten Trainingsmuster unerheblich ist. Dies ist insofern wichtig, da es (siehe Diskussion 3.1) wenige Prozessierungen mit geringer Ausbeute gibt.
Würde das Verhältnis der Trainingsmuster der beiden Klassen nicht ausgewogen sein, so könnte dies dazu führen, dass eine Klasse bevorzugt trainiert wird und Repräsentanten der anderen Klasse nicht mehr erkannt werden.
Die Tests wurden mit 20 –100 Trainingsmustern durchgeführt. Im Normalfall konvergiert das neuronale Netz nach 5000 bis 10000 Lernzyklen hinreichend gut. Das sogenannte Overfitting konnte hierbei nicht beobachtet werden. Als Konvergenzkriterium wurde der quadratische Fehler über alle Trainingspaare herangezogen.
å
−=
n
n
n y
t
E ( )2 (3.18)
In der Recallphase wurde dem trainierten neuronalen Netz 197 unbekannte Kurven präsentiert. Das neuronale Netz reagiert auf jede Eingabe mit einem Ausgabewert im Bereich zwischen [0,1]. Je näher der Ausgabewert an 0 bzw. 1 liegt, desto sicherer ist die Zuordnung zu einer der Klassen good bzw. bad. Ein Wert zwischen 0 und 1 gibt an, dass das neuronale Netz nicht eindeutig in der Lage war die Kurve zuzuordnen. Die Ausgabe ist dann eine Interpretation der Kurve. Die Ausgabewerte des neuronalen Netzes liefert also keine scharfe Einordnung der Kurven in 2 Klassen, sondern gibt im weitesten Sinne eine posterior Wahrscheinlichkeit der Klassenzugehörigkeit an.
Abbildung 3.31 zeigt einen Scatterplot der Ausgabewerte des neuronalen Netzwerkes für 197 Testdaten des Emission_1-Parameters. Die Punkte, die nahe dem Wert 1 sind, wurden vom Netz als Ausreißer erkannt.
Abbildung 3.31: Ausgabewerte [0,1] des neuronalen Netzwerkes für 197 Testdaten des Emission_1-Parameters. Die Ausgabe nahe Null zeigt gute Prozessierungen, nahe Eins schlechte Prozessierungen an. Bei einer Ausgabe im Bereich von 0,5 kann das neuronale Netz keine Zuordnung treffen.
Die Zuordnung zu den beiden Klassen ist gut sichtbar. Bei Ausgabewerten zwischen 0,0 – 0,1 sind die Kurven glatt. Im Bereich von 0,1 – 0,5 nehmen die Oszillationen der Kurven im Bereich des Overetch zu und weisen auf Aluminiumreste auf den Scheiben hin. Der Ätzvorgang war also nicht erfolgreich. Die Oszillationen waren das Unterscheidungskriterium zwischen good und bad, wobei starke Oszillationen eine bad-Kurve charakterisieren.
Im Bereich um 1,0 schließlich sind die stark oszillierenden Kurven deutlich als Ausreißer erkennbar.
Bereich: 0,9 - 1,0
Bereich: 0,1 - 0,5
Bereich: 0,0 - 0,1
Abbildung 3.32: Original Zeitreihen des Overetch im Emission_1-Signals und der Ausgabewert des neuronalen Netzwerkes. Parameterverläufe im Bereich zwischen 0,9 und 1,0 weisen starke Oszillationen auf, die bei dieser Ätzung auf Aluminiumreste auf den Scheiben hinweisen. Gezeigt ist der Overetch des Emission_1-Signals.
1.
2.
3.
Abbildung 3.33: Ausgabewerte [0,1] des neuronalen Netzwerkes für 2444 Testdaten des RF_Match_Tuning_Position Parameters. Auch hier zeigt die Ausgabe nahe Null gute Prozessierungen, nahe Eins schlechte Prozessierungen an. Bei einer Ausgabe im Bereich von 0,5 kann das neuronale Netz keine Zuordnung treffen.
Bereich 2. (good)
Bereich 3.
Bereich 1. (bad)
Abbildung 3.34: Original Zeitreihen und der Bereich der Ausgabe des neuronalen Netzwerkes. Kurven im Bereich 1 stellen schlechte, im Bereich 2 gute Parameterverläufe dar.
Die Signalverläufe im Bereich 3 wurden dem neuronalen Netzwerk nicht trainiert, was zu einem Ausgabewert um 0,5 führt.
Die Extraktion von Kennzahlen mit Backpropagation-Algorithmus wurde für einen weiteren Parameter, RF_Match_Tuning_Position, durchgeführt. 40 Kurven aus Bereich 1 in Abbildung 3.33, wurden als Trainingsdaten für die Klasse bad verwendet, 40 Kurven aus Bereich 2 für good. Im Bereich 3 sind Kurven die nicht zugeordnet werden konnten. Bei genauerer Betrachtung der Kurven aus Bereich 3 wird offensichtlich, dass sie sich erheblich von den trainierten Kurven aus Bereich 1 und 2 unterscheiden und das neuronale Netz deshalb nicht in der Lage sein kann, eine eindeutigere Zuordnung durchzuführen.
Dieses Ergebnis ist insofern interessant, als das Netzwerk in der Lage ist, bekannte Abnormitäten bzw. normale Zustände zu klassifizieren. Unbekannte Kurvenverläufe werden tatsächlich auch als unbekannt im Sinne einer Netzwerkausgabe von 0,5 indiziert. Durch dieses Vorgehen erreicht man nicht nur eine Einteilung in zwei Klassen, sondern erhält ein Ausgabekontinuum, das für eine eindeutige Eingabe eine eindeutige Zuordnung und für eine
unsichere Eingabe die Wahrscheinlichkeit einer eher guten bzw. eher schlechten Prozessierung angibt.