Kombination von Diskriminanzanalyse und neuronalen Netzwerken

Ein kombinierter Einsatz von Diskriminanzanalyse und neuronalen Netzwerken ist bei [Chen97] beschrieben. Der Artikel diskutiert Sprechererkennung sowie unabhängige Vo-kal-Identifikation. Für diese Anwendungsfälle entwickelten die Autoren eine

baumstruktur-zerlegt werden, die anschließend nacheinander oder parallel zueinander gelöst werden.

Für weiterführende Informationen zu Divide and Conquer bzw. Top Down-Vorgehens-weise bei der Problemlösung, siehe [Logo08, S. 145 - 167; Böhm02, S. 33 - 39].

In [Chen97] wird die Diskriminanzanalyse an den Knoten der Baumstruktur verwendet um

„größere“ Probleme in „kleinere“ Probleme zu zerlegen. Hierbei wird an jedem Knoten eine Splitting Rule angewandt um eine Menge X in zwei Untermengen X1 und X2 aufzutei-len. In diesem Zusammenhang werden aus der Gruppe X die zwei Gruppen gebildet, de-ren Mittelwerte den maximalen Abstand zueinander aufweisen. Die einzelnen Elemente werden anschließend jeweils der Gruppe zugeteilt, zu deren Mittelwert der geringere Ab-stand (quadrierte Euklidische-Distanz) besteht. Zu diesem Vorgang siehe auch [Back06, S. 164 - 192].

An den Blättern bzw. Endknoten werden neuronale Netzwerke (Feedforward-Netzwerke mit drei Schichten) eingesetzt um die „kleineren“ Probleme zu lösen bzw. die an den Kno-ten erzeugKno-ten Untermengen X1, X2,…,Xn zu analysieren. Eine beispielhafte Darstellung der Architektur ist in Abbildung 34 dargestellt.

H H H

H H

NN NN NN NN

NN NN

Abbildung 34: Baumstruktur mit Diskriminanzanalyse und neuronalen Netzwerken in der Arbeit von [Chen97, S. 24]

Das Trainieren der Baumstruktur erfolgt durch das Ausführen von Constructive Learning Algorithm (siehe [Pare00]) wie Growing Algorithm und Credit Assignment Algorithm. Der Growing Algorithm ist für die automatische Entwicklung der Baumstruktur verantwortlich.

In diesem Zusammenhang werden sowohl die Splitting Rule als auch eine Stopping Rule rekursiv ausgeführt bis die vorher definierten success- oder failure-Bedingungen erfüllt sind. Das Training der neuronalen Netzwerke an den „Blättern“ erfolgt durch die Leven-berg Marquat-Methode. Dieses Lernverfahren ist robust und konvergiert mit einer hohen Wahrscheinlichkeit auch bei schlechten Startbedingungen, für weiterführende Literatur siehe [Rutk08, S. 221 - 222; Mish05]. Das Ausgabeergebnis der Architektur (Identifizie-rung des Sprechers) wird durch Kombinieren der Ausgaben aller Netzwerkausgabeknoten

erzeugt, was durch den Credit Assignment Algorithm realisiert wird. Lt. Aussage der Auto-ren liefert die Aufteilung in kleinere Netzwerke exaktere Ergebnisse und geringere Trai-ningszeiten als der Einsatz eines Multi Layer Perceptrons zur Lösung des Gesamtprob-lems.

Im Vergleich zu dem Ansatz dieser Arbeit werden bei [Chen97] keine Diskriminanzwerte als Inputwerte der neuronalen Netzwerke verwendet, sondern die ursprünglichen Einga-bewerte der Gesamtarchitektur. Die Diskriminanzanalyse wird an den Knoten der Baum-struktur zur Aufteilung der Gruppen in Untergruppen eingesetzt. Zusätzlich basiert die Arbeit von [Chen97] nicht auf Event Processing-Technologien. Es wird bei [Chen97] nicht mit events aus der IT-Landschaft einer Organisation gearbeitet, sondern mit den aufge-zeichneten Klängen von Vokalen von 15 englisch sprechenden Testpersonen experimen-tiert.

Ein weiterer kombinierter Einsatz von Diskriminanzanalyse und neuronalen Netzwerken findet sich in der Arbeit von [Murc04]. Der Artikel beschreibt eine Methode zur Unter-scheidung von aktiven und inaktiven antibakteriellen Molekülverbindungen auf Basis von topologischen Deskriptoren (topologische Deskriptoren sind einfache Integerwerte, die sich aus der Struktur von Molekülen ergeben. Sie werden benutzt um Molekülstruktur und biologische Aktivitäten zu korrelieren, für weiterführende Informationen siehe [Hu03]). Die Ziele der Forschungsarbeit von [Murc04] sind, neue antibakterielle Substanzen aus den Strukturen zu gewinnen und zwischen antibakteriellen und nicht-antibakteriellen Medika-menten unterscheiden zu können. Die eingesetzten Verfahren für diese Aufgabe sind Dis-kriminanzanalyse und neuronale Netzwerke. In ihrer Studie verwenden die Autoren 217 Moleküle mit bekannter antibakterieller Aktivität und 216 Verbindungen, bei denen keine antibakterielle Aktivität vorliegt. Die in [Murc04] entwickelte Methode für die Selektion neuer antibakterieller Verbindungen besteht aus dem folgenden mehrstufigen Prozess:

Schritt 1: Berechnung der topologischen Deskriptoren für jedes einzelne Molekül der Stu-die.

Schritt 2: Training eines neuronalen Netzwerks mit bekannten topologischen Deskriptoren mit gleichzeitiger Berechnung einer Diskriminanzfunktion für die Klassifikation von aktiven und inaktiven Verbindungen.

Schritt 3: Durchführung einer Datenbanksuche nach Strukturen mit möglicher

antibakteri-Schritt 4: Klassifizierung der Strukturen in aktiv und inaktiv durch Verwendung der Diskri-minanzfunktion.

Schritt 5: Klassifizierung der Strukturen mit dem neuronalen Netzwerk zur Überprüfung der Klassifizierungsergebnisse der Diskriminanzfunktion.

Schritt 6: Durchführung von pharmalogischen und toxikologischen Tests zur Bestätigung der antibakteriellen Aktivität in den ausgewählten Verbindungen.

Das neuronale Netzwerk bildet in [Murc04] ein Multi Layer Perceptron mit insgesamt drei Schichten, das die Integerwerte der topologischen Deskriptoren als Inputwerte übergeben bekommt. Die Hiddenschicht beinhaltet zwei Knoten, die Outputschicht einen Knoten.

Abbildung 35 zeigt das neuronale Netzwerk für 62 topologische Deskriptoren als Einga-beparameter. Als Trainingskomponente wird der Stuttgart Neural Network Simulator (SNNS) verwendet. Hierbei handelt es sich um eine Softwarekomponente für die Entwick-lung von neuronalen Netzwerken, die in einem Gemeinschaftsprojekt der Universitäten Stuttgart und Tübingen entwickelt wurde. Für weiterführende Informationen zu SNNS, siehe [Univ08].

x1 x2 x2 x3 x62

Input Layer Hidden Layer Output Layer Active / Undermined / Inactive

62 Topological Indices

Abbildung 35: Verwendete neuronale Netzstruktur in der Arbeit von [Murc04, S. 3]

Das Ergebnis der Studie von [Murc04] mit 433 Molekülen ist, dass bei einem Diskrimi-nanzwert größer als 0,5 die molekulare Verbindung von der Diskriminanzfunktion als aktiv klassifiziert wird. Dagegen ist bei einem Wert kleiner als 0,5 von einer inaktiven Verbin-dung auszugehen. Die Überprüfung dieser Klassifizierung der Diskriminanzanalyse mit dem beschriebenen neuronalen Netzwerk ergibt die nachfolgenden Ergebnisse.

Wenn durch die Diskriminanzanalyse als inaktiv klassifiziert, bedeuten die Outputwerte des neuronalen Netzwerks:

• Outputwert im Intervall zwischen -1,0 und -0,5 => Klassifikation korrekt.

• Outputwert im Intervall zwischen -0,5 und 0,0 => Klassifikation unbestimmt.

• Outputwert im Intervall zwischen 0,0 und 1,0 => Klassifikation falsch.

Wenn durch die Diskriminanzanalyse als aktiv klassifiziert, bedeuten die Outputwerte des neuronalen Netzwerks:

• Outputwert im Intervall zwischen 0,5 und 1,0 => Klassifikation korrekt.

• Outputwert im Intervall zwischen 0,0 und 0,5 => Klassifikation unbestimmt.

• Outputwert im Intervall zwischen -1,0 und 0,0 => Klassifikation falsch.

Für die Gruppe der aktiven Verbindungen weist die Diskriminanzanalyse eine Klassifikati-onsgenauigkeit von 75,00% auf, beim neuronalen Netzwerk liegt dieser Wert bei 95,31%.

Bei den inaktiven Verbindungen liefert die Diskriminanzanalyse einen Ergebniswert von 90,63% Klassifikationsgenauigkeit, während das neuronale Netzwerk bei dieser Gruppe 87,50% der Verbindungen korrekt identifiziert. Bei allen genannten Prozentwerten sind die unbestimmten Gruppeneinteilungen mit einbezogen, werden aber nicht zu den exakt klas-sifizierten Verbindungen gezählt.

In [Murc04] werden Diskriminanzanalyse und neuronale Netzwerke unabhängig vonein-ander zur Klassifikation von molekularen Verbindungen eingesetzt. Im Gegensatz zu der hier vorliegenden Arbeit dienen die Integerwerte der topologischen Deskriptoren als In-putparameter für das neuronale Netzwerk. Somit werden keine Diskriminanzwerte an das neuronale Netz übergeben. Bei [Murc04] wird im Bereich der Pharmazie geforscht, wobei keine Event Processing-Technologie verwendet wird.

Durch diesen Abschnitt wurde gezeigt, dass die Übergabe von berechneten Diskrimi-nanzwerten an ein neuronales Netzwerk in der Literatur bislang noch nicht erwähnt wur-de, da die hier diskutierten Artikel der Architektur dieser Arbeit am Ähnlichsten sind.

Ein weiteres Ergebnis ist, dass die Forschung im Bereich Betrugserkennung mit Complex Event Processing noch in einem Anfangsstadium steckt. Dieser Umstand ist mit dem bis-her relativ kurzen Bestehen von CEP-Technologie begründet. Aus diesen Gründen exis-tiert ein großes Potenzial, in diesem Gebiet hilfreiche Forschungsarbeit leisten zu können.

Im nächsten Kapitel wird daher die Auswahl der Verfahren zur Betrugserkennung auf

Ba-sis von Complex Event Processing begründet. An dieser Stelle ist der allgemeine Teil abgeschlossen und die Beschreibung der konkreten Entwicklung dieser Arbeit beginnt.