Beispiel 7: Sag mir alle Affenarten, die Du kennst!
5.5 Simulation von TOTS mit Hilfe selbstorganisierender Merkmalskarten
5.5.1 Die Ergebnisse der Computersimulation von TOTS
Kohonenkarten haben gegenüber anderen KNN-Typen zwei entscheidende Vorteile, wenn es um die Simulation kognitiver Phänome geht. Der erste besteht darin, daß das Lernverfahren ohne 'Lehrer', d.h. ohne externe Überwachung funktioniert, wodurch eine wesentlich höhere biologische und kognitive Plausibilität gegenüber KNN-Typen mit überwachtem Lernverfahren gegeben ist.
Der zweite Vorteil besteht darin, daß das Lernen nie abgeschlossen ist, d.h., daß es keine künstliche Trennung zwischen einer Lern- und einer recall-Phase gibt. Lernen ist ein kontinuierlicher Prozeß, wie auch Levelt betont: "The mature language user keeps expanding his lexicon as new words are needed or arise in the language."53 Dieser nie endende Lernprozeß wird auf einer Kohonenkarte durch die ständige, dynamische Umstrukturierung der Repräsentationsbereiche widergespiegelt.54 Diese zweite Eigenschaft, die Kontinuität des Lernens, bildet die Grundlage der weiteren Argumentation, da besonders die verschiedenen TOT-Phänomene darauf hinweisen, daß eine Wortform nicht ein einziges Mal gelernt wird und von diesem Zeitpunkt an immer zur Verfügung steht, sondern vielmehr einen variablen Grad der Aktivierbarkeit bzw. Verfügbarkeit aufweist. Zum Lernen gehört immer auch Vergessen, d.h., daß Wortformen u.U. neu gelernt, respektive von Zeit zu Zeit reaktiviert werden müssen, um nicht vergessen zu werden. Jeder Gebrauch eines Wortes oder allgemein eines Gedächtnisinhaltes wirkt sich aus dieser Sicht auf das
53 Levelt, W.J.M. (1989). Seite 1.
54 Voraussetzung für die Möglichkeit einer Umstrukturierung ist natürlich, daß nicht aus pragmatischen Gründen der Lernfaktor und der Rückkopplungskoeffizient gegen null streben, wodurch keine weitere Dynamik auf der SOM zu erzielen wäre.
Speichermedium Gehirn aus, indem es Spuren im Gedächtnis55 hinterläßt und damit dem Prozeß des Vergessens entgegenwirkt. Beispielsweise kann davon ausgegangen werden, daß sich bei den für die vorliegende Arbeit befragten Vps nach der Aufzählung aller Affenarten durch die Reaktiverungen der Wortformen im mentalen Lexikon Veränderungen ergeben haben, da einige Vps sich, wie in Kapitel 4.1.3 gezeigt wurde, besonders an Wortformen, die zu TOTS führten, im Nachhinein sehr gut erinnern konnten. Überspitzt formuliert ist das mentale Lexikon der Vps nach der Aufzählungsaufgabe nicht mehr das gleiche wie vorher, d.h., daß es sich beim mentalen Lexikon um ein hochdynamisches System handelt, welches sich durch permanente Umstrukturierungs- bzw. Reorganisationsprozesse auszeichnet.56 Die Spuren, die die Aufzählungen hinterlassen haben, werden als Veränderungen an den Synapsen, die an der Speicherung und der Aktivierung der Wortformen beteiligt sind, betrachtet.
Im folgenden werden exemplarisch mögliche phonologische Repräsentationsformen und die Veränderungen an den synaptischen Verbindungen in Form einer SOM wiedergegeben57. Für diese Beispiele wurden der SOM aus der Kategorie der Affenarten die sieben Wortformen 'Baboon', 'Chimpanzee', 'Gibbon', 'Gorilla', 'Lemure', 'Orang-Utan' und 'Rhesus' in Form von Vektoren dargeboten. Wie oben bereits angedeutet, liegt dabei der Focus auf den Verbindungen zwischen den Eingangsvektoren und den Neuronen der Kohonenschicht. Um die Ergebnisse besser darstellen zu können, wurden den Werten der Verbindungsgewichte in Anlehnung an die Darstellungsform von Ritter & Kohonen die ersten drei
55 Für einen Vergleich zwischen den Erkenntnissen über Gedächtnisspuren in Gehirn und KNN siehe: Alkon, D.L. (1990). Gedächtnisspuren in Nervensystemen und künstliche neuronale Netze. In:
Spektrum der Wissenschaft Sonderband: Gehirn und Kognition. Seite 84-93.
56 Für den Nachweis solcher Reorganisationsprozesse im Gehirn siehe: Elbert et al. (1994). Extensive reorganization of the somatosensory cortex in adult humans after nervous system injury. In:
Neuroreport 16. Seite 2593-2597.
57 Die Wahl der Kategorie sowie die Anzahl der verwendeten Wortformen ist unerheblich für die Simulationsergebnisse. Mit einer SOM können ebenso alle anderen Kategorien und Wortformen verarbeitet bzw. simuliert werden. Bei der Formalisierung der phonologischen Eigenschaften könnte z.B. die Anzahl der Silben berücksichtigt und so gewichtet werden, daß jeweils alle Wortformen mit der gleichen Silbenzahl einen gemeinsamen Bereich auf der SOM bilden. Wie jedoch in Kapitel 2 bereits diskutiert wurde, gibt es für eine solche Organisation des mentalen Lexikon noch keine Belege.
Buchstaben der entsprechenden Wortformen zugeordnet. Die erste Abbildung zeigt den Zustand nach der Initialisierung der SOM durch Zufallswerte. Entsprechend den zufällig gewählten Werten der Gewichte sind auch die den Werten zugeordneten Wortformen, respektive deren Darstellungen in der Tabelle, zufällig auf der SOM verteilt.58 Diese wahllose Verteilung entspricht modellhaft dem Zustand der synaptischen Verbindungen vor jeglichem Lernprozeß.
GIB CHI ORA CHI ORA LEM RHE LEM GOR CHI
LEM GOR GIB BAB GOR CHI BAB LEM ORA GOR
ORA BAB ORA GOR LEM ORA RHE BAB CHI GIB
GIB ORA ORA BAB CHI GOR BAB GOR GIB GOR
BAB GOR BAB GIB BAB LEM GIB GIB LEM CHI
ORA GIB CHI LEM RHE GOR LEM CHI BAB LEM
LEM LEM ORA GOR LEM ORA GIB BAB BAB ORA
ORA GOR RHE GIB RHE CHI LEM GOR ORA GIB
RHE ORA CHI GOR CHI RHE GIB RHE CHI LEM
BAB LEM GOR LEM GIB GIB ORA CHI GOR CHI
Abbildung 12: Zufällige Verteilung nach der Initialisierung, d.h. noch vor dem ersten Lernschritt.
Die folgende Abbildung zeigt die gleiche SOM nach 300 Lernschritten, wobei jeder Eingabevektor mit gleich großer Wahrscheinlichkeit an das Netz angelegt wurde.
58 Hier könnte leicht der Eindruck entstehen, daß auf der Kohonenkarte bereits irgendwelche Informationen repräsentiert seien. Dem ist natürlich nicht so. Die Werte sind durch einen Zufallsgenerator gewählt und stellen zunächst keinerlei Repräsentation irgendeiner Information dar.
GIB GIB GIB GIB GIB GOR GOR GOR GOR GOR
GIB GIB GIB GOR GOR GOR GOR GOR GOR GOR
GIB GIB GOR GOR GOR GOR LEM LEM LEM LEM
GIB BAB BAB BAB GOR GOR LEM LEM LEM CHI
BAB BAB BAB BAB ORA LEM LEM LEM LEM CHI
BAB BAB BAB BAB ORA LEM LEM LEM CHI CHI
BAB BAB BAB BAB ORA ORA LEM LEM CHI CHI
BAB RHE RHE ORA ORA ORA LEM CHI CHI CHI
RHE RHE RHE ORA ORA ORA ORA CHI CHI CHI
RHE RHE RHE ORA ORA ORA ORA CHI CHI CHI
Abbildung 13: Die SOM nach den ersten 300 Lernschritten.
Wie erwartet, hat sich eine Ordnungsstruktur ergeben, die das Resultat aus den zufälligen Anfangswerten und den Präsentationen der Eingabevektoren darstellt. An diesem Punkt haben Ritter & Kohonen ihre Interpretation für semantische Merkmale angesetzt, jedoch keine weiteren Untersuchungen in bezug auf dynamische Veränderungen der SOM durch infrequente Nutzung bestimmter Repräsentationen durchgeführt.
Im folgenden soll gezeigt werden, welche Prozesse auf der SOM stattfinden, wenn der SOM nach diesem ersten Lernprozeß gezielt bestimmte Eingabevektoren häufiger als andere Eingabevektoren vorgegeben werden, was der mehr oder minder zufälligen Verwendung von Wörtern im normalen Sprachgebrauch entsprechen soll.
Wie im vorangegangenen Kapitel gezeigt wurde, hängt die Variabilität der Verbindungen der SOM von dem Wert sigma des Rückkopplungskoeffizienten ab, da über diesen Wert reguliert wird, wie groß der Umkreis um das Siegerneuron ist, an dem noch mitgelernt wird. Vorausgesetzt, daß sigma nicht zu klein wird59, so daß nur noch am Siegerneuron gelernt wird, verändert sich die SOM in
59 Häufig läßt man sigma aus pragmatischen Gründen gegen null bzw. gegen einen kleinen Wert konvergieren, so daß das Lernverfahren und die Entstehung der Ordnungsstrukturen gesichert ist.
Für den mathematischen Hintergrund des Konvergenzverhaltens siehe: Ritter et al. (1991). Kapitel 14 u. 15. Oder: Kohonen, T. (1982a).
Abhängigkeit von der Frequenz und Rezenz der dargebotenen Eingabevektoren.
Das folgende Beispiel ist so gewählt, daß sich der Effekt besonders deutlich zeigt.
Dabei wurden alle Wortformen bis auf 'Rhesus' weiterhin mit gleich großer Wahrscheinlichkeit an die SOM angelegt. Neben der allgemeinen dynamischen Verschiebung der Synapsenbereiche fällt besonders die schrittweise, graduelle Verdrängung der Verbindungswerte, die für die Kodierung der Wortform 'Rhesus' zuständig waren, auf. Nach dreißig Iterationen ist die Repräsentation der Wortform 'Rhesus' scheinbar nicht mehr vorhanden. Die folgende Abbildung zeigt den Zustand der SOM nach diesen dreißig Iterationen.
GIB GIB GIB GIB GOR GOR GOR GOR GOR GOR
GIB GIB GIB GIB GOR GOR GOR GOR GOR GOR
GIB GIB GIB GIB GOR GOR GOR LEM LEM CHI
BAB BAB GIB GIB GOR GOR LEM LEM LEM CHI
BAB BAB BAB BAB ORA ORA LEM LEM LEM CHI
BAB BAB BAB BAB ORA ORA LEM LEM CHI CHI
BAB BAB BAB BAB ORA ORA ORA CHI CHI CHI
BAB BAB ORA ORA ORA ORA ORA CHI CHI CHI
BAB ORA ORA ORA ORA ORA ORA CHI CHI CHI
ORA ORA ORA ORA ORA ORA ORA ORA CHI CHI
Abbildung 14: Die SOM nach weiteren 30 Iterationen, wobei der Eingabevektor, der die Wortform 'Rhesus' repräsentiert, nicht mehr an das Netz angelegt wurde.
Bei den meisten Bereichen haben sich nur geringe Verschiebungen ergeben, wohingegen die Wortform 'Rhesus' durch die Ausbreitung von 'Orang Utan' und 'Baboon' völlig verdrängt wurde. Diese Verdrängung läßt sich als eine Form des Vergessens aufgrund von geringer Verwendungsfrequenz und –rezenz dieser Wortform interpretieren. Allerdings ist das Wort nicht völlig verdrängt worden, sondern ist latent noch in den Gewichten der Bereiche, die zuvor an die Repräsentationsbereiche für 'Rhesus' angrenzten, vorhanden. Dies läßt sich leicht zeigen, indem man bei den folgenden Iterationen auch die Wortform 'Rhesus' wieder an die SOM anlegt. Um diesen Sachverhalt zu verdeutlichen, wurde der
gleichen SOM für 10 weitere Iterationen nur die Wortform 'Rhesus' dargeboten, was mehreren Aktivierungsversuchen dieser Wortform entsprechen soll. Die folgenden Bereichsausschnitte zeigen die Reaktionen der SOM auf diese zehn Darbietungen, wobei die Fokusierung auf der linken unteren Ecke der SOM liegt.
BAB BAB BAB BAB BAB BAB BAB BAB
BAB BAB BAB ORA BAB BAB BAB ORA
BAB BAB ORA ORA BAB BAB ORA ORA
ORA ORA ORA ORA ORA ORA ORA ORA
BAB BAB BAB BAB BAB BAB BAB ORA
BAB BAB BAB ORA RHE BAB BAB ORA
BAB BAB ORA ORA RHE RHE RHE ORA
RHE ORA ORA ORA RHE RHE RHE RHE
Abbildung 15: Ausschnitt der SOM nach der ersten (links oben), der zweiten (rechts oben), der dritten (links unten) und der zehnten (rechts unten) Iteration.
Hier zeigt sich, daß ein einzelner Aktivierungsversuch einer 'teilweise vergessenen' Wortform noch zu keinem Erfolg geführt hat. Auch der zweite Versuch bleibt erfolglos. Erst beim dritten Versuch reagieren die Neuronen wieder auf das vormals gelernte Wort. Diese Prozesse des Vergessens und der darauffolgenden Reaktivierung lassen sich beliebig oft und für beliebig viele Repräsentationen wiederholen.60 Sie stellen die Grundlage für den im folgenden vorgeschlagenen Erklärungsansatz für das Entstehen und Auflösen von TOTS dar.
60 Auf diese Weise ließe sich auch der Erwerb neuer Wortformen, d.h. Phänomene des Erst- und Zweitspracherwerbs simulieren. Um eine neue Wortform in die bestehende Ordnungsstruktur der SOM zu integrieren, muß lediglich die neue Wortform entsprechend häufig, d.h. auf jeden Fall häufiger als eine bereits gelernte Wortform angelegt werden. Daraufhin kommt es zu Reorganisationsprozessen auf der SOM. Nach einigen Iterationen wird dann die neue Wortform auf der SOM abgebildet wie alle anderen Wortformen auch.