Aufbau und BeschreibungNeuronaler Netzwerke

Neuronale

Netzwerke

NN

Aufbau und Beschreibung

Neuronaler Netzwerke

Neuronale

Netzwerke

NN

Inhalt

•

Biologisches Vorbild

•

Mathematisches Modell

•

Grundmodelle Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Biologisches Vorbild – Das Neuron

Grundkomponenten:

• Zellkörper (Soma)

• Zellkern (Nukleus)

• Dendriten

• Nervenfaser (Axon)

• Synapsen

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Biologisches Vorbild – Das Neuron

Informationen können im Nervensystem durch zwei Arten von elektrochemischen Signalen weiter geleitet werden: durch lokale Potentiale und Aktionspotentiale (Lokale Potentiale sind passive Signale, die durch externe Stimulation der Membran, der Dendriten oder des Zellkörpers hervorgerufen wird, z.B.

Sinnesrezeptoren auf der Netzhaut des Auges).

Aktionspotentiale entstehen, wenn die Membran vom Ruhepotential ausgehend depolarisiert wird. Jede Zelle hat hier ihren eigenen Schwellenwert, der auch eine Funktion der Zeit sein kann. Wird dieser Zellenschwellwert überschritten, so kippt das Ruhepotential unweigerlich in ein positives Potential um, dessen Maximum bei ca. +30 mV liegt.

Neuronale

Netzwerke

Je intensiver ein Stimulus ist, um so größer ist erstens die Anzahl der Neuronen, in denen Impulse auftreten, und mit zunehmender Intensität steigt die Zahl der Nervenimpulse, die er auslöst.

Neuronale

Netzwerke

NN

Biologisches Vorbild – Das Neuron Neuronale

Netzwerke

Wenn die Reizintensität unter dem Schwellwert des Neurons bleibt, hat dies lediglich zur Folge, dass das Ruhepotential ansteigt. Steigt sie über den Schwellwert wird das Neuron eine Folge von Spikes feuern. (Als Spike wird das Aktionspotential bezeichnet, da es an eine Spitze erinnert). Wenn ein Aktionspotential seine Reise entlang des Axons hinter sich gebracht hat und die Endknöpfchen erreicht hat, muss die Information an das nächste Neuron weiter gegeben werden. Aber zwei Neuronen berühren sich niemals; zwischen ihnen besteht immer ein kleiner Spalt. Diese Anschlussstelle wird als Synapse bezeichnet.

Neuronale

Netzwerke

NN

Biologisches Vorbild – Das Neuron Neuronale

Netzwerke

Um den Spalt zu überbrücken und neurale Botschaften zum nächsten Neuron zu bringen, wird der elektrische Impuls in einen chemischen Prozess transformiert. Chemische Trägerstoffe transportieren ihn von einer Seite der Synapse, der präsynaptischen Membran des Endknöpfchens, über den Spalt an die postsynaptische Membran der Dendriten oder des Zellkörpers des nächsten Neurons. Dort kann er ein lokales Potential auslösen, das abermals entlang des Axons zur nächsten Synapse wandert, usw. Einige Synapsen sind exzitatorisch (erregend): Der Neurotransmitter veranlasst das postsynaptische Neuron, Impulse in einer höheren Rate zu generieren. Andere sind inhibitorisch (hemmend): Die Transmittersubstanz reduziert die Impulsrate oder verhindert neue Impulse in der postsynaptischen Zelle.

Neuronale

Netzwerke

NN

Mathematisches Modell

Eingabe anderer Neuronen

Propagierungsfunktion:

Sie verarbeitet die Eingaben zur Netzeingabe (oft gewichtete Summe)

Aktivierungsfunktion:

Sie erzeugt aus der Netzeingabe und der alten Aktivierung die neue Aktivierung.

Ausgabefunktion:

Sie erzeugt aus der Aktivierung die Ausgabe (oft Identität)

Ausgabe zu anderen Neuronen

net

= f

{o

1

,  , o

n

, w

1

,  , w

n

} net

= ∑

j=1 n

o

⋅ w

f

: {o

1

,  , o

n

}×{w

1

,  , w

n

} net

a

 t = f

 net

 t  , a

 t −1  , θ

 f

:net

 t × a

 t −1×θ

 a

 t 

f

: a

 o

f

 a

 = a

, also a

= o

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Mathematisches Modell

Definition Neuron:

Ein künstliches Neuron ist ein Tupel (x, w, f_act, f_out, o) bestehend aus einem Eingabevektor x = (x1, ..., xn), einem Gewichtsvektor w = (w1, ..., wn), einer Aktivierungsfunktion f_act mit f_act: IRn x IRn ---> IR und einer Ausgabefunktion f_out, für die f_out: IR --> IR gilt.

Dabei wird durch f_out ( f_act( x, w)) = o der Ausgabewert des Neurons erzeugt, der an die nachfolgenden Neuronen über die Axonkollaterale weitergeleitet wird.

Definition Neuronales Netz:

Ein Neuronales Netz ist ein Paar (N, V) mit einer Menge N von Neuronen und einer Menge V von Verbindungen.

Es besitzt die Struktur eines gerichteten Graphen, für den die folgenden Einschränkungen und Zusätze gelten:

• Die Knoten des Graphen heißen Neuronen.

• Die Kanten heißen Verbindungen.

• Jedes Neuron kann eine beliebige Menge von Verbindungen empfangen, über die es seine Eingabe erhält.

• Jedes Neuron kann genau eine Ausgabe über eine beliebige Menge von Verbindungen aussenden.

• Das Neuronale Netz erhält aus Verbindungen, die der "Außenwelt" entspringen, Eingaben und gibt seine Ausgaben über in der "Außenwelt" endende Verbindungen ab.

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Mathematisches Modell

Grundaufbau Neuronales Netzwerk :

Schichten:

3 verschiedene Schichttypen Eingabeschicht (Input Layer)

• Neuronen dieser Schicht nehmen Informationen als Rezeptoren aus der Umgebung auf, geben diese über die Aktivation an das Netz weiter und haben keine Gewichtung (Eingabeunits).

Vermittlungsschicht (Hidden Layer)

• Alle Schichten zwischen Ein- und Ausgabeschicht, auf deren Aktivation nicht unmittelbar zugegriffen werden kann.

Ausgabeschicht (Output Layer)

• Diese Schicht macht die Ergebnisse als Aktoren des Netzes nach aussen hin sichtbar.

Gewichtung wds (d = destination s = source) wds = 0 : keine Neuronenverbindung

wds < 0 : hemmende Neuronenverbindung wds > 0 : anregende Neuronenverbindung

⋮

⋮ ⋮

⋮

⋯

⋯

⋯

x 1

⋯

x 2

x 3

x n

o m o 1

Input

Layer k Hidden

Layer Output

Layer Gewichtete Verbindungen wds

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Mathematisches Modell

Aktivierungsfunktion :

Aktivierungs- und Ausgabefunktion können auch als Transferfunktion zusammengefasst werden.

Der Schwellwert θ eines Neurons ist diesem genau zugeordnet und markiert die Stelle der größten Steigung der Aktivierungsfunktion.

Die Aktivierungsfunktion eines Neurons verarbeitet den alten Aktivierungszustand ( also a( t – 1) ), den aktuellen Aktivierungszustand ( a(t) ) und die Netzeingabe ( net(t) ).

Die Aktivierung eines Neurons zu einem bestimmten Zeitpunkt hängt also davon ab, wie aktiviert es bereits war und welche Netzeingaben es von außen erhalten hat.

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Mathematisches Modell

Das Bias Neuron :

Um die Arbeit mit einem neuronalen Netzwerk signifikant zu vereinfachen und den Schwellwert θ nicht immer explizit einzugeben und anpassen zu müssen, wird ein Bias Neuron hinzugefügt.

Das Bias-Neuron ist ein zusätzliches Neuron in der Inputschicht, sowie in den Hiddenschichten.

Es gibt keine Verbindung zu einem Bias-Neuron. Die Ausgabe jedes Bias-Neurons ist konstant 1.

Da die Ausgangsgewichte der Bias-Neuronen ebenfalls durch die Lernregel modifiziert werden, entspricht das Bias einem variablen Schwellenwert.

Anstatt der Schwellwertgleichung:

Nun gilt die vereinfachte Form mit variablen Schwellenwert:

net

= ∑

j=1 n

o

⋅ w

− θ

 0 bzw. ∑

j=1 n

o

⋅ w

 θ

net

= ∑

j=1 n1

o

⋅ w

 0 bzw. ∑

j=1 n1

o

⋅ w

 0

1

θ1

θ2

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Grundmodelle

Topologieübersicht :

Neuronale Netze

Feed Forward Rückgekoppelt Vollständig Verbunden

ShortCut Connections Direkt Indirekt Lateral

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Grundmodelle

Feed Forward Netze :

i 1 i 2

h 2

h 1 h 3

o 1 o 2

Allgemein:

Ein Feed Forward Netz besitzt klar abgetrennte Schichten von Neuronen: Eine Eingabeschicht, eine Ausgabeschicht und beliebig viele, von aussen nicht sichtbare Vermittlungsschichten.

Verbindungen sind nur zu Neuronen der jeweils nächsten Schicht erlaubt.

Feed Forward Netze in denen ein Neuron zu jeweils jedem Neuron der nächsten Schicht verbundene ist, nennt man auch vollverknüpft.

Feed Forward Netz mit ShortCut Connections:

Es gibt auch Feed Forward Netze, die Verbindungen zulassen, welche mehrere Ebenen überspringen. Aber auch hier gilt, dass diese Verbindungen dürfen ausschliesslich in Richtung der Ausgabeschicht zeigen.

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Grundmodelle

Rückgekoppelte Netze :

i 1 i 2

h 2

h 1 h 3

o 1 o 2

Allgemein:

Man spricht von einem rückgekoppelten Netz, wenn ein Neuron mit seinen Ausgaben in der Lage ist, sich auf direktem oder indirektem Wege selbst zu beeinflussen.

i 1 i 2

h 2

h 1 h 3

Direkte Rückkopplung:

Erweiterung einer gewichteten Verbindung vom Neuron zu sich selbst.

Somit kann sich das Neuron selbst direkt hemmen oder bestärken.

Indirekte Rückkopplung:

Es sind gewichtete Verbindung entgegen der Richtung zur Ausgabeschicht erlaubt und ein Neuron kann sich so auf indirektem Wegen selbst beeinflussen, indem es das nachfolgende Neuron hemmt oder bestärkt und dieses zurückwirkt.

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Grundmodelle

Rückgekoppelte Netze :

i 1 i 2

h 2

h 1 h 3

o 1 o 2

Laterale Kopplung:

Gewichtete Verbindungen von Neuronen innerhalb einer Ebene nennt man laterale Rückkopplung.

Oft hemmt dann jedes Neuronen die anderen der Schicht und verstärkt sich selbst.

Es wird dann nur das stärkste Neuron aktiv.

(Winner takes ist all Prinzip)

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

Grundmodelle

Vollständig verbundene Netze :

i 1 i 2

h 2

h 1 h 3

o 1 o 2

Vollständiger Verbund:

Prinzipiell darf jedes Neuron mit jedem anderen Neuron des Netzwerkes verbunden werden.

Diese Verbindungen müssen symmetrisch sein.

Berühmtester Vertreter sind selbstorganisierende Karten.

Neuronale

Netzwerke

Neuronale

Netzwerke

NN

!!! Danke schön !!!

Neuronale

Netzwerke