Backpropagation in NN

Prüfungsvorbereitung

Programmierung eingebetteter Systeme

Backpropagation in NN

Struktur eines Neuronalen Netzwerkes

(feed forward)

Eigenschaften des Neurons

„klassisches Modell“

x f(x)

mit )

f(a o

net wenn 0

net wenn a 1

o w

net

j j

j j j

i

ji j





 









 



 

Probleme beim „klassischen“ Modell

• unflexibles Netzwerk (o

=1 oder nicht o

=0)

• zu viele Units um ein einfaches Problem zu beschreiben

• Problem unter Umständen nicht lösbar

• Modell kann nicht Lernen

– Lernen mit BP nicht möglich da – evtl. mit ES

0 o _j

net





verbessertes Modell

!

!

! 0 o

x f(x)

: hier )

f(a o

e 1 f(x) 1

mit )

f(net a

o w

net

j net

j j

j x j

1 N

1

ji j

j









 













i

Eigenschaften des verbesserten Modells

• nun Lernen mit BP möglich

• Backpropagation = Gradientenbildung von E (Fehlerfunktion)

• Ziel: Finden des optimalen w

• dazu folgende Vorschrift

E w

w  ^neu _ji   ^alt _ji   

Gradientenbildung

Frage nach dem E (Fehlerfunktion)

• erste Überlegung:

- suboptimal: Ableitung nicht überall stetig/differenzierbar

• zweite Überlegung:

- Quadrieren des Betrages

→

→ E: Summe (pattern/outputs)

→ c=0,5 (willkürlich zweckmäßig)

pk pk

pk

t o

e  





pk

t o

e  





p k

e pk

c

E

 ^{t o} 

c e E

1 a 1

o o

w net

p k

2 pk net pk

j j

j

i ij

j ^  ^{  } _ ^

^  ^



 







 



 



 



















p alt

kj

p k

pk alt

kj

p k

pk alt

kj alt

kj neu

kj

kj

E c w

e c

w e

c w

E w

w

für w hier

von w Einstellen

NN in

Lernen

 

 

 

 



kurze Zusammenfassung

 

 

 

 

  ^{ }

 

 _{kj j}  _j

w k

w

pk net pk

net pk

net

pk pk

p o

k w

pk net

p o

kj k

pk p

w p

o o

w net

o 1

e o 1

o 1

1 o

t 2 E

net o

E w

net o

E E

kj kj

k k k

pk

kj k

pk kj















 



 





 



































Es hilft alles nichts!!!

Ergebnis

  ^{ }  

 

 























































p k

j pk

pk k

alt kj neu

kj

p

p alt

kj neu

kj

j pk

pk k

p

j pk

pk pk

pk p

o o

1 o

e w

w

E c

w w

o o

1 o

e 2 E

o o

1 o

1 o

t 2

E





 







• für w

prinzipiell die selbe Vorgehensweise

• aber: Änderung der w

beeinflussen w

→ Gradient wird komplizierter!!!

→ hat trotzdem die selbe Struktur

Fehlerwert*Ableitung*Output(vorige Stufe)

 _pj  _i

pj j

p 2 e o 1 o o

E      

 

Anpassung Wichtungen (w _ij )