E6: Ursachen im Algorithmus (Trainingsprozess)

Fahrstil, welcher nicht in den Trainingsdaten vorhanden ist, im Betrieb auf, wird der Algo-rithmus eine falsche Aussage treffen.

E16: Messfehler verdeckt relevante Zusammenhänge zu stark

Sind die zur Problemlösung erforderlichen Zusammenhänge im Datensatz vorhanden, ist es möglich, dass Messfehler diese für den Lernalgorithmus so stark verdecken, dass diese nicht in ihrer eigentlichen Form identifiziert werden und das gelernte Modell im Betrieb, wenn diese Messfehler nicht mehr oder anderweitig vorhanden sind, Fehlverhalten zeigt.

Die Ursachen der Messfehler sind vielfältig und in der Literatur (beispielsweise Hering und Schönfelder¹⁸⁹) ausführlich beschrieben.

E17: Label nicht korrekt

Eine unzureichende Qualität der Label führt zu inkorrekten gelernten Regeln des Modells im Vergleich zur Realität.¹⁹⁰ Diese Ursache tritt prinzipbedingt lediglich im Rahmen von Supervised-Lernansätzen auf. Sie ist dabei auf Label bezogen, die basierend auf den bereits aufgenommenen Ausgangsgrößen entweder manuell oder automatisiert nachträglich gene-riert wurden. Generelle unzureichende Qualität der aufgenommenen Daten (unabhängig ob Ein- oder Ausgangsgrößen) ist unter der Ursache E16 geführt und unterscheidet sich hin-sichtlich späterer Vermeidungsmaßnahmen von der hier diskutierten Ursache. Nachträglich generierte Label finden dabei vor allem bei bildbasierten Ausgangsgrößen Anwendung, um beispielsweise Objekte wie Fußgänger anhand des zugehörigen Pixelbereichs manuell zu kennzeichnen. Dieser Datensatz wird z.B. genutzt, um ein Modell zur Fußgängerdetektion zu trainieren. Ein Beispiel für manuell generierte, nachträgliche Label außerhalb des Bild-bereichs besteht in der Selbsteinschätzung eines Fahrers hinsichtlich seines Fahrstils basie-rend auf der vergangenen Fahrt. Hier besteht das Problem darin, dass keine eindeutige Ground-Truth¹⁹¹ vorhanden ist, auf die im Annotationsprozess Bezug genommen wird. Im obigen Beispiel ist es fragwürdig, auf welche Referenz die Fahrer sich selbst beziehen und wie sinnvoll dieses Label überhaupt für ein Training zu nutzen ist.

Abbildung 4-3: Ursachen in den Trainingsalgorithmen

E21: Mikroskopische anstelle makroskopischer Zusammenhänge erlernt

Eine Ursache für unzureichende Generalisierung besteht darin, dass die durch die Zielfunk-tion generierten Zusammenhänge aus mikroskopischen anstelle von makroskopischen Be-ziehungen der Daten bestehen. Die Ursache ist bereits in Unterkapitel 3.3 anhand des Bei-spiels mit der Fellstruktur eines Tieres als mikroskopisches Merkmal erläutert. Sie tritt bei komplexen Algorithmen auf, welche sich auf lokale Bereiche der Daten fokussieren.¹⁹³ Ein weiteres Beispiel besteht in einem Neuronalen Netz, das zur bildbasierten Unterscheidung genutzt wird, ob eine Person Lippenstift trägt oder nicht. Das Netz sagt dabei fälschlicher-weise das Vorhandensein von Lippenstift als wahrscheinlich voraus, selbst wenn der Mund mit einem schwarzen Balken verdeckt ist. Das liegt daran, dass das Netz einen Zusammen-hang zwischen Augen-Make-Up und Lippenstift gelernt hat, anstatt lediglich den Fokus auf den Lippenstift an sich zu setzen.¹⁹⁴

193 Vgl. Khurshudov, A.: Suddenly, a leopard print sofa appears (2015).

194 Vgl. Zhang, Q.-s.; Zhu, S.-c.: Visual interpretability for Deep Learning (2018), S. 3.

Ursachen im Algorithmus

E6

Ursachen in der

„objective function“

Ursachen im Rahmen der Implementierung

E18 E20

Mikroskopische Zusammenhänge statt

makroskopischer erlernt

Overfitting / Underfitting

Formal falsch definiert

E21

E22

E23

Lokales Minimum statt globalem Minimum erreicht

E25

Vorgehen bei komplexen Berechnungen falsch

E26

Sensitivität auf Störungen (adverserial

examples) E24

E22: Overfitting/ Underfitting

Besitzt der gewählte Lernalgorithmus mehr Anpassungsparameter als vom zur Verfügung stehenden Datensatz gerechtfertigt ist, ist eine Überanpassung bzw. Overfitting möglich, wie in Abbildung 4-4 dargestellt.^195a Durch diese Überanpassung an den Datensatz ist die erzielte Leistungsfähigkeit auf dem Trainingsdatensatz hoch. Im Gegensatz hierzu führen zu wenige Anpassungsparameter zu Underfitting.^195b Underfitting wird jedoch im Entwick-lungsprozess normalerweise durch eine geringe Leistungsfähigkeit bereits im Trainings-prozess schnell identifiziert. Overfitting ist mit dem Validierungsdatensatz identifizierbar, worauf in Kapitel 4.2 eingegangen wird.

Abbildung 4-4: Overfitting E23: Formal falsch definiert

Formale Fehler in der Aufstellung der Funktion, wie beispielsweise Vorzeichenfehler, stel-len eine Ursache fehstel-lender Generalisierbarkeit dar. Normalerweise wird diese Ursache durch die resultierende geringe Leistungsfähigkeit des gelernten Modells bei Supervised und Unsupervised Ansätzen bereits im Trainingsprozess offenbart.

E24: Sensitivität auf Störungen (adverserial examples)

Die unter dem Begriff „adverserial examples“ bekannt gewordene Problematik der Stö-rungssensitivität stellt ebenfalls eine Ursache fehlender Generalisierbarkeit dar. Durch eine Generierung von Störungsgrößen, die auf die größtmögliche Änderung der Ausgangsgröße bei gleichzeitig kleinstmöglicher Änderung der Eingangsgröße optimiert sind, werden Vorhersagen des gelernten Modells hervorgerufen, die trotz hoher Selbstbewertung der Zuverlässigkeit der Vorhersage falsch sind. Das menschliche Detektionsvermögen wird von diesen Störgrößen nicht beeinflusst, was im Rahmen einer Objektdetektion im Bildbe-reich deutlich wird.^{196 197} Wie in Abbildung 4-5 gezeigt, wird ein originales Bild (links) mit einer Störung (Mitte) beaufschlagt, wodurch ein verändertes Bild entsteht (rechts). Für Menschen stellt auch das Bild mit Störgrößen eindeutig einen Panda dar, wohingegen ein gelerntes Neuronales Netz mit hoher Zuverlässigkeit das Vorliegen eines Gibbons vorher-sagt.

195 Vgl. Everitt, B.; Skrondal, A.: The Cambridge dictionary of statistics (2010), a: S. 318; b: S. 440.

196 Vgl. Szegedy, C. et al.: Intriguing properties of neural networks (2013).

197 Vgl. Goodfellow, I. J. et al.: Explaining and harnessing adversarial examples (2014).

Abbildung 4-5: Adverserial example¹⁹⁸

E25: Lokales statt globalem Minimum erreicht

Im Rahmen der Suche des Optimums der „objective function“ ist es möglich, dass lokale Optima statt dem globalen Optimum erreicht werden und hierdurch das resultierende Mo-dell nicht die bestmögliche Lösung darstellt.¹⁹⁹ Fehlende Generalisierbarkeit resultiert in diesem Fall aus der möglichen besseren Darstellung der Zusammenhänge der Trainingsda-ten, deren Suche lediglich zu früh abgebrochen wurde. Diese Ursache tritt nicht im Rah-men von konvexen Funktionen, wie beispielsweise SVM, auf.²⁰⁰

E26: Vorgehen bei komplexen Berechnungen falsch

Beim Training des Modells sind teilweise komplexe Berechnungen notwendig. Für eine effiziente Implementierung wird häufig der Vektorraum genutzt, wodurch verschiedene Matrixoperationen, wie die Berechnung der Matrixinversen, benötigt werden.²⁰¹ Je nach verwendeter Implementierungssprache werden diese Berechnungen unterschiedlich, z.T.

mit Vereinfachungen durchgeführt, wodurch ebenfalls fehlende Generalisierbarkeit mög-lich ist.