Worin unterscheiden sich KI-Systeme von konventionellen Systemen?

Wie vorangehend dargelegt ermöglicht das datengetriebene Vorgehen bei KI-Systemen eine Möglichkeit zur Beherrschung komplexer Anwendungsfälle, die mittels konventioneller Vorgehensweisen, die auf einer expliziten Beschreibung des Situationsraums basieren, nicht bzw. nicht in vergleichbarer Güte lösbar wären.

„Man kann den Situationsraum nicht mehr beschreiben und sagen: mach dies oder das, weil die Eingaben zu groß sind. Wenn man versuchen würde, es regelbasiert zu beschreiben, dann würde man bei dem Herunterbrechen in eine explizite Spezifikation Fehler machen und dann ist die korrekte Implementierung unsicher.“

[Zitat aus dem Expertenkreis für funktionale Sicherheit]

Der Datensatz ist die Grundlage, auf der die implizite Regelbildung eines KI-Systems aufbaut, und damit zentrales Bestimmungsstück seiner Performanz. Im Gegensatz zu konventionellen Systemen kommt damit dem Aspekt der Datengüte bei der Entwicklung und Weiterentwicklung von KI-Systemen eine zentrale Bedeutung zu.

Dazu gehört zum einen eine repräsentative Abbildung der vom System zu beherrschenden Situationen in den Lerndaten einschließlich seltener, insbesondere kritischer Ereignisse. Zusätzlich erforderlich ist ein verlässliches Labelling der Lerndaten, um die korrekte Zuordnung zur Kategorie (bspw. „Objekt“ vs. „Mensch“) gut anlernen zu können. Dieses Labelling bedarf auch einer menschlichen Einschätzung.

Da die Güte eines KI-Systems entscheidend davon beeinflusst wird, welche Situationen in der Lernphase vorgelegt wurden, fällt es schwer, die Generalisierungsfähigkeit vom Gelernten und damit das Qualitätslevel des KI-Systems zu bestimmen.

„Die Funktionalität eines KI-Systems hängt weniger vom Algorithmus ab als von den gelernten Eingangsdaten. Aus diesem Grund kann ein Hersteller nie sagen: Ok, das System ist auf einem hohen Qualitätslevel“

[Zitat aus dem KI-Expertenkreis]

Wenn bei Inbetriebnahme eines solchen Systems damit zu rechnen ist, dass bislang unbekannte Situationen auftreten – je komplexer das Umfeld, desto wahrscheinlicher – ist die Möglichkeit oder vielmehr Notwendigkeit gegeben, die Systemfunktionalität durch ein Nachtrainieren zu verändern bzw. zu erweitern.

Mit Einsatz eines KI-Systems verlagert sich das Problem der nicht vollständigen Beschreibbarkeit des komplexen Anwendungsfalls durch explizite Regeln auf die Eigenschaften des Systems. Das KI-System, das die Bewältigung der komplexen Aufgabe implizit gelernt hat, verfügt folglich nicht über einen expliziten und inhärent nachvollziehbaren Code. Da die KI den Code generiert hat und nicht der Mensch, ist schwer nachzuvollziehen, was gelernt wurde und ebenso, warum es gelernt wurde.

Zwischen der Fähigkeit zur Komplexitätsbewältigung und der Nachvollziehbarkeit eines Systems besteht ein nicht auflösbarer Widerspruch.

„Es gibt keine Lernverfahren, die diese Komplexität beherrschen können und gleichzeitig transparent sind. Deswegen setzt man die Systeme ja ein, weil sie die Komplexität beherrschen können, ohne dass man das beschreiben muss.“

[Zitat aus dem KI-Expertenkreis]

Manche weniger komplexe und auch weniger mächtige Ansätze verfügen noch über eine ihnen inhärente Transparenz, die dem Anwender die Nachvollziehbarkeit ihres Verhaltens ermöglicht. In diesem Falle fällt oftmals der Begriff der „White-Box-Modelle“

in Abgrenzung zu „Black-Box-Modellen“ wie bspw. neuronalen Netzen, die keinen derartigen Einblick erlauben. Die Zuordnung von White-Box-Modellen (bspw.

Bayessche Netze als nicht dateninferierte Modelle) als der KI zugehöriges Verfahren ist auch aus diesem Grunde unter Experten nicht unstrittig.

„Es ist etwas anderes, ob ich Bayessche Netze [nicht dateninferiert] habe oder neuronale Netze oder sonstige Techniken, die man potenziell mit KI in Zusammenhang bringen könnte.“

[Zitat aus dem KI-Expertenkreis]

Die KI-basierten Regeln in neuronalen Netzen folgen weder Semantik noch Verständnis, sondern der schlichten Optimierung eines vorgegebenen Gütekriteriums auf Basis von Mustern in den Datensätzen. Lernen und Fähigkeiten basieren auf diesen Mustern, und bilden keine Kausalzusammenhänge oder Wissen ab.

„Eine KI kann sehr gut Korrelationen finden, aber keine Kausalitäten.“

[Zitat aus dem KI-Expertenkreis]

Daraus resultieren für den menschlichen Betrachter schwer nachvollziehbare Fehler.

Auf scheinbar vergleichbare Situationen kann das System unterschiedlich reagieren.

Dieses Phänomen hat dazu geführt, dass man KI-Systemen fälschlicherweise ein nicht deterministisches Verhalten zugeschrieben hat.

„Das ist ja ein großes Fehlurteil, dass ein selbstlernendes System keinem Determinismus unterworfen ist. Es ist nur so komplex, dass es keiner durchschaut.

Zeigen wir einem angelernten System hundert Mal dasselbe Bild, kommt hundert Mal dasselbe raus. Das ist ein klarer Determinismus, das Problem ist die Komplexität, in der wir diese Anwendungen einsetzen."

[Zitat aus dem KI-Expertenkreis]

Dieser scheinbare Nichtdeterminismus ist Folge dessen, was als mangelnde Robustheit oder Fehlertoleranz beschrieben wird, d. h. die Fähigkeit eines Systems, seine Funktionsweise auch dann aufrechtzuerhalten, wenn unvorhergesehene Eingaben oder Fehler auftreten. Bei manchen KI-Verfahren kann sich durch die Veränderung eines Parameters oder gar eines einzigen Pixels das ganze Ergebnis

verändern. Bei anderen haben kleine Eingangsänderungen weniger drastische Auswirkungen, so dass bei ähnlichen Eingaben auch große Ähnlichkeit in den Ausgaben besteht. Eine zentrale Frage ist daher, wieviel Ungenauigkeit ein Algorithmus vertragen kann bzw. wie sensibel er darauf reagiert. Bei konventionellen Systemen hingegen ist es durch den Entwicklungsprozess gemäß Best-Practice nahezu ausgeschlossen, dass ein System ein Verhalten zeigen kann, das nicht gewünscht ist.

„Bei konventionellen Systemen hatte man Fehler in der Spezifikation und dadurch einen Fehler im Produkt. Jetzt ist ein [KI-]System so komplex, dass ein Hauch reicht, um die Entscheidung zu kippen.“

[Zitat aus dem Expertenkreis für funktionale Sicherheit]

Die Verhaltensvariabilität und damit auch die eingeschränkte Kontrollierbarkeit eines KI-Systems hängt entscheidend davon ab, wieviel Raum zur Veränderung eingeräumt wird. Bei geschlossenen Systemen wird diese Möglichkeit mit Abschluss der Lernphase unterbunden. Zwei nach Abschluss der Lernphase identische Systeme werden sich also auch nach Einsatz in unterschiedlichen Umwelten auf dieselben Eingaben vergleichbar reagieren. Es ist jedoch auch möglich, nach Abschluss der Lernphase ein Reagieren auf variable Umgebungsbedingungen zuzulassen. Je abstrakter das Optimierungsziel entwicklungsseitig formuliert wird, desto größer ist der Handlungsspielraum des Systems. Der simplen Selbstoptimierung eines singulären Parameters steht die Befähigung zum komplexen Weiterlernen gegenüber. In dem einen Fall handelt es sich um eine Adaption, deren Art und Umfang man vorher absehen kann; in der Industrie sind das eingekesselte und stark limitierte Prozesse.

Im anderen Fall handelt es sich um eine nicht absehbare, und damit nicht ohne zusätzliche Maßnahmen kontrollierbare Weiterentwicklung des Systems, bei dem erwünschtes und nicht erwünschtes Verhalten erst während der Laufzeit unterschieden werden kann.

Eine weitere Quelle nicht gezielt steuerbarer Verhaltensvariabilität ist die Möglichkeit zu emergentem Verhalten im System selbst bzw. im Verbund mit anderen Systemen.

Emergenz beschreibt das Phänomen, dass die Analyse der Teilkomponenten eines Systems oder Systemverbunds nicht das zu erklären vermag, was aus der Interaktion dieser Komponenten resultiert.

„Es gibt natürlich immer die Eigenschaft der Emergenz: das Gesamt ist größer als die Summer ihrer Teile. Einzeln betrachtet ist das Verhalten klar, das Gesamtverhalten ist es aber nicht.“

[Zitat aus dem KI-Expertenkreis]

Diese sicherheitsbezogenen Eigenschaften von KI-Systemen bergen, wie in den folgenden Kapiteln ausgeführt, erhebliche Herausforderungen für ihren Einsatz im industriellen Bereich.

3.2.4 Welche Herausforderungen birgt das für die Gewährleistung der