Welche Entwicklungen liegen vor uns?

Die Frage, welche zukünftigen Entwicklungen sicherheitskritischer KI-Systeme im industriellen Bereich absehbar sind, ließ sich im Rahmen der Befragung nicht vollumfänglich beantworten. Stattdessen lautete die vordringliche Frage vielmehr, unter welchen Voraussetzungen derartige Systeme derzeit und zukünftig in der Industrie überhaupt Einsatz finden können. Bislang werden sicherheitskritische KI-Systeme kaum bis gar nicht im industriellen Bereich eingesetzt. Grund dafür ist die fehlende Rechtssicherheit und damit auch die fehlende Betriebshaftpflicht, die bei konventionellen Systemen bei normkonformen Vorgehen über die Eigenerklärung als Hersteller gegeben ist. Dieses normkonforme Vorgehen ist jedoch aus den im vorherigen Kapitel erläuterten Herausforderungen nicht auf KI-Systeme anwendbar.

Stattdessen werden KI-Systeme in der Sicherheitsnorm nur insoweit berücksichtigt, als ihr Einsatz als bisher noch als „not recommended“ (IEC 61508) gilt. Dieser Ausdruck hält zwar die Möglichkeit eines KI-Einsatzes offen, verbindet sie jedoch mit der Notwendigkeit, diesen Einsatz besonders gut zu verargumentieren. Folglich müsste für KI-Systeme ein überzeugender Sicherheitsnachweis geführt werden, ohne dass auf die in der funktionalen Sicherheit etablierten Prozesse der Sicherheitsargumentation zurückgegriffen werden kann. Der alternative Weg, KI-Systeme zur Zulassung zu bringen, wäre die Freigabe durch eine externe Prüfstelle.

Dieser Weg wäre für kleine Hersteller per se nicht praktikabel, da dieser ein aufwändigeres Sicherheitsengineering erfordert als ein Sicherheitsnachweis über die Normkonformität. Beiden Ansätzen gemein ist jedoch die Problematik, dass bis heute kein systematisches Vorgehen vorliegt, um eine Sicherheitsbewertung vorzunehmen und konkrete Vorgaben zur Prüfung sicherheitskritischer KI-Systemen zu machen, die ein definiertes Qualitätslevel nachweisen können. Dafür fehlt es bislang noch an den Erfahrungen, die bei dem inzwischen etablierten Vorgehen des Sicherheitsnachweises konventioneller Systeme inzwischen gegeben ist.

„Die Norm zur funktionalen Sicherheit (IEC 61508) hat sich auf Erfahrungen gestützt, die nicht neu waren. Man hat sichere Systeme so konstruiert, und dann hat man eine Norm geschrieben. Und bei KI sind wir in der parallelen Entwicklung. Man versucht gleichzeitig Dokumente zu verfassen, lernt aber erst noch, wie man das zur Zulassung bringen kann.“

[Zitat aus dem Expertenkreis für funktionale Sicherheit]

Das bedeutet, dass die Hersteller von Systemen sich nach den aktuell gegebenen Normen richten und solange keine KI-Systeme einsetzen werden, bis sie über die Konformität zu einem neuen Normenwerk – oder etwaige andere Entwicklungen – die

erforderliche rechtliche Absicherung erhalten. In dieser Orientierung an Regularien sieht man einen deutlichen Gegensatz zu den derzeitigen Entwicklungen von KI-Anwendungen im Automobilbereich, in dem man progressiver vorgeht und sich schrittweise einen veränderten Stand der Technik verschafft.

„Wenn sich an den Normen nichts ändert, wird sich auch bei uns nichts ändern.“

[Zitat aus dem KI-Expertenkreis]

Ein weiteres Hindernis für den Einsatz von KI-Systemen in der Industrie können die Performanzverluste darstellen, die aus den zur Gewährleistung der Sicherheit gewählten Maßnahmen resultieren. Beispielhaft genannt wurde hier der Einsatz der Mensch-Roboter-Interaktion, bei der die Sicherheit nicht durch den Nachweis sicheren Verhaltens, sondern durch eine Beschränkung von Kraft und Geschwindigkeit (vgl.

ISO TS 15066) erreicht wird. Dies kann je nach anvisiertem Einsatzzweck nicht nur eine Verringerung des theoretisch möglichen Nutzens, sondern die Nivellierung jedweden Zusatznutzes zur Folge haben.

„Wenn ich die ISO-Norm einhalte, bringt das keine Vorteile, weil ich 10 Minuten statt 2:30 Minuten [für die kollaborative Fertigung eines Produkts] brauche.“

[Zitat aus dem KI-Expertenkreis]

Eine andere Möglichkeit, KI in sicherheitskritischen Anwendungen einzusetzen, besteht bei der zusätzlichen Absicherung durch ein konventionelles System. In diesen Fällen stellt die KI einen Teil des eigentlichen Produkts, dessen Sicherheit durch ein konventionelles Sicherheitssystem gewährleistet wird. Die KI-Komponente übernimmt die nicht sicherheitskritischen Aufgaben, während die sicherheitskritische Abschirmung vom Menschen durch prüfbare, nicht KI-basierte Sicherheitsstrategien (Umfeld- und Kontaktsensoren, Laserscanner o. ä.) gewährleistet ist.

„Die Sicherheitstechnik muss immer der KI vorausgehen und sie stoppen können.

D.h. KI ist für mich immer ein Teil des Gesamtsystems, das bevormundet wird durch die Sicherheit. Anders geht’s nicht, sonst geht die Personensicherheit den Bach runter.“

[Zitat aus dem Expertenkreis für funktionale Sicherheit]

Damit muss nur nachgewiesen werden, dass die konventionelle Sicherheitstechnik das Gesamtsystem in einem sicheren Zustand hält, während ein Nachweis für die KI-Komponente nicht erforderlich ist. Dies wäre erst dann erforderlich, wenn die KI die Sicherheitsfunktion übernehmen und beurteilen soll, ob eine Situation kritisch wird oder nicht – wenn also beispielsweise eine Kamera anstelle eines LIDAR-Scanners eingesetzt würde und ein neuronales Netz die Erkennung leisten sollte. Dieses Vorgehen wäre mitunter produktiver als die Eingrenzung der KI durch ein konventionelles System, aber führt zu eben dargestellter Problematik der noch fehlenden Möglichkeit des Sicherheitsnachweises.

Bislang ist jedoch ein Einsatz von KI-Systemen im sicherheitsrelevanten Kontext nur unter Einschränkung ihrer Performanz durch nachweislich sicherheitsgewährleistende Maßnahmen (inhärente Leistungsbeschränkungen oder Begrenzung durch

konventionelle Systeme) möglich. Darüber hinaus besteht noch die theoretische Möglichkeit, den Einsatz von KI-Systemen auf eng begrenzte und damit beherrschbare Anwendungsfälle zu beschränken. Diskutiert wird diese Möglichkeit insbesondere im Automobilbereich unter dem Begriff Operative Design Domain (ODD). Als Beispiel dient dort die Zulassung autonomer Fahrfunktionen ausschließlich auf Autobahnen.

Mit dem Konzept der ODD ist jedoch die Anforderung verbunden, stets erkennen zu können, ob sich das System innerhalb oder außerhalb selbiger befindet. Inwiefern es eine nutzbringende Übertragung dieses Prinzips auf Anwendungsfälle in der Industrie gibt, lässt sich auf Basis der vorliegenden Ergebnisse nicht beurteilen. In nicht sicherheitskritischen Anwendungen hingegen bestehen vergleichsweise niedrige Hürden für den Einsatz von KI-Systemen. In der Qualitätssicherung oder der Instandhaltung von Anlagen werden KI-basierte Verfahren mit Erfolg eingesetzt. In diesen Anwendungsfällen erscheint auch vieles möglich, was bei etwaigen zukünftigen Entwicklungen von Normenwerken zur Prüfung sicherheitskritischer Systeme weithin als ausgeschlossen gilt (bspw. der Einsatz weiterlernender Systeme). Beim Blick auf derartige Entwicklungen ist jedoch zu beachten, dass Demonstrationen neuer Use-Cases von KI nicht zwangsläufig unmittelbar oder mittelfristig bevorstehende Entwicklung anzeigen, sondern perspektivisch weit in der Zukunft liegen (bspw.

selbstverändernde Fabriken).

„In publikumswirksamen Darstellungen habe ich schon vieles gehört, wo man sagt, wow, das müsste schon alles da sein. Aber gesehen habe ich das nie.“

[Zitat aus dem KI-Expertenkreis]

Eine Norm mit Vorgaben zur Prüfung von KI-Systeme gilt als wichtigste Voraussetzung für deren Einführung in sicherheitskritischen Anwendungsbereichen. Die derzeitige Situation wird als eine Wartehaltung beschrieben, insofern als der Einsatz neuer Technologien weniger von der technischen Reife als von den erforderlichen Rahmenbedingungen zur Inverkehrbringung abhängt. Einen Entwicklungsvorsprung sehen einige in den Bereichen, in denen das Fehlen eines derartigen Regelwerks die Entwicklung weniger zu bremsen vermag. Dazu gehören zum einen die Entwicklungen in China oder den USA, die regulatorisch andere Maßstäbe und eine andere Sicherheitskultur haben, und zum anderen die Entwicklungen im Automobilbereich, in denen durch das aktive Vorantreiben autonomer Fahrfunktionen schrittweise ein neuer Stand der Technik geschaffen wird.

Die Schwierigkeit bei den laufenden Bemühungen um eine Sicherheitsnorm für KI-Anwendungen liegt zum einen darin, dass die bewährten Verfahren nicht anwendbar sind und die Erfahrungswerten bezüglich eines praktikablen und zielführenden Vorgehens fehlen, die einstig bei der Erstellung des heute gültigen Normenwerks die Grundlage bildeten. Zum anderen wird die Übereinkunft über neue Vorgehensweisen dadurch erschwert, dass bei dieser Aufgabe die Fachdisziplinen KI und Safety mit unterschiedlichen und in diesem Fall entgegengesetzten Leitprinzipien aufeinandertreffen. Aus Safetysicht herrscht das Primat der Sicherheit vor, das man durch den Einsatz von KI-Systemen verletzt sieht.

„In der Zukunft scheitern wir daran, dass der Mensch nicht verletzt werden soll. Das ist das Unabänderliche. Da geht keiner dran und sagt: Wir haben eine neue Technik, da kann zwar einer draufgehen, aber das machen wir jetzt mal.“

[Zitat aus dem Expertenkreis für funktionale Sicherheit]

Gleichzeitig wird der mit dem Einsatz von KI verbundene Nutzen nicht so hoch bewertet wie es in der Fachdisziplin KI der Fall ist. Das liegt auch daran, dass man bisher noch keine Use-Cases für KI im industriellen Bereich sieht, die auch nur ansatzweise den Nutzwert erreichen, der im Bereich Kommunikation oder Internet durch KI ermöglicht wird. Die Fertigung einschließlich der individualisierten Fertigung erscheint bereits so optimiert, dass sich der Mehrwert durch den Einsatz von KI nicht offenbart. Damit gesellt sich zu den hohen Kosten (Gefährdung) auch ein als gering erachteter Nutzen und damit wenig Grund, von den etablierten und vor allem in der Praxis bewährten Prozessen abzuweichen. Das hohe Niveau der in der Industrieautomatisierung seit langem etablierten Sicherheitstechnik ist mit ein Grund für die mangelnde Bereitschaft, den bewährten Weg zugunsten des Einsatzes neuartiger Technologien zu verlassen.

Die Fachdisziplin KI hingegen sieht sich in erster Linie mit den Hindernissen für den Einsatz von KI-Systemen konfrontiert. Der Nutzen von KI-Systemen wird höher angesetzt, dahingehend, dass ihr Einsatz entweder deutliche Performanzsteigerungen verspricht oder gar einen Einsatz neuer Technologien überhaupt erst wirtschaftlich und damit möglich macht (bspw. Mensch-Roboter-Kollaboration).

„Wenn wir die Prozesse zur Einhaltung der Sicherheit unverändert lassen, dann werden wir das Werteversprechen der Industrie 4.0 nur bedingt einhalten.“

[Zitat aus dem KI-Expertenkreis]

Gleichzeitig fällt der Blick auf die Gefährdung zwangsläufig anders aus, da der Spezifikation von Systemen und der darauf aufbauenden Verifikation nicht das gleiche Gewicht beigemessen wird. Zum einen wird Kritik an dem Prinzip der Spezifikation als Kernpunkt des Sicherheitsnachweises geäußert, da die Verifikation nicht die Sicherheit per se nachweist, sondern die Erfüllung der festgelegten Anforderungen, die sich in der Praxis als unvollständig erweisen können. Zum anderen werden empirisch gewonnene Erfahrungen höher gewertet. Aus diesem Grund erscheint auch die Zulassung von KI-Systemen auf Basis empirischer Prüfungen denkbar, gerade wenn die Zulassung schrittweise erfolgt, das Sammeln von Erfahrung ermöglicht und die Bewährung in der Praxis die Voraussetzung dafür ist, die Stückzahl der Systeme anzuheben oder die Performanz weiter zu steigern. Damit würde sich die Sicherheitsprüfung zumindest teilweise in den Einsatz verlagern und eine Produktbeobachtung erfordern – ein reaktiver Ansatz, der dem proaktiven Sicherheitsverständnis der Safety widerspricht.

3.2.6 Zusammenfassung

Zusammenfassend lässt sich sagen, dass mit dem schwer fassbaren, über die Zeit veränderlichen Begriff KI keine klare Abgrenzung möglich ist, welche Verfahrensgruppen bzw. Systeme darunterfallen und welche nicht. Folglich ist KI in

erster Linie als Arbeitsbegriff zu verwenden, der aus heutiger Sicht mit Blick auf die operative Komponente des maschinellen Lernens eine neuartige Engineeringmethode mit anderen Eigenschaften als konventionelle Systeme beschreibt. Diese Eigenschaften gehen überwiegend auf den dateninferierten Entwicklungsprozess zurück. Vorliegen sowie Ausprägung dieser Eigenschaften unterscheiden sich zwischen verschiedenen KI-Verfahren und sind bei datengetriebenem Vorgehensweisen wie neuronalen Netzen besonders ausgeprägt. Die vorgenommene Beschreibung der Eigenschaften von KI-Systemen erfolgte ausschließlich mit Blick auf ihre mögliche Bedeutsamkeit für deren sicheren Einsatz und bildet die Grundlage für die im folgenden Kapitel dargestellte Taxonomierung. Nicht sicherheitsbezogene Eigenschaften, die als wünschenswert oder gar zwingend erforderlich erachtet werden können (bspw. Fairness, Diskriminierungsfreiheit oder Nachhaltigkeit), blieben dabei unberücksichtigt.

Aufgrund der besonderen Eigenschaften von KI-Systemen (bspw. mangelnde Robustheit und Transparenz aufgrund des datenbasierten Entwicklungsprozesses) kann das zur Sicherheitsargumentation erforderliche Systemverständnis nicht hinreichend herzustellt werden und damit das bei konventionellen Systemen bewährte Vorgehen des Sicherheitsnachweises nicht auf KI-Systeme übertragen werden. Ein Einsatz von Systemen, bei denen die Sicherheit nicht auf Basis des Systemverständisses verargumentiert werden kann, ist bislang nicht möglich. Die grundlegende Frage ist daher, inwieweit man vom etablierten Prozess zur Gewährleistung der Sicherheit, der für komplexere KI-Systeme nicht einsetzbar ist, abrücken kann bzw. sollte, um die mit dem Einsatz von KI erwarteten Potenziale auszuschöpfen – und wie ein neuer Prozess zu gestalten wäre. Während man entwicklungsseitig auf neue Wege zur Sicherheitsbewertung von KI-Systemen dringt, steht man in der funktionalen Sicherheit der Abkehr vom langjährig Bewährten ablehnend gegenüber. Als erforderliche Voraussetzung für eine Verbindung beider Perspektiven erscheint ein geteiltes Verständnis bei der Definition und Bewertung von Sicherheit – ob im Vergleich zu bisherigen Systemen (nicht möglich bei neuartigen Anwendungsfällen), dem Menschen (dessen Fehler anders bewertet werden als ein identischer Fehler eines Systems) oder einem anderen normativen Maßstab (bspw.

absoluten Schwellwerten). Diese zentrale Frage des Sicherheitsverständnisses, das Leitplanken für die weitere Entwicklung und Überprüfung zukünftiger KI-Systeme setzt, sollte dabei nicht nur aus technischer, sondern auch aus ethischer Perspektive betrachtet werden.

3.3 Weiterverwendung der Befragungsergebnisse als