Übersicht über die Taxonomie

Die Taxonomie software-physischer KI-Systeme beschreibt insgesamt 40 Ausprägungen (Faktoren oder Eigenschaften) von physischen Systemen und deren Umgebungen, geordnet in 7 Dimensionen und 14 Unterkategorien, die Einfluss auf die Sicherheit (Safety) bzw. mit Sicherheit zu tun haben. Die entweder mit Begriffen belegten oder beschriebenen Ausprägungen wurden aus den Auswertungen der Experteninterviews oder aus der Sichtung von Literatur abgeleitet.

101 Sheridan, T. B., & Verplank, W. L. (1978). Human and Computer Control of Undersea Teleoperators.

(Technical Report). Cambridge, MA: MIT Man-Machine Systems Laboratory.

102 Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles. SAE J 3016, 2016

103 Auch auf der untersten Stufe der SAE-Automatisierungsstufen, als „Manuelles Fahren“ bezeichnet, werden von technischen Systemen Ausgaben des Menschen übernommen. Rein manuell wäre ein Fahrzeug, wenn es auch vom Menschen mechanisch bewegt würde, wie das beispielsweise beim Fahrrad der Fall ist.

4.2.1 Dimension Veränderbarkeit

Veränderungen technischer Systeme im Betrieb sind allgegenwärtig, seien es ungewollte (z.B. Alterungsprozesse) oder gewollte, wie z.B. das „Einfahren“ von Kolbenringen. Mit den adaptiven Regelkreisen gibt es seit den 80er-Jahren ¹⁰⁴ technische Systeme auf dem Markt, die bewusst so konzipiert sind, dass sie ihr Verhalten an das zu regelnde System anpassen, indem sie mit Hilfe von Systembeobachtung lernen (identifizieren), welche Eigenschaften dieses hat und sich selbst dann so modifizieren (adaptieren), dass das Gesamtverhalten optimiert ist ¹⁰⁵. Diese Veränderungen sind sehr kontrolliert und die Auswirkungen gut abschätzbar.

Ursache dafür ist einerseits, dass die Anzahl der Größen, die ein System beschreiben und die dann Grundlage einer Veränderung des Reglers ist, in der Regel im einstelligen Bereich liegt. Andererseits sind die Mechanismen der adaptiven Änderungen detailliert festgelegt und die Grenzen berechenbar. Hinzu kommt, dass die Zeitdauer fundamentaler Änderungen relativ kurz ist und in der Regel nur bei der Inbetriebnahme und ersten Anpassung erfolgt. Im weiteren Verlauf gibt es dann eher kleine Änderungen – z.B. bei der Anpassung an Abnutzungs- oder Alterungsprozessen. Trotz dieses hohen Maßes an Kontrollierbarkeit zeigen auch adaptive Regler ein gewisses Maß an Emergenz¹⁰⁶, da die Änderungen gemäß einem Gütekriterium erfolgen.

Die Möglichkeit einer genauen Abschätzung der Folgen von Änderungen im Betrieb schwinden in dem Maß, in dem Menge und Vielfalt an Daten, die Ursache der Anpassung bzw. des Lernens sind, steigen, die Zeitdauer des Lernprozesses steigt und die Emergenz im Adaptionsprozess zunimmt. Je komplexer die Datengrundlage ist, je länger der Veränderungsprozess dauert und je weniger explizit die Adaptions- und Lernprozesse vorgegeben sind, desto weniger besteht die Möglichkeit der Vorhersage der Konsequenzen des Änderungsprozesses. Ein hohes Maß an Emergenz ist nun ein besonderes Merkmal künstlicher neuronaler Netze in der heutigen Anwendung. Allein daraus resultiert eine besonders schlechte Vorhersehbarkeit des Verhaltens im realen Einsatz. Da das Verhalten neuronaler Netze im Wesentlichen durch einen Lernprozess auf Grundlage von Daten charakterisiert ist, besteht in der Auswahl und Kontrolle von Lerndaten in Verbindung mit ausgiebigen Tests die Möglichkeit, die Vorhersehbarkeit des Verhaltens zu steigern. Da ein Mehr an Daten (bei entsprechender Kontrolle der Qualität) die Leistungsfähigkeit (z. B. die Klassifikationsgüte) der Netze steigert und zur Anpassung an konkrete Situationen notwendig ist, ist der Lernprozess – z. B. bei Spracherkennern – auch in den laufenden Betrieb eingebunden. Diese im Folgenden „Weiterlernende

104 Anfänge gehen bis in die 50er-Jahre zurück. Z.B. Gabor D, Wilby WPL, Woodcock R (1959) A universal non-linear filter, predictor and simulator which optimizes itself by a learning process. Proc Inst Electron Eng 108(Part B):1061–, 1959, Gregory PC (ed) (1959) Proceedings of the self adaptive flight control symposium. Wright Air Development Center, Wright-Patterson Air Force Base, Ohio

105 Z.B. K. J. Astrom, B. Wittenmark: Adaptive Control. 2. Auflage. Addison-Wesley, 1989.

106 Emergenz wird hier als übergeordneter Begriff einer Nichtexplizitheit bzw. eines „Aus-sich-Heraus“

verstanden. Er beinhaltet Adaptivität, Autonomie, Selbstorganisation, Autopoiesis. Siehe Dimension

„Kontrollierbarkeit“ und Glossar.

Systeme ¹⁰⁷“ genannten Vertreter stellen besondere Anforderungen für den Nachweis des sicheren Verhaltens, da u.U. die Vorhersagbarkeit ihres Verhaltens nicht ausreichend ist. Hinzu kommt, dass es sein kann, dass die Änderungen im laufenden Betrieb so stark sind, dass ein fundamental anderes Verhalten resultiert, was dann beispielsweise die Kontinuitätsannahme einer Maschine in Frage stellt. Es stellt sich folglich die Frage, ob bei derartig starken Änderungen noch die Annahme gerechtfertigt ist, dass die geänderte Maschine noch als die vom Hersteller ausgelieferte Maschine zu betrachten ist?

Die Dimension VERÄNDERBARKEIT beschreibt technisch-physische Systeme in Bezug auf Änderungen von Eigenschaften bzw. von Verhalten des Systems im Betrieb oder in Bezug auf Änderungen des Umfelds. Dabei werden vier Stufen der Veränderbarkeit des Systems¹⁰⁸ unterschieden, während sich die Ausprägung der Veränderbarkeit des Umfelds¹⁰⁹ zwischen den beiden Extremen geringfügiger und hoher Komplexität aufspannt. Der Aspekt der Veränderbarkeit bezieht sich in diesem Kontext nur auf die Veränderbarkeit während des bestimmungsgemäßen Einsatzes des Systems. Veränderungen, die Teil des Entwicklungsprozesses sind, werden hierbei nicht berücksichtigt.

Keine Veränderbarkeit eines Systems liegt dann vor, wenn das Systemverhalten nach Auslieferung durch den Hersteller während der gesamten Betriebsphase unverändert bleibt. Folglich werden zum Auslieferungszeitpunkt identische Systeme unabhängig von der seit ihrer Inbetriebnahme verstrichenen Zeit und der Gegebenheiten ihres Einsatzortes in vergleichbaren Situationen stets das gleiche Verhalten zeigen. Ist dies nicht gegeben, gilt das System als veränderbar. Art und Ausmaß dieser Veränderbarkeit kann sehr unterschiedlich gestaltet sein. Dazu gehören zum einen vorgesehene und kontrollierte Veränderungen nach Auslieferung des Systems. Diese sind entweder von außen durch Nutzer bzw.

Hersteller/Betreiber initiiert oder aber ist von letzteren im System selbst angelegt. Die nutzerinitiierte Veränderung erfolgt beispielsweise im Rahmen eines gezielten Teachings mit dem Ziel, das System im Betrieb auf seine aktuelle Aufgabe hin anzulernen. Dies kann beispielsweise über eine manuelle Führung der Aktoren eines Roboterarms erfolgen oder über Demonstration durch den Nutzer und anschließende Imitation des Beobachteten durch das System. Gezielte Änderungen können auch auf Basis einer kontrollierten (Weiter-)Entwicklung durch Software-Updates in den Bestand ausgerollt werden, über Firmware-Änderungen bis hin zu applikativen Modifikationen. Solche Updates können auch auf Basis von im Betrieb gesammelten Daten stattfinden. Dieser Mechanismus wird derzeit beispielsweise bei den Fahrzeugen des Herstellers TESLA praktiziert. Durch dieses Vorgehen kann der

107 In der Literatur werden sie oft nur „lernende Systeme“ oder „selbstlernende Systeme“ genannt. Im Zusammenhang mit dem Sicherheitsnachweis von software-physischen Systemen muss aber eindeutig der Systemstatus vor und nach Auslieferung unterschieden werden. Da lernende Systeme auch während des Entwicklungsprozesses lernen, muss eine Unterscheidung getroffen werden, ob die Systeme nur vor der Auslieferung lernen oder noch im Betrieb „weiterlernen“.

108 In der englischsprachigen Literatur unter model drift gefasst

109 In der englischsprachigen Literatur unter concept drift gefasst

Hersteller die Kontrolle über das Systemverhalten behalten, aber gleichzeitig die Vorteile der Systemverbesserung über die Auswertung zusätzlicher Daten nutzen.

Von den Entwicklern bewusst angelegt sind auch solche Systeme, die während des Betriebs anfallende Daten sammeln und zur Modifikation ihres Verhaltens heranziehen. Im gewissen Sinne ist dies schon bei sogenannten adaptiven Regelsystemen der Fall. Die Anpassung im Betrieb stellt also eine höhere Stufe der Veränderbarkeit im Betrieb dar. Das Ausmaß dieser Veränderbarkeit bei ihrem Einsatz kann theoretisch beträchtlich variieren; Einsatz im industriellen Bereich finden derzeit jedoch höchstens adaptive Systeme, deren Veränderbarkeit auf geringfügige Verhaltensänderungen zur Optimierung eines oder weniger Parameter in Abhängigkeit von der Umwelt bzw. Beteiligten begrenzt ist. Ein Beispiel hierfür ist die Anpassung der Dicke der aufzutragenden Lackschicht in Abhängigkeit von der gegebenen Witterung in der Werkshalle.

Eine neue Qualität der Veränderbarkeit ergibt sich bei bedeutenden Veränderungen während des Betriebs, wenn die Konsequenzen der Veränderungen wegen der hohen Komplexität nicht mehr vollständig vorhersehbar sind. Das Systemverhalten verändert sich mit der Zeit fundamental, indem das System während des Betriebs Betriebsdaten für die Modifikation des eigenen Verhaltens (in der Regel eine Optimierung) nutzt. Eine Veränderung während des Betriebs auf Basis zusätzlicher Daten ist deshalb ein

„Weiterlernen“. Die Unterscheidung zur Adaptivität liegt in der Komplexität der Daten, die Basis der Veränderung sind, und in der Komplexität der durch die Daten erzeugten Verhaltensänderungen. Diese Systeme zeichnen sich in der Regel dadurch aus, dass die Wirkung von einzelnen Daten auf das Verhalten nur wenig abschätzbar ist.

Generell ist ein Lernen während des Betriebs auch durch Nicht-KI-Software realisierbar, beispielsweise basierend auf modellbasierten Berechnungen. Die Vorhersehbarkeit des Systemverhaltens kann bei entsprechendem Wissen über die möglichen Lerndaten dann wesentlich höher sein.

Neben Veränderungen im System kann es während des Betriebes auch Änderungen im Umfeld geben, die infolge von Adaptions- und Lernprozessen Einfluss auf das Verhalten der Systeme im Betrieb haben. Hierbei ist zu unterscheiden zwischen dem Ausmaß und der Kontrollierbarkeit dieser Veränderungen.

Zu den geringen Änderungen, die in der Regel bei der Auslegung oder bei der Auswahl von Steuerungssystemen schon heute berücksichtigt werden, gehören beispielsweise Änderungen der Temperatur während des Betriebs. Das kann Auswirkungen auf das Systemverhalten haben, wird aber in der Regel abgefangen.

Im Zusammenhang mit Anwendungen von ML-Verfahren kommen aber mögliche nicht vorhersehbare Änderungen hinzu, die in einem nicht oder nur eingeschränkt kontrollierbaren, komplexen Umfeld auftreten. Wenn beispielsweise ein hochautomatisiertes Fahrzeug das Verhalten auf Basis trainierter Kamerabilder erlangt und zu einem großen Teil „alles mal gesehen“ haben muss, dann können systematische Änderungen in der Welt unter Umständen dazu führen, dass der Algorithmus mehr Fehler macht. Wenn also beispielsweise durch Training von Bildern oder Bildsequenzen von Fußgängern ein System entstanden ist, das Fußgänger beispielsweise von Autos oder Schildern unterscheiden kann, dann könnte die

Erkennungsrate wesentlich reduziert sein, wenn alle Fußgänger plötzlich Atemschutzmasken trügen.