2.4 „selbst“, „selbstständig“
INVOLVIERTHEIT DES MENSCHEN
DEFINITION Mensch als Angriffspunkt von Schädigungen oder als Subjekt, das durch Interaktionen mit software-technischen Systemen Teil des Gesamtsystems wird und sicherheitsbeeinflussend wirkt.
UNTERKATEGORIEN Mensch als Handelnder Mensch als Gefährdeter Mensch als Handelnder
DEFINITION Einfluss des mit dem software-physischen System interagierenden Menschen auf die Sicherheit des Gesamtsystems.
AUSPRÄGUNGEN
Mensch als Teil der Prozesskette
Mensch als potentiell fehlerhaftes Element, aber auch als Sicherungssystem beim Einsatz software-physischer Systeme.
Fehlbenutzung entgegen bestimmungsgemäßer Verwendung
Fehlbenutzung wegen Manipulationsanreizen entgegen der bestimmungsmäßigen Verwendung, aber ohne Ziel der Schädigung
Schädigung bzw. bewusste Störung der intendierten Funktionsweise
Gezielte und nicht vorgesehene Einwirkung auf das software-physische System mit möglichen schadenbringenden Folgen für dessen sicheres Funktionieren (Sabotage)
.
Mensch als Gefährdeter
DEFINITION Rolle des Menschen als durch software-physische Systeme gesundheitlich Gefährdeten.
Klassen Gefährdeter
DEFINITION Unterscheidung von Gefährdeten ihre
Schutzbedürftigkeit und entsprechend ihrer gesetzlichen Unterscheidung.
AUSPRÄGUNGEN
Eingewiesene Arbeitnehmer
Weisungsgebundene Beschäftigte, die im Rahmen ihrer entgeltlichen Tätigkeit in die untersuchten Systeme involviert sind und eine entsprechende Einweisung oder ein entsprechendes Training erhalten haben
Nutzer
Jeder, der das untersuchte System in Gang setzt, steuert oder daraus unmittelbaren Nutzen zieht und nicht in die Klasse der eingewiesenen Arbeitnehmer fällt
Verbraucher
Jeder Nutzer, der das System nicht im Rahmen überwiegend gewerblicher oder zu selbstständiger beruflicher Tätigkeiten nutzt
Dritte ohne Beziehung zum System
Menschen ohne unmittelbare Beziehung zum System, beispielsweise die Bewohner in der Umgebung eines Kraftwerks.
4.2.7 Dimension Schadensfolgen
Die vorab beschriebenen Dimensionen beschreiben Eigenschaften von Systemen in Bezug auf ihr Einsatzfeld unter Beteiligung des Menschen, die die Vermeidung fehlerhaften Systemverhaltens und die Möglichkeiten zur Abwendung dieser Folgen beeinflussen. Wie bedeutsam diese Befähigung letztendlich ist, hängt entscheidend davon ab, wie gravierend die Folgen dieses Fehlverhaltens sind. Folglich gilt es, die unerwünschten Folgen der Nutzung von bzw. Interaktion mit software-physischen Systemen in Wechselwirkung mit dem Umfeld ihres Einsatzes zu beschreiben. Neben den Fehlerfolgen eines bestimmungsgemäßen Einsatzes gilt es auch Fehlnutzungen ungeachtet der ihr zugrundeliegenden Intention (gezielte vs. unbeabsichtigter Schaden, vgl. Abschnitt 4.2.6 Dimension Involviertheit des Menschen) zu berücksichtigen.
Die Folgen können sich auf unterschiedliche geschützte Rechtsgüter beziehen. Im Fokus der Dimension SCHADENSFOLGEN steht die Betrachtung der Personenschäden. Die Betrachtung von Sachschäden steht eher am Rande. Ist kein Szenario möglich, in dem der Einsatz des Systems zu einer Verletzung des Menschen führt, sind die anderen Dimensionen im Zusammenhang mit Sicherheitsüberlegungen in der Regel irrelevant – es sei denn man betrachtet auch andere Schäden (siehe unten). Unter besonderen Umständen mag diese Feststellung schwierig sein, wenn sich eine derartige Gefährdung nur in ganz speziellen, nicht vorbedachten Situationen ergibt. Sollten Personenschäden möglich sein, wird weiterhin zwischen geringfügigen und erheblichen Personenschäden unterschieden. Als geringfügige Personenschäden werden reversible Beeinträchtigungen der körperlichen Unversehrtheit bezeichnet, während irreversible Beeinträchtigungen der körperlichen Unversehrtheit – Todesfälle eingeschlossen – als erhebliche Personenschäden eingeordnet werden.
Ein gesamtheitliches Folgenbild erfordert es jedoch, auch sonstige Schäden zu betrachten, die in Verbindung mit bzw. zusätzlich zu Beeinträchtigungen der körperlichen Unversehrtheit denkbar sind. Dazu gehören Sachschäden (Schäden an Sachen und Tieren), Umweltschäden (Schäden an der Umwelt durch Emissionen) und ideelle Schäden (Verletzung immaterieller Güter, wie bspw. Daten).
Die Betrachtung der Schadensfolgen ist weniger durch die Eigenschaften der Steuerung eines Systems determiniert und damit auch unabhängig vom Einsatz neuer Methoden. Ausschlaggebend ist hier vielmehr die physische Ausgestaltung des Systems und seines Umfelds. Im Gegensatz zu den anderen Dimensionen der Taxonomie spiegelt diese Dimension damit keine qualitative oder quantitative Veränderung infolge neuartiger Entwicklungsmethoden von KI-Systemen wieder, da lediglich Art und Ausmaß der Schadensfolgen, nicht aber die durch das Systemverhalten beeinflussbare Wahrscheinlichkeit ihres Auftretens betrachtet wird.
Art und Ausmaß der Schadensfolgen bestimmen jedoch die Bedeutsamkeit der Erfüllung der anderen sicherheitsbezogenen Kriterien. Zudem können mit gravierenden Schadensfolgen gesetzliche Maßnahmen strenger ausgestaltet werden.
Die Erörterung der rechtlichen Implikationen der an der Taxonomie aufgespannten sicherheitsbezogenen Eigenschaften software-physischer Systeme erfolgt im anschließenden Kapitel.
SCHADENSFOLGEN
DEFINITION Mögliche unerwünschte Folgen des Einsatzes software-physischer Systeme.
UNTERKATEGORIEN Personenschäden Sonstige Schäden Personenschäden .
DEFINITION Beeinträchtigung der körperlichen Unversehrtheit durch software-physische Systeme.
AUSPRÄGUNGEN
Keine Personenschäden
Keine Beeinträchtigung der körperlichen Unversehrtheit möglich
Geringfügige Personenschäden
Reversible Beeinträchtigungen der körperlichen Unversehrtheit (Klasse S1 129) möglich
Erhebliche Personenschäden
Irreversible Verletzungen oder Tod (Klasse S2 ebd.) möglich Sonstige Schäden
DEFINITION Weitere Schäden, die in Verbindung mit bzw. zusätzlich zu Beeinträchtigungen der körperlichen Unversehrtheit denkbar sind.
AUSPRÄGUNGEN
Sachschäden
Schäden an Sachen und Tieren
Umweltschäden
Schäden an der Umwelt durch Emissionen (Schall, Strahlung, Erschütterungen, Ausbringung von Umweltgiften etc.)
Ideelle Schäden
Verletzung immaterieller Güter (Nichtvermögensschäden, Belästigungen, Ehrverletzungen und Herabwürdigungen, Schmerzen)
129 Siehe Mössner, T. (2012). Risikobeurteilung im Maschinenbau, Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, Forschung Projekt F 2216.
4.3 Grafischer Überblick über die Taxonomie
Abb. 4.2 Grafischer Überblick über die Taxonomie
4.4 Beispielhafte Anwendung der Taxonomie
In der Darstellung der rechtlichen Erörterungen in Abschnitt 5 ist die Anwendbarkeit der entwickelten Taxonomie ausreichend demonstriert und an Szenarien exerziert. Im Folgenden werden weitere mögliche Anwendung vorgestellt. Diese sollen die Taxonomie demonstrieren und erheben nicht den Anspruch, finale Entwürfe zu sein.
Anwendung: Klassen von KI-Systemen
In einigen Normungsaktivitäten (wie z. B. in ISO/IEC JTC 1/SC 42/WG 3) wird gegenwärtig unabhängig von diesem Forsschungsprojekt versucht, KI-Systeme bezüglich Safety in Klassen einzuteilen und diese bezüglich ihres mögichen Einsatzes in mehr oder minder sicherheitskritischen Szenarien zu bewerten. Im Folgenden ist ein mögliches Vorgehen vorgestellt, dass die entwickelte Taxonomie als Grundlage heranzieht.
Dabei werden die beiden Dimensionen „Involviertheit des Menschen“ und der
„Schadensfolgen“ sowie die Transparenz aus Beteiligtensicht herangezogen, um unterschiedliche Gefährdungsszenarien aufzuspannen. Zudem werden auf Basis der fünf verbleibenden Dimensionen unterschiedliche Merkmalsprofile gebildet und daraus Systemklassen gebildet. Die (in diesem Beispiel fünf) Systemklassen werden anschließend in Bezug auf ihren Einsatz in den (hier ebenfalls fünf) Szenarien bewertet. Im vorliegenden Beispiel erfolgt eine Bewertung in Bezug auf die Einsatzfähigkeit des Systems in ebenfalls fünf Stufen (A bis E) unter Nennung der dazu erforderlichen Voraussetzung.
A
Einsatz von KI problemlos möglich und heute schon realisiertB
Einsatz von KI erfordert besondere Methoden der Sicherstellung der Robustheit und Transparenz, die aber heute schon in der Entwicklung sind und möglicherweise in einigen Jahren verfügbar sind.C
Einsatz von KI erfordert besondere Methoden der Sicherstellung der Robustheit und Transparenz, darüber hinaus aber Konzepte zur Sicherstellung der Datenqualität und Datenintegrität. Entwicklungen in dieser Richtung laufen und sind mittelfristig verfügbar.D
Einsatz von KI erfordert besondere Methoden der Sicherstellung der Robustheit und Sicherstellung von Transparenz, darüber hinaus aber U.U.Konzepte zur periodischen Überwachung durch Beobachtungsbehörden und/oder Hersteller. Entwicklungen in dieser Richtung sind noch nicht gestartet. Realisierung in langfristig möglich. Einsatz nicht empfohlen für Risikoszenarien mit hohem Schadenpotential