Dimension Transparenz

Transparenz als Begriff wird in sehr unterschiedlichen Kontexten als Metapher der physikalischen Durchsichtigkeit, also im Sinne des Durchschauens einer Hülle, der Möglichkeit des „Reinschauens“ oder im übertragenen Sinne des Durchschauens oder Verstehens von Verborgenem eingesetzt. Als Metapher auf Software übertragen

gedacht, wäre dann beispielsweise die Erhöhung der Transparenz eines KI-Systems mit Black-Box-Charakter durch Erhöhung der Einsicht in das System realisiert.

Erhöhung der Transparenz hätte demnach den Charakter einer Offenlegung bzw.

Verdeutlichung interner Mechanismen. Umgekehrt ist mit der Erhöhung der Transparenz ein Verbergen „unnötiger“ Details verbunden. Hier greift die Metapher des Durchscheinens ¹¹². Offenlegung hängt sowohl von den Systemeigenschaften als auch von demjenigen ab, dem offengelegt oder verdeutlicht wird. Eine Offenlegung hat mit der Komplexität oder Strukturiertheit des „Verborgenen“ zu tun, hängt aber auch von dem Wissen und Informationsbedarf des Rezipienten ab. In der öffentlichen Diskussion, in der eine „transparente“ KI gefordert wird, ist es der „normale“ Bürger, dem die „für ihn wichtigen“ Mechanismen des KI-Algorithmus – beispielsweise welche seiner persönlichen Daten für die Entscheidungsfindung der Kreditvergabe herangezogen werden – deutlich gemacht werden sollen. An diesem Beispiel wird zum einen deutlich, dass Transparenz immer in Bezug auf einen Empfänger gedacht werden muss, und zum anderen, dass Transparenz nicht absolut, sondern anforderungsbezogen zu betrachten ist.

Im Rahmen der Taxonomie wird daher die Dimension TRANSPARENZ als Verfügbarkeit und Verständlichkeit des Systems bzw. seines Verhaltens aus zwei Perspektiven definiert. Nach innen wird die Transparenz aus Expertensicht, d. h. dem Entwickler oder Sicherheitsingenieur gegenüber beschrieben, während sie nach außen als die am Bedarf gemessene Vollständigkeit und Verständlichkeit von Informationen zur generellen und situationsspezifischen Funktionsweise eines Systems für einen Nutzer, Bediener, Instandhalter oder anderweitig Beteiligten definiert wird. Die Transparenz wird folglich nicht isoliert als mehr oder minder gegebene Systemeigenschaft aufgefasst, wie es die in diesem Kontext verbreitete Bezeichnung der Black-Box-Systeme suggeriert, sondern in Bezug auf denjenigen betrachtet, der diese relevanten Informationen benötigt. Anders als bei der Expertensicht spielt bei der Transparenz aus Beteiligtensicht folglich der durch Ausbildung und Schulungsmaßnahmen beeinflussbare Kenntnisstand ebenfalls eine gesondert bedeutsame Rolle. Die bedarfsgemäße Festlegung des zu erreichenden Transparenzgrades, d.h. bezüglich welcher Aspekte ein bestimmtes Maß an Transparenz bestehen muss, bezieht sich im vorliegenden Fall nur auf die Aspekte, die unmittelbar oder mittelbar im Bezug zur Sicherheit stehen. Nicht adressiert wird beispielsweise Transparenz bezüglich der Verwendung personenbezogener Daten.

Im Rahmen der Taxonomie werden für beide Perspektiven (Experten und Beteiligte) verschiedene Facetten der Transparenz beschrieben, die ein zunehmend tieferes Verständnis des Systems widerspiegeln. Bei der Transparenz aus Expertensicht handelt es sich dabei um die Spezifizierbarkeit, die Beschreibbarkeit der Funktionsgrenzen,die Nachvollziehbarkeit und die Vorhersehbarkeit des Systemverhaltens. Die Kategorie Spezifizierbarkeit bezieht sich auf das Ausmaß, in dem Funktionalität, Einsatzbedingungen, Umgebungund auch Anwendungszenarien

112 Die Forderung nach Verbergen von Einzelheiten, also höherer Transparenz wird z.B. im Zusammenhang mit Computer- und Netzwerktechnik benutzt, wenn der Nutzer die äußeren Schichten beim Zugriff auf Ressourcen nicht explizit angeben muss.

festgelegt werden können. Für komplizierte Systeme gilt auch heute schon, dass diese nicht vollständig spezifizierbar sind. Dennoch kann über bewährte Prozesse der Überprüfung, ob Spezifikationen eingehalten wurden, das Sicherheitsniveau der Systeme nachgewiesen werden. Die Unsicherheit besteht in einer Abweichung von der Spezifikation durch das Auftreten möglicher Fehler.

Bei sehr komplexen Systemen wie beispielsweise hochautomatisierten Fahrzeuge in einer beliebigen Umwelt, bei denen wegen der Komplexität in der Regel KI-Algorithmen eingesetzt werden, ist die Spezifizierbarkeit im konventionellen Sinne der industriellen Praxis entscheidend reduziert. Damit kann aber auch das Mittel des Sicherheitsnachweises über den Prozess der Überprüfung der Einhaltung der Spezifikationen nicht mehr aufrecht erhalten bleiben.

Aus diesem Grund wurde für den Bereich der Automobiltechnik das Konzept der SOTIF (Safety of the Intended Functionality) und ein dazugehöriger Standard in Form der ISO 21448 entwickelt. Bei weniger genau spezifizierbaren Systemen besteht die Notwendigkeit, die zusätzlichen, nicht durch die Spezifikation abgedeckte Risiken zu berücksichtigen. Die Festlegung der gewünschten Funktionalität entspricht einer Spezifikation auf einem höheren Abstraktionslevel. Dementsprechend werden auch die Fehler auf einem höheren Abstraktionslevel beschrieben. Für den Sicherheitsnachweis bedeutet dies eine Notwendigkeit der Festlegung und Hinzunahme weiterer, über den bisherigen Standard hinausgehenden Methoden bei der Festlegung von Vorgehensstandards der Entwicklung und der Prüfung, die als sicherheitsgewährend angesehen werden.

Bei hochkomplexen Aufgaben und dementsprechend komplexen Systemen zur Bewältigung dieser Aufgaben ist eine vollständige Spezifizierung und damit eine vollständige Testung des Systems nicht mehr möglich. In Verbindung mit der Beschreibbarkeit des Systemverhaltens steht die Beschreibbarkeit der Funktionsgrenzen im Sinne der Bedingungen, unter denen das System nicht mehr wie vorgesehen agieren kann. Diese stellt unter anderem die Voraussetzung für die Ergreifung ergänzender Sicherungsmaßnahmen dar, beispielsweise durch Beschränkung des Einsatzbereichs (vgl. Beschränkungen der Dimension Kontrollierbarkeit, Abschnitt 4.2.3). Über diese beiden Aspekte hinaus geht die Nachvollziehbarkeit des Systemverhaltens durch diejenigen, die aufgrund ihrer Expertise befähigt sind, den Prozess von der Informationsaufnahme des Systems bis zur Handlungsausführung nachzuverfolgen. Diese Nachvollziehbarkeit wird entscheidend von der Komplexität des Systems, seiner Aufgaben und des Umfelds mit beeinflusst. Ein spezifizierbares System gilt als vollständig nachvollziehbar, während nicht spezifizierbare Systeme in unterschiedlichem Maße nachvollziehbar sind. Dabei wird die Nachvollziehbarkeit qualitativ verändert, sobald ein System auf emergenten Algorithmen fußt.

Während die Nachvollziehbarkeit das nachträgliche Erklären von Verhalten, also den retrospektiven Aspekt umreißt, wird mit dem Aspekt der Vorhersehbarkeit, das Vermögen durch Anayse, Simulation, Berechnungen oder anderen Methoden, das Verhalten von Systemen prospektiv vorhersagen zu können. So verlangen beispielsweise Standards für die funktionale Sicherheit in der Regel eine statische

Codeanalyse und empfehlen, den Code einer Laufzeitanalyse (oder dynamischen Analyse) zu unterziehen¹¹³. Die Verfahren sind nicht sinnvoll auf künstliche neuronale Netze übertragbar. Hier fehlen es z. Z. noch akzeptierte Methoden. Eine alternative ist die Analyse über Simulationen, um ein Verständnis über das zukünftige Systemverhalten im realen Einsatz zu bekommen.

Die Transparenz aus Expertensicht kommt im Zuge einer kritischen Beurteilung der Sicherheit eines Systems zu tragen und nicht im (un)mittelbaren Umgang mit dem System während des Betriebs. Ein weiterer Aspekt der Transparenz ergibt sich jedoch, wenn der Mensch mit software-physischen Systemen interagiert bzw. diese bedient.

Wenn Mensch und Maschine gemeinsam die Sicherheit determinieren, wird diese auch von dem Wissen des Interagierenden um die Funktionalität im System geprägt.

Das Ausmaß des als erforderlich anzusehenden Wissens bestimmt sich gemäß den Eigenschaften des Systems und der Rolle des Menschen, die dieser im Prozess der Aufgabenbewältigung und dem System gegenüber einnimmt. Für die Beteiligten muss eine grundlegende Kenntnis des Einsatzbereichs und der Grenzen des Systems immer dann gegeben sein, wenn das Fehlen ebensolcher Wissensbestände sicherheitskritisch werden kann. Als Beispiel wäre ein fahrerloses Transportsystem zu nennen, das in einer Fabrikumgebung nur gefahrlos operiert, wenn alle Menschen in der Arbeitsumgebung eine gelbe Weste tragen. Unkenntnis bezüglich des Unvermögens des Systems, Andersgekleidete akkurat zu erkennen, kann zu falschen Annahmen bezüglich des Systemverhaltens und in der Konsequenz zu Unfällen führen.

Handelt es sich bei dem software-physischen System um ein System, das – wie ein Roboter – beliebige Bewegungen im Raum ausführen kann, kommt zu der durch ein logisches Gerüst von Handlungsbausteinen beschreibbaren Verhaltenslogik, noch die Bewegungstrajektorie in Raum und Zeit dazu. Deren Vorhersehbarkeit durch einen in der Nähe befindlichen Menschen beeinflusst ebenfalls die Sicherheit. Nicht erwartbare Bewegungsbahnen, bahnbezogene Geschwindigkeiten oder auch Achsendrehungen können zu Fehlern im Situationsbewusstsein und dadurch zu Sicherheitsproblemen führen. Dies macht den Aspekt der Vorhersehbarkeit der Dynamik von Systemhandlungen bedeutsam.

Fehler (Unfälle) entstehen hier nicht durch eine Fehlbenutzung, sondern durch einseitige oder zweiseitige Interaktionsfehler aufgrund falscher Prädiktion von System- bzw. Menschverhalten. Dies ist insbesondere in Szenarien der Mensch-Roboter-Kollaboration oder -Interaktion relevant. Analog zur in der Sicherheitstechnik fest verankerten¹¹⁴ Fehlbenutzung wegen Manipulationsanreizen außerhalb der bestimmungsmäßigen Verwendung (siehe dazu Dimension „Involviertheit des Menschen“, Kap. 4.2.6) kann eine Fehlinteraktion außerhalb der geplanten Interaktion definiert werden.

113 Z.B. Standard IEC 61508 Funktionale Sicherheit sicherheitsbezogener elektrischer/elektronischer/programmierbarer elektronischer Systeme

114 TRBS – 1151 Technische Regel für Betriebssicherheit – Gefährdungen an der Schnittstelle Mensch – Arbeitsmittel – Ergonomische und menschliche Faktoren, Arbeitssystem (TRBS 1151), GMBl. Nr.

17/18 Ausgabe: März 2015.

Es gilt anzumerken, dass der Aspekt der Vorhersehbarkeit gleichermaßen auch für nicht mobile Systeme gilt, bei denen nicht die bevorstehende Bewegung im Raum, sondern vielmehr der nächste Prozesszustand des Systems bedeutsam ist.

Über die grundlegende Kenntnis sowie die Vorhersehbarkeit des bevorstehenden Systemschritts hinaus geht der Aspekt eines tiefen Verständnisses der Systemfunktionalität. Ein derart elaborierteres mentales Modell des Menschen vom System ermöglicht es, die Verhaltenslogik des Systems auch in selten auftretenden Situationen nachzuvollziehen und angemessen damit umgehen zu können. Diese Anforderung an nutzerseitige Transparenz sollte insbesondere in hochgradig komplexen und sicherheitskritischen Aufgabenwelten gegeben sein.

TRANSPARENZ

DEFINITION Zugänglichkeit, Erklärbarkeit, Nachvollziehbarkeit und Vorhersehbarkeit aller relevanten Informationen über Eigenschaften und Verhalten eines Systems für die relevanten Empfänger.

UNTERKATEGORIEN Expertensicht Sicht Beteiligte Expertensicht

DEFINITION Zugänglichkeit aller relevanten Informationen über Eigenschaften und Verhalten von Systemen für diejenigen, die mit Entwicklung und Prüfung eines Systems betraut sind.

AUSPRÄGUNGEN

Spezifizierbarkeit

Spezifizierbarkeit bezieht sich auf den Grad und das Abstraktionsniveau der Möglichkeit, Funktionen, Einsatzbereich, Umgebung, etc.für Systeme festlegen zu können.

Beschreibbarkeit der Funktionsgrenzen

Beschreibbarkeit der Bedingungen, unter denen das System nicht mehr wie vorgesehen agieren kann

Nachvollziehbarkeit

Maß für die Möglichkeit, Gründe für Systemverhalten geben zu können. Ein Algorithmus ist nachvollziehbar, wenn ein Mensch die Frage beantworten kann „Warum verhält sich das System so?“. Wegen des expliziten Bezugs auf einen menschlichen Nachvollziehenden hängt das Maß der Nachvollziehbarkeit von dem Maß der Verstehbarkeit ab, ist also an Wissen und Fähigkeiten des Analysierenden gebunden.

Vorhersehbarkeit

Maß für die Möglichkeit, Systemverhalten durch Analyse, Modellierung oder Simulation vorhersagen zu können

Sicht Beteiligter

DEFINITION Zugänglichkeit aller relevanten Informationen über Eigenschaften und Verhalten des Systems für diejenigen, die unmittelbar mit dem System interagieren oder mittelbar von ihm betroffen sind.

AUSPRÄGUNGEN

Kenntnis des Einsatzbereichs und der Grenzen des Systems

Grundlegende Kenntnis des Verhaltens eines Systems und der Situationen, in denen selbiges an seine Grenzen stößt.

Vorhersehbarkeit der Dynamik von Systemhandlungen und des nächsten Prozesszustands des Systems

Vorhersehbarkeit des Systemverhaltens oder Prozesszustands in der unmittelbaren Zukunft für den bzw. die mit dem System interagierenden Menschen.

Verständnis der Systemfunktionalität

Wissen von Bedienern über die Verhaltenslogik von Systemen auch in selten auftretenden Sondersituationen