Kritische Kombinationen von Taxonomiedimensionen

Neben der isolierten Betrachtung der Taxonomiedimensionen soll auch eine Bewertung derjenigen Kombinationen von Taxonomiedimensionen erfolgen, deren Umsetzung bei dem gegebenen Rechtsrahmen problematisch ist.

Die Darstellung soll nicht alle möglichen Kombinationen sämtlicher Taxonomiedimensionen in ihren unterschiedlichen Ausprägungen erfassen. Sie konzentriert sich auf die „Extremfälle“, bei denen stark ausgeprägte Taxonomiedimensionen zusammenkommen.

5.3.8.1 Hohe Veränderbarkeit und geringe Transparenz

Bei KI-Systemen mit hoher Veränderbarkeit stellt sich die Frage, ob der aktuelle Zustand des Systems Rückschlüsse auf die Beschaffenheit des Systems im maßgeblichen Zeitpunkt (der Inbetriebnahme bzw. des Inverkehrbringens) zulässt. Bei geringer Transparenz ist dies nicht möglich. Die Marktüberwachungsbehörden können dann ihrer Aufgabe nicht mehr erfüllen, nämlich zu prüfen, ob nur Produkte in Verkehr sind, die den produktsicherheitsrechtlichen Anforderungen entsprechen gem. § 26 ProdSG und (für Maschinen) § 7 Abs. 1 S. 2 der 9. ProdSV. Denn sie müssen in der Lage sein zu bewerten, wie ein Produkt beschaffen ist und ob es die technischen Anforderungen des Produktsicherheitsrechts und auch der zum Nachweis der Konformität herangezogenen technischen Normen erfüllt. Dabei stehen ihnen umfangreiche Befugnisse zu, die sich aus § 28 Abs. 1 S. 1 bis 3, Abs. 2 und 3 S. 1 ProdSG ergeben. Besteht der Verdacht, dass ein Produkt den produktsicherheitsrechtlichen Anforderungen nicht entspricht, sind die erforderlichen Maßnahmen zur Ermittlung aller relevanten Umstände zu ergreifen. Erweist sich der Verdacht als begründet, muss die zuständige Marktüberwachungsbehörde die zur Beseitigung der dem Produkt innewohnenden Risiken erforderlichen Verfügungen

erlassen. Bei intransparenten veränderbaren Systemen kann bei einer Abweichung der Ist-Beschaffenheit von dem bestimmungsgemäßen Zustand laut Konformitätserklärung im Moment der Untersuchung durch die Marktüberwachungsbehörde der Verdacht entstehen, dass auch bei Inverkehrbringen keine Konformität vorlag. Dann müssen ggf. Maßnahmen folgen, die das mutmaßlich gefährliche und nicht konforme Produkt beherrschbar machen oder gar aus dem Verkehr ziehen. Es muss also eine gewisse Transparenz nach außen hergestellt werden, um die veränderbaren Systeme durch die Marktüberwachungsbehörden überprüfbar zu machen.

Im betrieblichen Bereich ist der Arbeitgeber darauf angewiesen, die für die Durchführung der Gefährdungsbeurteilung erforderlichen Informationen zu erhalten.

Er muss diese Informationen gemäß § 3 Abs. 4 S. 1 BetrSichV beschaffen. Dabei kann er auch auf die Bedienungsanleitung zurückgreifen und darauf vertrauen, dass die vom Hersteller mitgelieferten Informationen stimmen. Wenn das Arbeitsmittel aber nach Inbetriebnahme, durch Updates von außen oder, bei einem weiterlernenden System,

„von innen“, veränderbar ist, muss diese Veränderung für den Arbeitgeber erkennbar sein, es muss also ein entsprechendes Maß an Transparenz herrschen. Hohe Veränderbarkeit kann also nicht mir geringer Transparenz einhergehen, wenn dem Arbeitgeber dadurch die Durchführung der Gefährdungsbeurteilung unmöglich wird.

Gleiches gilt für den Anlagenbetreiber, der im Genehmigungsverfahren immissionsschutzrechtlich relevante Veränderbarkeiten der Anlage darlegen muss.

Auch hier erfordert die Veränderbarkeit einen gewissen Grad an Transparenz, gänzlich intransparente und dabei veränderbare Systeme sind nicht denkbar.

Der nach DSGV Verantwortliche wird ebenfalls keine Datenschutz-Folgenabschätzung anstellen bzw. seinen Auskunftspflichten nachkommen können.

5.3.8.2 Hohe Veränderbarkeit und geringe Widerstandsfähigkeit

Im Produktsicherheitsrecht nach ProdSG muss der Hersteller anhand der Widerstandsfähigkeit (Robustheit und Resilienz) des Produkts einerseits die erforderlichen Maßnahmen bestimmen und ergreifen, um das Produkt bei bestimmungsgemäßer Verwendung und erwartbarer Fehlanwendung sicher zu machen. Andererseits gibt die Widerstandsfähigkeit die möglichen Verwendungszwecke vor. Sicherheitsrelevante Veränderungen des Produkts im Betrieb, unabhängig davon, ob sie von außen durch Updates oder „von innen“ durch ein Weiterlernen des Systems initiiert werden, werfen die Frage auf, ob das Produkt dann noch die ursprünglich vorausgesetzte Widerstandsfähigkeit aufweist.

Bereits in der Risikobeurteilung lässt sich so keine abschließende Bewertung der Risiken nach einer solchen Änderung treffen. Im Konzept des ProdSG führt eine sicherheitsrelevante Änderung zu einem neuen Produkt, das dann ggf. einem neuen Konformitätsbewertungsverfahren unterzogen werden muss. Es ist jedoch nicht vorgesehen, dass eine Veränderbarkeit, die Einfluss auf die Widerstandsfähigkeit und damit auf den (eigentlich von Anfang an) anzulegenden Sicherheitsmaßstab hat, bereits bestimmungsgemäß im Produkt angelegt ist. Es handelt sich in der Kombination aus Veränderbarkeit und Widerstandsfähigkeit also um ein anderes Konzept als das, welches z. B. bei Druckgeräten zu der Pflicht regelmäßiger Kontrollen durch den Hersteller führt.³⁵⁸ Dort wird die Robustheit des Produkts über die Zeit

358 So z. B. im Konformitätsbewertungsverfahren nach Modul A2 Anhang III der Druckgeräte-Richtlinie.

berücksichtigt, also insbesondere der Verschleiß. Hier hingegen findet eine gezielte Veränderung statt, die sich auf die Widerstandsfähigkeit auswirkt. So können durch ein Software-Update alte Schwachstellen beseitigt werden, aber (ungewollt) neue entstehen. Oder eine durch das System selbst initiierte Änderung des Betriebs führt zu einem schnelleren Materialverschleiß oder zu einer Gewichtung bestimmter Sensorinputs oder Daten, die das System anfälliger für böswillige Manipulation und damit ebenfalls weniger widerstandsfähig macht.

Hier ist also wieder der zeitpunkbezogene Ansatz des produktsicherheitsrechtlichen Konformitätsbewertungsverfahrens problematisch. Im Gegensatz zum Hersteller haben der Arbeitgeber gemäß BetrSichV und der Anlagenbetreiber gemäß BImSchG die Möglichkeit, über die Zeit auch bei veränderbaren Anlagen geringer Widerstandsfähigkeit die Gefährdungsbeurteilung anzupassen bzw. die Änderungen der Immissionsschutzbehörde anzuzeigen und ggf. eine Neugenehmigung zu beantragen. In der Praxis mag dies bei hoher und ständiger Veränderbarkeit wiederum dazu führen, dass eine Kombination hoch ausgeprägter Veränderbarkeit und geringer Widerstandsfähigkeit nicht umsetzbar ist.

5.3.8.3 Hohe Veränderbarkeit und geringe Kontrollierbarkeit durch Involviertheit des Menschen

Im Haftungsrecht kann neben der Haftung des Herstellers eine Haftung des Verwenders eines KI-Systems in Betracht kommen. Wer eine Gefahrenquelle schafft, haftet als Garant für das Unterlassen der zur Abwendung eines drohenden Schadens erforderlichen und ihm möglichen Maßnahmen. Er hat entsprechend seiner Verkehrssicherungspflichten und im Rahmen seiner individuellen Möglichkeiten zu handeln. Was die Verkehrssicherungspflichten bei veränderbaren Systemen sind, ist nicht nur, wie gezeigt, für den Hersteller schwierig zu bestimmen. Auch für den Verwender stellt sich die Frage, wie er sich angesichts des von ihm eingesetzten hochgradig veränderbaren Systems verhalten muss. Grundsätzlich wird er sich an den vom Hersteller bereitgestellten Informationen orientieren müssen und das System nur bestimmungsgemäß verwenden dürfen. Insofern setzen sich hier die Schwierigkeiten des Herstellers bei der haftungsrechtlich unbedenklichen Konstruktion des hochgradig veränderbaren Produkts und Instruktion der Verwender hier fort. Bei hoher Veränderbarkeit, auf die der Verwender keinen Einfluss hat, er also nur noch als Betroffener involviert ist, kann ihm jedoch möglicherweise kein Verschuldensvorwurf bei Unterlassen objektiv erforderlicher Gefahrenabwehrmaßnahmen nachgewiesen werden. Hier können unbillige Haftungslücken entstehen, wenn der Verwender zwar die Vorteile aus dem Einsatz der Technik zieht, allerdings mangels Kontrollierbarkeit nicht mehr für die Schäden aufkommen muss.

5.3.8.4 Kontrollierbarkeit und Vernetzung

Im Produktsicherheitsrecht sind nach außen vernetzte Systeme nicht vorgesehen.

Das führt dazu, dass der Hersteller eines Produkts alle externen Einflüsse, also auch die Produkte fremder Hersteller und andere Datenquellen, bei der Integration der Sicherheit in sein Produkt berücksichtigen muss. Der Vernetzung werden also hier schon praktische Grenzen gesetzt: Der Hersteller wird festlegen, welche äußeren (Teil-) Produkte und Datenquellen er in seine Risikobeurteilung einbeziehen kann. Mit solchen wird eine Vernetzung möglich sein.

Wenn der Hersteller jedoch die Kontrollierbarkeit dieser externen Bestandteile des vernetzten Gesamtsystems nicht abschließend bewerten kann, kann er auch keine abschließende Risikobeurteilung für sein Produkt vornehmen.

Entsprechendes gilt für die Gefährdungsbeurteilung des Arbeitgebers und für die immissionsschutzrechtliche Genehmigungsverfahren, bei denen durch die Vernetzung der Prüfungsumfang erheblich erweitert wird.

Der bestehende Rechtsrahmen schlägt die Verantwortung allein einer Person in der Kette der Vernetzungen zu. Der Gesamthersteller, der jeweilige Arbeitgeber, der Anlagenbetreiber oder der Verantwortliche nach DSGVO trägt die Verantwortung für die Kontrollierbarkeit und damit Sicherheit des Gesamtsystems. Andererseits kann es zu Doppelprüfungen kommen, wenn das Gesamtsystem wiederum als externes Element Prüfungsgegenstand im Rahmen z. B. eines Genehmigungsverfahrens einer anderen Anlage nach BImSchG ist.

Gegenwärtig sieht sich eine ausgeprägte Vernetzung nach außen also vor allem mit praktischen Umsetzungsproblemen konfrontiert. Im Produktsicherheitsrecht ist die Kontrollierbarkeit von nach außen vernetzten Produkte zudem nicht gesetzlich geregelt.

5.3.8.5 Zwischenergebnis Kombinationen

Es sind daneben noch viele andere Kombinationen und Ausprägungen denkbar, die jeweils unterschiedliche rechtliche Relevanz besitzen. Hier wurde die Darstellung jedoch auf die herausragenden Kombinationen beschränkt.

5.4 Anwendungsbeispiele

Im Folgenden werden Anwendungsbeispiele anhand des vorgestellten Rechtsrahmens begutachtet, denen allesamt eine Verwendung von KI-Systemen in dem jeweiligen Produkt gemein ist. Die Beispiele dienen der Veranschaulichung der in der Taxonomie aufgezeigten rechtlichen Probleme bei der Anwendung des

• Hochgradig veränderbare Systeme bringen hohe Anforderungen an die Transparenz mit sich, damit die Marktüberwachungsbehörden im Zweifelsfall die Konformität überprüfen und die Verwender ihren gesetzlichen Pflichten zur Gewährleistung eines hohen Sicherheitsniveaus in ihrem jeweiligen Zuständigkeitsbereich nachkommen können.

• Der Hersteller hat wegen seiner zeitpunktbezogenen Pflicht Schwierigkeiten, bei hochgradig veränderbaren Produkten die Anforderungen an die Widerstandsfähigkeit sowie die über die bestimmungsgemäße Lebensdauer erforderlichen Maßnahmen zum Erhalt der Widerstandsfähigkeit zu bestimmen

• Die Haftung des Verwenders kann bei hochgradig veränderbaren Systemen, die er nicht kontrollieren kann, unbillig erscheinen bzw. mangels Verschuldens im Einzelfall zu Haftungslücken führen.

• Für extern vernetzte Systeme mangelt es an einem gesetzlichen Rahmen insbesondere hinsichtlich der erforderlichen Kontrollierbarkeit.

dargestellten Rechtsrahmens. Dabei handelt es sich um fiktive und verkürzte Sachverhalte.

Es wird geprüft, welche Regelungen problematisch sind, weil sie der Bereitstellung des jeweiligen Produkts entgegenstehen, den Hersteller mit hohen Unsicherheiten hinsichtlich der potentiell einschlägigen nachmarktlichen Pflichten konfrontieren, den Arbeitgeber vor eine komplexe Gefährdungsbeurteilung stellen etc. Die Prüfung ist dabei auf das Aufzeigen der wesentlichen Probleme beschränkt, eine abschließende Prüfung der einzelnen Beispiele erfolgt nicht. Denn Zweck der Begutachtung der Beispiele ist die Ermittlung derjenigen Normen, die bei KI-Systemen Anwendungsschwierigkeiten bereiten, also Rechtsunsicherheit bergen, oder diesen Systemen in der jeweiligen Ausprägung ganz entgegenstehen. Die Prüfung lässt zudem die hoheitliche Überwachung und das Haftungsrecht außer Betracht. Auf sie wird in den Schlussfolgerungen kurz eingegangen.

Dem kursiv dargestellten Sachverhalt des jeweiligen Beispiels folgt vor dem eigentlichen Gutachten eine kurze Hervorhebung der taxonomischen Besonderheiten.

5.4.1 Beispiel 1 – Schweißroboter