Beispiel 2 - KI-Steuerungssystem

Veränderbarkeit –Widerstandsfähigkeit – Vernetzung – Schadensfolgen

In einer hochautomatisierten Produktion des Maschinenbaus werden verschiedene Produkte an einer Fertigungsstraße produziert, die dem konkreten Produkt entsprechend modifizierbar ist. Einige Arbeiten werden von Menschen ausgeführt, andere vollautomatisiert durch Roboter. Die Steuerung der Geschwindigkeit der in den Boden der Fertigungsstraße eingelassenen Förderbänder, die Auswahl der Reihenfolge der in der Schicht zu bearbeitenden Werkstücke und die entsprechende Modifizierung der einzelnen Stationen der Fertigungsstraße funktioniert wie folgt: Es werden an vielen Stellen der Fertigungsstraße Kameras und andere Sensoren eingebaut. Die Auswertung der damit gesammelten Informationen erfolgt mit Deep-Learning-Algorithmen. Diese erkennen Arbeitsfortschritte an den einzelnen Stationen, eventuelle Staus, Unregelmäßigkeiten bei den Werkstücken oder Werkstücke mit besonderen Montageanforderungen, die an einzelnen Stationen mehr Zeit beanspruchen etc. Das Auswertungssystem lernt während des Betriebes weiter, es erkennt selbstständig die Anforderungen an die Fördergeschwindigkeit und an die Planung der Produktionsreihenfolge der verschiedenen Produkte bei der Vielzahl an möglichen Anforderungen entlang der Fertigungsstraße. Daraus abgeleitet werden die steuerbaren Prozessglieder, wie beispielsweise Motorgeschwindigkeiten des Förderbandes, durch das Auswertungssystem angepasst. Das Auswertungssystem ist dabei frei, mit seinen Steuerungsmöglichkeiten lösbare Probleme zu identifizieren und zu lösen, ihm wurde kein starres Ziel vorgegeben, wie z. B. „Ermögliche eine möglichst hohe Stückzahl pro Tag bei gleichbleibender Fördergeschwindigkeit“. Es kennt vielmehr die Leistungspotenziale der steuerbaren Elemente der Fertigungsstraße sowie die von ihm nicht beeinflussbaren Voraussetzungen, wie die vorgegebene Leistungsfähigkeit der Beschäftigten, die aktuellen Kapazitäten des Produktlagers und der aktuelle Stand des Lagers für Zuliefererteile und Grundstoffe. Daraus ermittelt es die möglichen Optimierungspotenziale. Die Beschäftigten an den manuellen Stationen erfahren über entsprechende Signale, wann welches Produkt durch die Fertigungsstraße läuft und stellen sich darauf ein. Im Lauf des Prozesses identifiziert das Auswertungssystem ein „Optimierungspotenzial“, wenn es ein etwas leichteres Werkstück besonders schnell über die Förderbänder laufen lässt. Nach einigen Durchgängen, die reibungslos verlaufen, kommt es an einer der manuell bedienten Stationen zum Unfall: Der Beschäftige dort war aufgrund einer Unachtsamkeit bei dem vorangegangenen Werkstück noch nicht auf das etwas schneller herangeförderte Werkstück eingestellt und deshalb noch nicht auf entsprechender Position, was die Software über die Kameras zwar registriert, aber falsch interpretiert. Der Prozess läuft daher weiter und das Werkstück fährt dem Beschäftigten von hinten in die Beine. Der Beschäftigte kommt zu Fall und verstaucht sich das Handgelenk. Das Auswertungssystem erkennt den Sturz und stoppt sofort den Produktionsprozess.

5.4.2.1 Taxonomie

Gegenstand der Untersuchung soll hier das Auswertungssystem sein. Es ist Teil eines Gesamtsystems, weist jedoch die hier untersuchten Merkmale der Taxonomie auf und gibt die maßgeblichen Befehle an die anderen Teilsysteme der Fertigungsstraße.

Dieses Auswertungssystem kann während des Betriebes weiterlernen, zeichnet sich also durch einen hohen Grad an Veränderbarkeit aus.

Die Widerstandsfähigkeit und hier speziell die Robustheit des Systems kann eingeschränkt sein. Denn die hohe Komplexität des Gesamtsystems, bedingt durch

die unterschiedlichen Informationen und möglichen Lösungswege für die durch das System identifizierten Probleme, bergen auch die Gefahr, dass das System durch unvorhergesehene Ereignisse den auszuwertenden Informationen falsche Werte zuordnet und so zu falschen Annahmen für die Steuerung der Fertigungsstraße kommt.

Das Auswertungssystem ist als Teil eines Gesamtsystems aus Kameras, Steuerungseinheit und Motoren für die Auswertung und Umsetzung der durch die Kameras aufgenommenen Bilder zuständig. Durch die Auswertung werden die Befehle der Steuerungseinheit und damit die Motorengeschwindigkeit determiniert. Das Auswertungssystem ist also hochgradig vernetzt. Es handelt sich zudem nicht um eine zentrale Instanz, die letztlich die Motoren steuert, sondern um eine Arbeitsteilung zwischen Bildverarbeitung und Sensorik. Die Vernetzung führt also zu einem dezentralen Gesamtsystem. Die Vernetzung ist nicht nur rein informativer Natur, sondern sicherheitsrelevant. Denn das Auswertungssystem trifft seine Entscheidungen auf Grundlage der verschiedenen Sensoren.

Der Mensch ist nicht involviert, sofern es um die Bewertung der von den Sensoren aufgenommenen Informationen und die Ableitung von Steuerungsbefehlen geht, kann aber geschädigt werden.

Das Auswertungssystem kann bei Fehlfunktionen relevante Schäden hervorrufen, da sie vitale Funktionen der Fertigungsanlage beeinflusst, die, fehlerhaft beeinflusst, ein Risiko darstellen. Insbesondere sind Menschen dem Gesamtsystem ausgesetzt, da sie passiv mit diesem interagieren.

5.4.2.2 Produktsicherheitsrecht

Das Auswertungssystem ist durch Einbettung in die Steuerungseinheit und die Verbindung mit den Sensoren und der Fertigungsanlage eine Komponente einer Maschine im Sinne des § 2 Nr. 2 lit. a) der 9. ProdSV. Auch wenn das Auswertungssystem als Software keine Maschine ist, stellt sie doch ein sicherheitsrelevantes Element des Gesamtsystems dar. Zur Erfüllung der Sicherheits- und Gesundheitsschutzanforderungen nach der Maschinen-RL muss der Hersteller dieser Maschine bei der Konstruktion sicherstellen, dass nur Komponenten eingesetzt werden, die diesen Anforderungen und der Funktionalität entsprechen. Unabhängig davon, ob sie als Produkt selbst Gegenstand einer Konformitätsbewertung waren oder lediglich Einzelteile sind, die in einer bestimmten Maschine aufgehen sollen, sind alle Komponenten des Endprodukts Maschine vom Hersteller so auszuwählen, dass die Maschine die an sie zu stellenden Anforderungen erfüllt.

Die Auswahl der Komponenten der Maschine ist also Teil der Risikobeurteilung nach Anhang I der Maschinen-RL. Das Auswertungssystem ist den möglichen Schadensfolgen entsprechend zu beurteilen.

Bei der Bestimmung der Grenzen der Maschine im Rahmen der Risikobeurteilung sind durch die Deep-Learning-Algorithmen weite Grenzen zu setzen. Sie können anhand der bestimmungsgemäßen Verwendung und vernünftigerweise erwartbaren Fehlanwendung identifiziert werden. Weite Grenzen bedeuten eine Vielzahl von möglichen Risiken, die wiederum schwer vor Inbetriebnahme bewertet werden können. Zudem handelt es sich um ein weiterlernendes System, sodass kaum ermittelt werden kann, mit welcher Wahrscheinlichkeit welches risikobehaftete Bildverarbeitungsergebnis aus der Menge möglicher Ergebnisse (innerhalb der Maschinengrenzen) vorkommt. Das gilt besonders dann, wenn das System nicht sehr robust ist. Dem kann dank der Vernetzung entgegengewirkt werden, indem Redundanzen vorgesehen werden. Das Auswertungssystem kann dann anhand von

Plausibilitätsprüfungen eine relativ zuverlässige Informationsgrundlage schaffen.

Die Kombination aus Veränderbarkeit und Vernetzung kann hier dazu führen, dass die rechtlichen Anforderungen erfüllt werden und das System eine Widerstandsfähigkeit aufweist, die den bei der Risikobeurteilung ermittelten Anforderungen gerecht wird. Die Vernetzung gleicht hier einen hohen Grad der Veränderbarkeit aus.

Der maßgebliche Zeitpunkt der Risikobeurteilung durch den Hersteller kann sich jedoch als problematisch erweisen. Das weiterlernende System entzieht sich im maßgeblichen Zeitpunkt für die Risikobeurteilung, also spätestens bei der Inbetriebnahme, einer abschließenden Bewertung. Wie gezeigt, ist bereits die Eintrittswahrscheinlichkeit einzelner Gefährdungssituationen bei Betrieb des Systems im Auslieferungszustand schwierig. Lernt das System wie hier weiter, schließt es also auf Grundlage der gesammelten Informationen bestimmte Lösungen aus, rückt dafür andere in den Fokus, stellt sich die Frage, wie mit hinreichender Genauigkeit im maßgeblichen Zeitpunkt der Inbetriebnahme die eine Lösung in Zukunft vom System eher als nicht zu bevorzugen kategorisiert wird und die andere dafür verstärkt gewählt wird. Eine Verifizierung der für die Risikobeurteilung relevanten Eigenschaften wird damit erschwert. Der Stand der Technik ist der Maßstab für die Risikobeurteilung und die Konstruktion der Maschine. Kann den Sicherheits- und Gesundheitsschutzanforderungen nach Anhang I der Maschinen-RL nach dem Stand der Technik nicht nachgekommen werden, so ist die Maschine gemäß Nr. 3 Allgemeine Grundsätze Anhang I der Maschinen-RL so weit wie möglich auf diese Ziele hin zu konstruieren und zu bauen. Der Stand der Technik findet sich nicht nur in den technischen Normen. Besteht keine technische Norm für eine der Sicherheits- und Gesundheitsschutzanforderung, so ist der Stand der Technik aus anderen Quellen zu ermitteln. Das können auch Erfahrungen der Praxis mit bereits in Betrieb befindlichen Auswertungssystemen des in der Maschine installierten Typs. Insoweit kann den Hersteller eine indirekte Produktbeobachtungsobliegenheit treffen, seine in Betrieb befindlichen Maschinen zu einem bestimmten Grad zu beobachten. Wie weit diese ausgestaltet sein muss, hängt jedoch stark vom Einzelfall ab. Die daraus gezogenen Schlüsse können gleichwohl nicht ohne weiteres auf die konkrete Maschine in der konkreten Umgebung übertragen werden, wenn es sich um ein weiterlernendes System handelt.

Wegen der möglichen Schadensfolgen sind allerdings strenge Anforderungen an die Ermittlung und Bewertung der möglichen Risiken zu stellen. Die in dem Beispiel realisierten Schäden lassen das dort verwirklichte Risiko besonders schwer erscheinen, mag die Eintrittswahrscheinlichkeit (die wiederum zu ermitteln wäre) auch gering sein.

Der Hersteller der Maschine muss ebenso den Grad der Vernetzung der KI-Komponenten mit den anderen Teilen der Maschine beachten. Da das Auswertungssystem als Software Teil der Gesamtheit ist, die als Maschine den Gegenstand der Risikobeurteilung bildet, stellt dies den Hersteller rechtlich vor keine Probleme: Wer die einzelnen Komponenten Sensorik, Sensordatenverarbeitungsprogramm, Steuerungseinheit und Antriebsmotoren zusammenfügt, ist Hersteller im Sinne des § 2 Nr. 10 der 9. ProdSV.

Wenn der Hersteller die Herausforderungen der Risikobeurteilung überwinden und die Konformität der Maschine im Zeitpunkt der Inbetriebnahme nachweisen und die formellen Anforderungen der 9. ProdSV erfüllen kann, stellt sich die Frage, ob eine Konformität später noch gegeben ist, wenn das System sich in sicherheitsrelevanter Weise verändert. Mag es für die Inbetriebnahme genügen, für

diesen maßgeblichen Zeitpunkt die Konformität nachzuweisen, kann die Bewertung zu einem späteren Zeitpunkt durch die Marktüberwachungsbehörde anders ausfallen, da das System dann faktisch bei Untersuchungen der Marktüberwachungsbehörde als nicht mehr konform erscheinen kann. Denn die Marktüberwachungsbehörde muss mit allen ihr nach §§ 26 Abs. 1, 28 ProdSG zustehenden Mitteln den Sachverhalt ermitteln, um feststellen zu können, ob den Anforderungen nach Abschnitt 2 des ProdSG, also über § 3 Abs. 1 Nr. 1 ProdSG auch den Anforderungen der 9. ProdSV im maßgeblichen Zeitpunkt entsprochen wurde. Die Marktüberwachungsbehörde muss den Sachverhalt wegen des Amtsermittlungsgrundsatzes des § 24 Abs. 1 S. 1 und 2 VwVfG selbst ermitteln, sie führt also ggf. auch eine eigene Risikobeurteilung durch. Da ihr kein Entschließungsermessen hinsichtlich der Durchführung von Ermittlungen zusteht, muss sie bereits bei einem Anfangsverdacht entsprechend ermitteln. Bei entsprechend hohen potenziellen Schäden kann sich die Pflicht zur Ermittlung derart verdichten, dass bei Unterlassen der erforderlichen und angemessenen Ermittlungsmaßnahmen ggf. auch Amtshaftung drohen kann, wenn durch das rechtswidrige Unterlassen der Ermittlungen Schäden verursacht werden.

Die Marktüberwachungsbehörde hat zur adäquaten Wahrnehmung ihrer Aufgaben einen hohen Informationsbedarf. Sie wird daher gemäß § 26 Abs. 1 S. 2 ProdSG auf die technischen Unterlagen zurückgreifen und ggf. Laborprüfungen durchführen. Der Hersteller wird daher insbesondere bei weiterlernenden komplexen und vernetzten Systemen wie dem hier vorliegenden über die formellen Dokumentationspflichten des

§ 3 Abs. 2 der 9. ProdSV hinaus ein Interesse haben, das System erklärbar und damit transparent zu halten. Denn nur so kann er verhindern, dass die Marktüberwachungsbehörde durch die nach Inbetriebnahme eingetretenen sicherheitsrelevanten Veränderungen im System zu dem Schluss kommt, dass ein Verstoß gegen § 3 Abs. 1 und 2 Nr. 1 der 9. ProdSV vorliegt.

5.4.2.3 Betrieblicher Arbeitsschutz

Der Arbeitgeber muss auch hier, wie in Beispiel 1, eine Gefährdungsbeurteilung durchführen. Ist er durch die Konstruktion der Gesamtheit als Maschine zur geschäftsmäßigen Nutzung in seinem eigenen Betrieb Hersteller im Sinne der 9.

ProdSV, liegt die erste Gefährdungsbeurteilung als Voraussetzung für die Verwendung des Arbeitsmittels nach § 4 Abs. 1 Nr. 1 BetrSichV vor.

Die Gewährleistung der Sicherheit am Arbeitsplatz ist jedoch eine dauernde Pflicht des Arbeitgebers, sodass er auch zu einer Überprüfung und ggf. Aktualisierung der Gefährdungsbeurteilung nach § 3 Abs. 7 BetrSichV verpflichtet ist. Er hat dafür auch zu ermitteln, in welchem Turnus die Überprüfung zu erfolgen hat. Bei dem hier vorliegenden veränderbaren System wird eine solche Überprüfung entsprechend häufig erfolgen müssen. Gleiches gilt für die wiederkehrenden Prüfungen, die nach der Gefährdungsbeurteilung erforderlich werden.

Dies gilt hier umso mehr, da das Auswertungssystem relevante Schäden hervorrufen kann.

Vorausgesetzt, die Gefährdungsbeurteilung überwindet die für die Risikobeurteilung des Herstellers festgestellten Schwierigkeiten, stellt sich sogar vielmehr die Frage, ob das System nicht dauerhaft überwacht werden muss. Denn die noch in der letzten Gefährdungsbeurteilung gewonnenen Erkenntnisse und insbesondere die getroffenen Schutzmaßnahmen können durch die Veränderbarkeit quasi jederzeit hinfällig sein.

Jedenfalls die Pflicht zur wiederkehrenden Prüfung wird damit zur Pflicht zur dauerhaften Prüfung.

Damit geht ein hoher Bedarf an Informationen über die Funktionsweise des Systems einher. Der Arbeitgeber muss sich gemäß § 3 Abs. 4 S. 1 BetrSichV die erforderlichen Informationen beschaffen. Wenn nötig, muss er sich nach § 3 Abs. 3 S. 4 BetrSichV fachkundig beraten lassen. Mit hochgradig veränderbaren und wenig widerstandsfähigen Systemen kann er keine zweckmäßige Gefährdungsbeurteilung durchführen, wenn er nicht die erforderlichen Informationen über die Logik des Systems hat. Die Transparenz des Systems ist für den Arbeitgeber von hoher Bedeutung. Das ist nicht zuletzt auch Voraussetzung für die Unterweisung der Beschäftigten gemäß § 12 BetrSichV. Damit ein sicherer Betrieb gewährleistet ist, muss entsprechend transparent sein, wann welches Teil über die Fertigungsstraße läuft. Das ist Gegenstand der Unterweisung, aber auch der zu auf Grundlage der Gefährdungsbeurteilung zu ergreifenden Maßnahmen zur Gewährleistung der Sicherheit.

Für die Aufsichtsbehörden gilt das zu den Marktüberwachungsbehörden Ausgeführte. Sie können durch den kooperativen Ansatz des Arbeitsschutzrechts jedoch flexibler auf den Verdacht der Gefährdung von Beschäftigten durch Arbeitsmittel reagieren. Letztlich stellen sie aber den Arbeitgeber als aus dem ArbSchG und der BetrSichV Verpflichteten vor die gleichen Herausforderungen, wie den Hersteller: Er muss das System de facto im Zweifel erklären können, um umfangreicheren Maßnahmen der Aufsichtsbehörden zu begegnen.

5.4.2.4 Ergebnis

Dieses Szenario wirft für den Hersteller und den Arbeitgeber rechtliche Fragen auf, da beide für eine Erfüllung ihrer jeweiligen Pflichten hinsichtlich des Risikomanagements letztlich zur dauerhaften Überwachung der KI-Komponente angehalten sind.

Der Hersteller muss sich formell am maßgeblichen Zeitpunkt der Inbetriebnahme orientieren, wird aber tatsächlich eine belastbare Aussage über die möglichen Zustände der Maschine und der damit einhergehenden Gefährdungssituationen nur bei einer dauernden Beobachtung im laufenden Betrieb am konkreten Einsatzort treffen können. Die Anforderungen des § 3 Abs. 1 der 9. ProdSV versuchen dies für individuell konstruierte Maschinen insofern zu entschärfen, indem sie Konformität erst mit Inbetriebnahme verlangen, also nach der Montage und etwaigen Testläufen. Diese Regel geht jedoch von Systemen aus, die sich ab Inbetriebnahme nicht mehr ändern.

Der hieran orientierte maßgebliche Zeitpunkt ist damit für das vorliegende Szenario hinderlich und führt dazu, dass der Hersteller die erforderlichen Nachweise nicht erbringen kann. Auch wenn er sie im maßgeblichen Zeitpunkt erbringen kann, kann die Marktüberwachungsbehörde zu einem späteren Zeitpunkt zu einem anderen Ergebnis kommen. Der Hersteller wird also auch über den Zeitpunkt der Inbetriebnahme hinaus sein System so transparent gestalten müssen, dass keine hoheitlichen Maßnahmen wegen der Annahme erfolgen, dass System sei nicht konform gewesen.

Eine direkte Pflicht zur Beobachtung ergibt sich aus dem Recht derzeit für den Arbeitgeber. Sie stellt ihn bei einem veränderbaren System wie dem hier vorliegenden vor erhebliche Herausforderungen. Weiter muss er zur Vermeidung der im Beispiel realisierten Gefährdungen letztlich bei der hier eingesetzten KI-Komponente einen technikbezogenen Ansatz wählen und den „Entscheidungsspielraum“ der KI-Komponente auf ein beherrschbares Niveau begrenzen oder eine menschliche Kontrollinstanz integrieren.

5.4.3 Beispiel 3 – Kooperierender (kollaborierender³⁵⁹⁾ Roboter