• Keine Ergebnisse gefunden

KI und die Haftung für materielle Schäden

Im Dokument Wie wir leben wollen (Seite 117-124)

Rechtliche Gestaltung und Standards der Digitalisierung

7.1  KI und die Haftung für materielle Schäden

Es sind viel diskutierte Fallbeispiele, die an mehreren Stellen des Buches bereits genannt wurden oder noch auftauchen werden, die hier relevant sind: Ein selbst fahrendes, durch KI gesteuertes Auto verletzt gegen den Willen des Autofahrers einen Passan-ten. Eine mit Hilfe eines Roboters durchgeführte Operation führt gegen den Willen des durchführenden Arztes zu einer Verletzung des Patienten. In beiden Fällen haben sich die Anwender der KI an die ihnen vorliegenden Instruktionen gehalten. Die KI war fehlerhaft, für den Anwender nicht erkennbar. Hier stellt sich die Frage, wer für die aufgetretenen Schäden haftet. Der Hersteller des Produkts, das die mangelhafte KI beinhaltet? Der Programmierer der Software, die der KI zu Grunde liegt? Der KI-An-wender? Auf jeden Fall haftet die KI mangels eigener Rechtspersönlichkeit nicht selbst.38 7.1.1 Haftung des Herstellers oder des Programmierers

Die Grundlage für einen Haftungsanspruch des Geschädigten ist in der Regel nicht vertraglicher Art, da keinerlei vertragliche Beziehung zwischen dem Hersteller und dem Opfer der mangelhaften KI bestehen, wie in den genannten Beispielen des durch ein intelligentes Fahrzeug verletzten Passanten und den durch einen Operationsroboter verletzten Patienten. In Betracht kommen daher vertragsunabhängige Ansprüche nach dem Produkthaftungsgesetz (ProdHaftG) sowie dem Bürgerlichen Gesetzbuch (BGB).

Das ProdHaftG hat eine sogenannte »Gefährdungshaftung« des Herstellers eingeführt, die auch ohne Verschulden allein wegen des Inverkehrbringens einer Gefahr entsteht.39 Zwar geht die herrschende Meinung in Forschung und Praxis davon aus, dass KI nicht

38 Siehe unten, 9. Kapitel Geistige Eigentumsrechte. Genauer zur Problematik einer eigenen Rechts-persönlichkeit für KI siehe 6. Kapitel Maschinenrechte.

39 § 1 (1) ProdHaftG. Die Haftung erstreckt sich auf Schäden an Leben, körperlicher Unversehrtheit, Gesundheit und, mit gewissen Einschränkungen, Sachen.

als Produkt im Sinne des ProdHaftG anzusehen ist, da dieses eine bewegliche Sache voraussetzt und es zweifellhaft ist, ob Software und Algorithmen in ihrer Unkörper-lichkeit diese Voraussetzung erfüllen. (Bundesministerium für Wirtschaft und Energie [BMWi], 2019, S. 16). Damit scheidet eine Haftung des Programmierers aus ProdHaftG aus. Im Verbund mit einer körperlichen Sache wie z. B. einem Kraftfahrzeug oder einem Operationsroboter liegt jedoch auf jeden Fall ein solches Produkt vor und in Betracht für eine Haftung kommt der Hersteller des Kfz oder des Roboters, der die KI eingebaut hat. Allerdings setzt die Produkthaftung das Vorliegen eines Fehlers im Produkt voraus, und dieser Fehler ist vom Geschädigten nachzuweisen.40 Dies dürfte sich im Bereich der KI, in dem nicht einmal der Hersteller ein umfassendes Verständnis der inneren Abläufe der KI haben mag, für einen Außenstehenden als sehr schwierig erweisen.

Sollte dem Geschädigten der schwierige Nachweis gelingen, kann der Produkt-hersteller wiederum versuchen, seine Haftung unter Berufung auf verschiedene Ex-kulpationsgründe doch noch auszuschließen.41 Im Bereich der KI könnte besonders der in § 1 (2) Nr. 2 ProdHaftG genannte Grund einschlägig sein, nach dem eine Haftung ausgeschlossen wird, wenn davon auszugehen ist, dass das Produkt noch nicht fehler-behaftet war, als der Hersteller es in den Verkehr gebracht hat. KI kann sich im Laufe ihrer Betriebszeit auf unvorhergesehene Weise verändern und nicht geplante Ergeb-nisse erzielen oder Schäden verursachen. Zwar ist darauf hingewiesen worden, dass in solchen Fällen der Fehler nicht im der KI antrainierten Wissen liegt, sondern in der von Anfang an fehlerhaften Programmierung, die unerwünschte Fehlentwicklungen erst ermöglicht hat (BMWi, 2019, S. 17). Es sind aber Fälle vorstellbar, in denen die ursprüngliche Programmierung nicht als fehlerhaft angesehen werden kann. Dement-sprechend kann sich ein Hersteller exkulpieren, der beweisen kann, dass der Fehler nach dem Stand der Wissenschaft und Technik in dem Zeitpunkt, in dem der Hersteller das Produkt in den Verkehr brachte, nicht erkannt werden konnte.42

Alternativ zur Produkthaftung kommt ein Rückgriff auf die »Produzentenhaftung«

nach BGB in Betracht.43 Zwar haftet der Produzent hier nur bei Verschulden (Vorsatz oder Fahrlässigkeit). Ein solches wird jedoch speziell bei der Produzentenhaftung durch eine Beweislastumkehr vermutet. Gelingt es dem Produzenten nicht, diese Vermutung zu entkräften, haftet er für die fehlerhafte KI. Allerdings tritt diese Vermutung erst ein, nachdem der Geschädigte zunächst den Fehler nachgewiesen hat. Insofern stellt die Produzentenhaftung den Geschädigten vor dieselbe Schwierigkeit wie die Produkt-haftung, nämlich den Nachweis eines Fehlers in einem Algorithmus, dessen genaue Funktionsweise eventuell auch dem Hersteller unklar ist.

40 § 1 (4) ProdHaftG.

41 Vgl. § 1 (2) und (3) ProdHaftG.

42 § 1 (2) Nr. 5 ProdHaftG.

43 Diese ist ein von der Rechtsprechung auf Grund von § 823 (1) BGB (Deliktsrecht) entwickeltes Inst-rument, das in seiner genauen Ausgestaltung gesetzlich nicht ausdrücklich ausformuliert ist.

7.1.2 Haftung des Anwenders

Anspruchsgrundlage ist auch hier das Deliktsrecht des BGB. Anders als bei der spe-ziellen Produzentenhaftung (s. o.) greifen beim KI-Anwender allerdings die herkömm-lichen Beweislastregeln. Der Geschädigte muss dem Anwender also ein vorsätzliches oder fahrlässiges Verhalten im Umgang mit der KI nachweisen.44 Hat sich der Anwender an die Bedienungsanleitung der KI gehalten, wird ein solcher Verschuldensnachweis nicht zu erbringen sein. Eine Anwenderhaftung kann daher im deutschen Recht so gut wie ausgeschlossen werden.

7.1.3 Sonderfall: Haftung des Kfz-Halters

Der Gesetzgeber hat im Straßenverkehrsgesetz (StVG) eine strenge Gefährdungs-haftung des Fahrzeughalters (n. b. nicht des Fahrzeugführers45) festgelegt, die im Fall selbstfahrender Fahrzeuge Anwendung findet. Die Haftung knüpft an die bestehende Haftpflichtversicherung aller Fahrzeughalter an. Wie beim ProdHaftG haftet ein Kfz-Halter unabhängig vom eigenen Verschulden allein für den Betrieb einer Gefahren-quelle. Anders als beim ProdHaftG braucht der Geschädigte aber keinen Fehler in der KI nachzuweisen. Der Halter haftet allein wegen seiner Eigenschaft als Halter.

Im Falle selbstfahrender Fahrzeuge haben Geschädigte also die besten Aussichten auf Schadenersatz.

7.1.4 Vertragliche Regressansprüche

Im Falle einer Haftung des Herstellers oder des Kfz-Halters wird der Haftende (bzw.

die für den Schaden aufkommende Versicherung) Interesse an einer Erstattung des ihm entstandenen Schadens haben. In Betracht kommen hier vertragliche Schaden-ersatzansprüche gegen den Verkäufer des die mangelhafte KI beinhaltenden Produkts (z. B. ein Kfz oder ein Operationsroboter). Dieser wird sich wiederum an seine eigenen Vertragspartner in der Herstellungskette, also z. B. einen Autozulieferer, richten, um Schadenersatz wegen Mangelleistung zu erreichen. Am Ende der Regresskette steht aller Voraussicht nach der KI-Programmierer. Hier entsteht jedoch ein Problem, das ver-gleichbar ist mit der Durchsetzung von Ansprüchen aus Produkthaftung: jeder Geschä-digte muss dem jeweils in der Produktionskette vor ihm befindlichen Vertragspartner das Vorliegen eines Fehlers nachweisen. Wenn die KI selbst falsch programmiert wurde, könnte eine solche Beweisführung sehr schwerfallen. Und selbst wenn der Fehler in der KI schlüssig dargelegt werden kann und die Schadenersatzforderungen schließlich den Softwareprogrammierer erreichen, ergibt sich hier eine weitere Schwierigkeit:

Pro-44 Der Fahrzeugführer ist nur bei Verschulden (Vorsatz oder Fahrlässigkeit) zum Schadenersatz ver-pflichtet, vgl. § 18 (1) Straßenverkehrsgesetz (StVG).

45 § 7 StVG.

grammierer verwenden in vielen Fällen sogenannte Open Source Software (OSS), deren verschiedene Elemente (und damit auch eine Fehlprogrammierung) nicht eindeutig einem bestimmten Programmierer zugeordnet werden kann. Dementsprechend wird in den Nutzungsbedingungen der OSS eine vertragliche Haftung einzelner Entwickler ausgeschlossen. (BMWi, 2019, S. 17) Die Innovationsvorteile der Arbeitsteilung bei OSS erweisen sich also als Nachteil für vertragliche Schadenersatzansprüche.

Die Aussichten eines durch KI Geschädigten auf Schadenersatz sind nicht immer gleich günstig. Sehr gute Aussichten bestehen im Spezialbereich des Straßenverkehrs, da der Fahrzeughalter einer strengen Gefährdungshaftung unterworfen ist. Weniger aussichtsreich sind die Schadenersatzansprüche gegen den Hersteller von KI-be-triebenen Geräten außerhalb des Straßenverkehrs. Sowohl die Produzentenhaftung des BGB als auch die Produkthaftung des ProdHaftG verlangen vom Geschädigten den Nachweis eines Fehlers. Ein solcher Nachweis kann bei analogen Produkten, deren Funktionsweise klar durchschaubar ist, durchaus gelingen. Bei fehlgeleiteten Algorith-men hingegen erscheint dieser Nachweis unzumutbar schwierig. Die im ProdHaftG vorgesehenen Exkulpationsmöglichkeiten des Herstellers (insbesondere der Nachweis von Fehlerfreiheit des Produkts vor Inverkehrbringen) schaffen zusätzliche Rechts-unsicherheit für Geschädigte.

Noch schwieriger erscheinen Ansprüche gegen Anwender der KI, wie z. B. einen Kfz-Führer oder einen Chirurgen, da ihnen ein Verschulden kaum nachzuweisen sein wird. Dies gilt auch für eventuelle deliktsrechtliche Ansprüche gegen den Program-mierer der KI (§ 823 BGB). Gegen diesen scheiden auch Schadenersatzansprüche aus Produkthaftung aus, da Software nach heutigem überwiegendem Verständnis kein Pro-dukt im Sinne des ProdHaftG darstellt.

Sowohl die Europäische Kommission als auch das Bundeswirtschaftsministerium (BMWi) haben zu Fragen der Haftung für fehlerhafte KI Stellung genommen. Das BMWi sieht solche Fälle grundsätzlich durch ProdHaftG und die Produzentenhaftung abgedeckt und erkennt deswegen solange keinen Handlungsbedarf des Gesetzgebers, wie es keine selbstständige KI gibt (BMWi, 2019, S. 19).46 Jedoch geht das BMWi in seiner Analyse nicht auf die praktischen Beweislastschwierigkeiten ein, die den Ge-schädigten treffen. Dieses Problem greift die EU-Kommission auf. In einem Bericht vom Februar 2020 stellt sie umfassende Überlegungen zur Anwendbarkeit existierender Haftungsregime auf KI-betriebene Technologien an (Europäische Kommission, 2020).

Die Kommission stellt in diesem Kontext noch keine Empfehlungen auf, sondern teilt mit, welche Ansätze sie weiterverfolgen und durch das Einholen von Meinungs-äußerungen absichern möchte. Dabei stützt sie sich auf einen Expertenbericht von 2019 (Europäische Kommission, 2019). Folgende Ansätze der Kommission sollen hier kurz erörtert werden.

46 Allerdings befürwortet das BMWi eine Erweiterung des Fehlerbegriffs im ProdHaftG. Dieser umfasst bisher nur mangelhafte Programmierung von Algorithmen, nicht aber das Training eines Algorithmus mit fehlerbehafteten Lerndaten (ebda, S. 18).

Um den Geschädigten von durch KI-betriebenen Technologien die oben dar-gestellten Beweislastprobleme zu erleichtern, zieht die Kommission eine strenge Gefährdungshaftung für Betreiber von KI-Technologien in Betracht, im Ergeb-nis vergleichbar mit der Kfz-Halterhaftung. Dabei kommt sowohl eine Haftung des unmittelbaren Betreibers als auch von Personen in Frage, die dauerhaft Kon-trolle über die Funktion der Technologie ausüben, etwa durch laufende Aktuali-sierungen der Betreibersoftware. Haften soll derjenige, der die stärkste Kontrolle über die Technologie ausübt, sei es unmittelbar oder mittelbar (Europäische Kommission, 2019). Allerdings befürwortet die Kommission eine Gefährdungs-haftung nur für solche Produkte und Dienstleistungen, die in öffentlichen Berei-chen eingesetzt werden und die Öffentlichkeit erhebliBerei-chen Risiken in Bezug auf Leben, Gesundheit und Eigentum aussetzen können. Eine Ausdehnung der Ge-fährdungshaftung auf alle durch KI betriebenen Technologien wird abgelehnt.

Die Kommission äußert in diesem Zusammenhang die Befürchtung, dass eine zu weitgehende Gefährdungshaftung die Einführung neuer KI-Technologien verzö-gern könnte. (Europäische Kommission, 2020)47 Der Expertenbericht von 2019 bezweifelt außerdem, ob Versicherungen bereit wären, die durch KI-Techno-logien verursachten Risiken umfassend abzusichern, wenn sich wegen mangeln-der Erfahrung mit neuen Technologien die Quantifizierung eines Schadens und damit der Versicherungssumme als zu komplex herausstellen sollte (Europäische Kommission, 2019, S. 61).

Für den Betrieb aller anderen KI-Anwendungen, die nach Ansicht der Kommis-sion die »überwiegende Mehrheit […] ausmachen dürften«, erwägt die Kom-mission, die Beweislastregeln bestehender Haftungsregime den Besonderheiten neuer Technologien anzupassen:

Bei der Produkthaftung könnte der Hersteller von KI-Technologie, anders als im heute gültigen ProdHaftG, auch für solche Fehler des Produkts haften, die sich erst nach Inverkehrbringen des Produkts materialisiert haben, etwa durch nachträgliche Aktualisierungssoftware der KI, über die der Hersteller die Kontrolle ausgeübt hat, oder bei nachträglichen Veränderungen der ur-sprünglich in Verkehr gebrachten KI auf Grund der vor Inverkehrbringen programmierten Selbstlerneigenschaften. Sobald der Geschädigte einen ihm durch die digitale Technologie entstandenen Schaden bewiesen hat wird, ebenfalls abweichend vom geltenden ProdHaftG, der Fehler zu Lasten des Herstellers vermutet, wenn es dem Geschädigten wegen damit verbundener Kosten oder unverhältnismäßiger praktischer Schwierigkeiten unzumutbar wäre nachzuweisen, dass der Hersteller bestimmte Sicherheitsstandards nicht eingehalten hat (Europäische Kommission, 2019, S. 42). Das Gleiche soll gel-ten, wenn der Hersteller einer Pflicht zur Dokumentation nicht nachkommt,

47 Unter Bezugnahme auf Europäische Kommission, 2019, und die sich dort auf S. 61 befindliche Analyse.

durch die Fehler in der KI-Software aufgezeigt werden können (ebenda, S.

47). Umgekehrt zieht die Kommission ein Mitverschulden des Geschädigten in Erwägung, wenn dieser eine zumutbare Aktualisierung der ihn geschädig-ten Software unterlassen hat (Europäische Kommission, 2020, S. 18).

Bei der verschuldensabhängigen Haftung sollen Betreiber verpflichtet sein, das geeignete KI-System auszuwählen, es zu überwachen und in Stand zu halten. Hersteller sollen verpflichtet werden, KI-Systeme dergestalt zu ent-werfen, zu beschreiben und zu vermarkten, dass ein Betreiber den o. g. Pflich-ten nachkommen kann. Außerdem sollen Hersteller die KI-Technologie nach Inverkehrbringen angemessen überwachen (Europäische Kommission, 2020, S. 44). Die konkrete Bestimmung dieser Pflichten würde den Umfang der den Geschädigten treffenden Beweislast festlegen. Kommt er dieser nach, würde ein Verschulden des Betreibers oder Herstellers vermutet. Vom Standpunkt des deutschen Haftungsrechts wäre dies in Bezug auf den Hersteller keine Neuerung. Wie oben beschrieben verzichtet das ProdHaftG auf ein Verschul-den. Die durch die Rechtsprechung entworfene Produzentenhaftung hat bereits eine Verschuldensvermutung etabliert. Hinsichtlich der Anwender-haftung ist ebenfalls fraglich, ob der Vorschlag der Kommission die Beweis-lage des Geschädigten nachhaltig erleichtern würde. Der Geschädigte müsste dem KI Betreiber immerhin eine mangelhafte Auswahl, Überwachung oder Wartung eines KI-Systems nachweisen. Hier dürfte sich der o. g. Ansatz der strengen Gefährdungshaftung für im öffentlichen Bereich eingesetzte Tech-nologien als wesentlich vorteilhafter für den Geschädigten erweisen.

Zusätzlich zu den Beweislasterleichterungen erwägt die Kommission andere wichtige Änderungen, wie insbesondere eine Ausweitung des Produktbegriffs in der EU-Produkthaftungsrichtlinie. Wie bereits ausgeführt geht in Deutschland die herrschende Meinung davon aus, dass Software nicht unter das ProdHaftG fällt. Erst wenn der Produktbegriff ausdrücklich auf Software ausgeweitet wird, könnten auch Softwareprogrammierer regresspflichtig werden, etwa gegenüber einem haftenden Hersteller, der eine fehlerhafte Software in ein Produkt ein-gebaut hat, das den Geschädigten verletzt hat.48

7.1.5 Stellungnahme / Handlungsempfehlungen

Wenn man davon ausgeht, dass in Zukunft KI nicht nur autonomes Fahren ermöglichen, sondern auch andere Technologiebereiche beeinflussen soll, erscheint es wünschens-wert, eine einheitliche Haftung für materielle Schäden zu gewährleisten. Warum sollte sich die Erlangung von Schadenersatz für eine misslungene Operation komplizierter ge-stalten als im Falle eines Autounfalls, obwohl die verletzten Rechtsgüter dieselben sind?

48 Vgl. § 5 ProdHaftG in Verbindung mit § 426 (2) BGB.

Es liegt deshalb nahe, auch in Bereichen außerhalb des Straßenverkehrs eine wie die Kfz-Halterhafung konstruierte strenge Gefährdungshaftung einzuführen. Diese sollte der Geschädigte stets gegen die ihn unmittelbar verletzt habende Person beanspruchen können. Dies würde allerdings die Einführung einer allgemeinen Versicherungspflicht für KI-bedingte Schäden voraussetzen, ohne die sich zum Beispiel Ärzte oder Kranken-häuser kaum auf eine KI-basierte Behandlung einlassen würden.

Da es zum jetzigen Zeitpunkt noch kaum Haftungsfälle wegen fehlerhafter KI gibt, kann nicht eindeutig beurteilt werden, ob die Bedenken der Kommission hinsichtlich einer alle KI-Anwendungen betreffenden Gefährdungshaftung gerechtfertigt sind. Das Beispiel der Kfz-Halterhaftung zeigt, dass eine strenge Gefährdungshaftung mit gleich-zeitiger Versicherungspflicht kein Hindernis für die Einführung neuer Technologien sein muss. Auch beim Betrieb eines Kfz kann es zu sehr hohen Schäden für den Ver-sicherer kommen, ohne dass dies der Entwicklung der Autoindustrie geschadet hätte.

Allerdings ist der Kommission zuzugeben, dass zum jetzigen Zeitpunkt ebenfalls un-klar ist, wie gut es Versicherungen gelingen wird, das Risiko zu bestimmen, das durch größtenteils unbekannte KI-Technologien verursacht wird. Es wäre wahrscheinlich sinnvoll, die strenge Gefährdungshaftung zunächst in einigen Bereichen einzuführen, wie von der Kommission vorgeschlagen.

Im Interesse eines effektiven Verbraucherschutzes sollten diese Bereiche Fälle er-fassen, in denen der Nutzer potenziell einem hohen Schaden an Leben, Gesundheit oder Eigentum ausgesetzt ist, wie in den zuvor genannten Beispielen selbstfahrender Kfz, aber auch bei der Verwendung von Robotern in der Chirurgie sowie in der Kran-ken- und Altenpflege. Die von der Kommission genannte Haftungsvoraussetzung der Verwendung von KI-betriebenen Produkten und Dienstleistungen in öffentlichen Bereichen darf nicht dazu führen, dass der Einsatz durch private Träger oder Privat-personen (z. B. beim Einsatz von Pflegerobotern im privaten Haushalt) zu einem Haftungsausschluss führt. Vielmehr sollte die strenge Gefährdungshaftung dann ein-setzen, wenn jemand eine Technologie betreibt oder kontrolliert, die der Öffentlichkeit zur Nutzung zugänglich ist.

Bezüglich anderer KI-Anwendungen, wenn also insbesondere keine gravierende Gefahr für Leben, Gesundheit oder Eigentum droht, sollte das Europäische Produkt-haftungsrecht entsprechend der Vorschläge der Kommission geändert werden. Be-sonders wichtig erscheint hier eine Umkehr der Beweislast hinsichtlich des Vorliegens eines Produktfehlers zu Gunsten des Geschädigten (siehe oben). Dies erleichtert dem Geschädigten eine Schadenersatzklage erheblich. Gerecht erscheint allerdings auch die Möglichkeit für den Hersteller, dem Nutzer ein Mitverschulden nachzuweisen, falls der Verbraucher eine zumutbare Softwareaktualisierung unterlassen hat.

Man sollte aber offen sein für weitere Anpassungen des Haftungsrechts im Sinne einer Ausdehnung der strengen Gefährdungshaftung auf alle Technologiebereiche, wenn sich zeigt, dass die Versicherungspflicht für den Betrieb ausgewählter Techno-logien funktioniert, d. h. technologische Innovation nicht verlangsamt und auch von der Versicherungswirtschaft gut angenommen wird.

Die EU-weite Einführung verbraucherfreundlicher Haftungsregeln könnte wegen der Größe des europäischen Marktes dazu führen, dass Versicherungsgesellschaften auch außerhalb der EU eine Versicherung für den Betrieb von KI-gestützten Techno-logien anbieten.

Im Dokument Wie wir leben wollen (Seite 117-124)