KI-Chatblase, als „Produkt“ etikettiert, liegt auf Rechtsdokumenten mit dem Stempel verschuldensunabhängige Haftung.
Artificial IntelligenceLegal TechTechnology

Ein Gericht stufte Ihren Chatbot als „Produkt“ ein. Dieses eine Wort schrieb die AI-Produkthaftung neu.

Ashutosh SinghalAshutosh Singhal3. Juni 202614 min

Im Januar 2026 schrieb ein Bundesgericht in Florida ein einziges Wort, das die meisten Rechtsabteilungen von Unternehmen meiner Ansicht nach immer noch so einpreisen, als wäre es nie geschehen. Das Wort war Produkt.

Der Fall hieß Garcia v. Character.AI. Ein vierzehnjähriger Junge hatte nach monatelangen Gesprächen mit einem Chatbot Suizid begangen, und die Familien zogen vor Gericht. Character.AI und Google griffen zu den beiden Schutzschilden, die Internetunternehmen seit einer Generation schützen – der Immunität nach Section 230 und dem First Amendment – und argumentierten, die Worte des Chatbots seien Rede oder allenfalls Inhalte Dritter, die sie lediglich hosteten. Das Gericht ließ sich darauf nicht ein. Es entschied, der Chatbot sei „ein Produkt im Sinne der Ansprüche der Kläger, die sich aus Mängeln der Character.AI-App ergeben, und nicht aus Ideen oder Äußerungen innerhalb der App“. Die Unternehmen einigten sich mit Familien in Florida, Colorado, Texas und New York. Die Einstufung als Produkt blieb bestehen.

Ich las die Entscheidung in der Woche, in der sie herauskam, und ich will ehrlich über meine erste Reaktion sein: Ich hielt sie für einen Einzelfall. Ein Verbraucher-Chatbot, ein tragischer, aber ungewöhnlicher Sachverhalt, ein Gericht, das zu einer Analogie greift. Dieser Instinkt war falsch, und es dauerte ein paar Monate und ein unangenehmes Gespräch mit einem Chefsyndikus, bis ich verstand, wie falsch. Das ist die Geschichte davon, was sich geändert hat, was mein Team zuerst falsch gebaut hat und warum ich inzwischen glaube, dass AI-Produkthaftung das einzige am stärksten unterbewertete Risiko in den meisten Unternehmensbilanzen ist.

Rede hat keine Mängel. Produkte schon.

Vergleich: Fahrlässigkeit „Sorglosigkeit beweisen“ vs. verschuldensunabhängige Haftung „Mangel beweisen, Sorgfalt ist keine Verteidigung“.

Deshalb ist dieses eine Wort so bedeutsam. Wenn die Ausgabe Ihrer KI Rede ist, drehen sich die Rechtsfragen um Äußerung, Absicht und Immunität – und Section 230 hat fünfundzwanzig Jahre damit verbracht, diese Fragen für Plattformen verschwinden zu lassen. Wenn die Ausgabe Ihrer KI ein Produkt ist, sind Sie in ein völlig anderes Rechtsgebiet geraten. Produkte haben keine Meinungen. Sie haben Mängel. Und der Hersteller eines mangelhaften Produkts haftet für den dadurch verursachten Schaden, unabhängig davon, ob der Hersteller sorglos war oder nicht.

Dieser letzte Halbsatz ist das ganze Spiel. Nach einem Fahrlässigkeitsmaßstab – der Welt, in der Rechtsteams bis zu diesem Jahr agierten – muss ein Kläger nachweisen, dass Sie die gebotene Sorgfalt außer Acht gelassen haben. Bei der verschuldensunabhängigen Produkthaftung muss er das nicht. Er weist nach, dass das Produkt mangelhaft war und dass der Mangel den Schaden verursacht hat. Ihre Sorgfalt, Ihre guten Absichten, Ihr „wir haben uns an bewährte Verfahren gehalten“ – nichts davon ist eine Verteidigung. Sie haben die Sache hergestellt. Die Sache war mangelhaft. Sie zahlen.

Fahrlässigkeit fragt, ob Sie sorgfältig waren. Verschuldensunabhängige Haftung fragt, ob Ihr Produkt mangelhaft war. Die meisten Unternehmens-KI wurde gebaut, um die erste Frage zu beantworten, und die Gerichte stellen nun die zweite.

Zwei weitere Fälle aus demselben Quartal machten es unmöglich, das Muster als Einzelfall abzutun. In Nippon Life v. OpenAI, eingereicht im März 2026 im Northern District of Illinois, verklagte ein Versicherer auf 10,3 Millionen US-Dollar, nachdem ChatGPT angeblich vierundvierzig Gerichtseingaben für eine sich selbst vertretende Prozesspartei verfasst hatte – samt erfundener Rechtsprechungszitate – und sie ermutigt hatte, ihren Anwalt zu entlassen und weitere Prozesse anzustrengen. Der Versicherer gab rund 300.000 US-Dollar für die Abwehr von Eingaben aus, die eine Maschine geschrieben hatte. Man beachte, wer dort zu Schaden kam: nicht der Nutzer der KI, sondern ein Dritter nachgelagert zu ihrer Ausgabe. Und in Bouck v. Meta, ebenfalls März 2026, verweigerte ein kalifornisches Gericht die Immunität nach Section 230 für KI-generierte Werbeanzeigen und befand, dass Meta, sobald sein System die Anzeigeninhalte erstellt und Meta tatsächliche Kenntnis von deren Betrügerischkeit erlangt hatte, sich nicht darauf berufen konnte, nur die Worte eines anderen zu hosten.

Bis Februar 2026 gab es mehr als 2.200 laufende Verfahren mit der Behauptung, dass KI und auf Engagement-Maximierung ausgelegte Algorithmen realen Schaden verursachen. Das ist keine Grenze. Das ist ein Terminkalender.

Das Quartal, in dem die Gesetzgeber aufholten

Gerichte bewegen sich Fall für Fall. Gesetzgeber bewegen sich in Massen, und 2025 und 2026 bewegten sie sich schneller, als die meisten, die KI bauen, bemerkten.

Der, auf den ich jeden Chefsyndikus eines Unternehmens zuerst hinweisen würde, ist der AI LEAD Act, der überparteiliche Gesetzentwurf von Durbin und Hawley, eingebracht im September 2025. Er würde einen bundesweiten produkthaftungsrechtlichen Anspruchsgrund speziell für KI-Systeme schaffen, mit verschuldensunabhängiger Haftung – der Text erfasst Entwickler selbst dann, wenn sie „alle mögliche Sorgfalt“ angewandt haben. Er deckt Konstruktionsmängel und Verletzungen der Warnpflicht ab, sieht eine vierjährige Verjährungsfrist vor und – das ist der Teil, der ein bestimmtes Vorstandsgespräch dauerhaft beenden sollte – er verbietet, diese Haftung über allgemeine Geschäftsbedingungen abzubedingen. Die Klausel „mit dem Klick auf Akzeptieren stimmen Sie zu, dass dies wie besehen bereitgestellt wird“, die Ihre Anbieter so lieben? Der Gesetzentwurf ist so formuliert, dass sie für diese Schadensklasse nicht durchsetzbar ist.

Kalifornien wartete nicht auf Washington. AB 316, wirksam ab Januar 2026, schließt aus, was ich die Waisen-Verteidigung zu nennen begonnen habe – das Argument, „die KI hat es von selbst getan, also sind wir nicht verantwortlich“. Sie können sich nicht länger auf die Autonomie Ihres eigenen Systems als Grund berufen, aus dem Schneider zu sein. Und jenseits des Atlantiks stuft die EU-Produkthaftungsrichtlinie 2024/2853 Software, einschließlich KI-Systemen und großen Sprachmodellen, ausdrücklich als Produkte unter verschuldensunabhängiger Haftung ein. Die Mitgliedstaaten müssen sie bis zum 9. Dezember 2026 umsetzen. Die Anforderungen des EU AI Act an Hochrisiko-Systeme werden ab dem 2. August 2026 vollständig anwendbar, mit Bußgeldern von bis zu 15 Millionen Euro oder 3 % des weltweiten Umsatzes.

Ich zähle bewusst nicht die gesamte Landkarte auf – Colorados SB 205 mit seinen Strafen von 20.000 US-Dollar pro Verstoß und seinem Vollzugstermin im Juni 2026, New Yorks vorgeschlagenen RAISE Act mit Strafen von bis zu 30 Millionen US-Dollar bei wiederholten Verstößen. Es geht nicht um den Katalog. Es geht um die Richtung, und die Richtung ist einstimmig: Über Rechtsordnungen hinweg, die sich sonst über nichts einig sind, konvergiert der Maßstab für KI-Schäden auf verschuldensunabhängige Haftung, und die vertraglichen Notausgänge werden zugeschweißt.

Ihre Versicherung hat still dieselben Urteile gelesen

Anwälte streiten. Versicherer preisen. Und die Versicherungsbranche preiste dies schneller und rücksichtsloser ein, als es fast jedes Rechtsteam erwartet hatte, mit dem ich gesprochen habe.

Seit Januar 2026 existiert nun die Standardformulierung, um KI-Ansprüche vollständig auszuschließen – vorformuliert und bereit, an Ihre Vertragsverlängerung geheftet zu werden. Das Insurance Services Office – das Gremium, auf dessen Formularen die meisten gewerblichen US-Policen aufbauen – veröffentlichte den Zusatz CG 40 47, der von generativer KI verursachte Personenschäden, Sachschäden sowie Personen- und Werbeschäden aus einer standardmäßigen gewerblichen Betriebshaftpflichtpolice herausnimmt. Es gibt ein leichteres Geschwister, CG 40 48, das nur die Deckung für Werbeschäden ausschließt. Und Versicherer wie W.R. Berkley sind mit „absoluten“ KI-Ausschlüssen weiter gegangen, die in D&O-, E&O- und Treuhänder-Policen geschrieben sind – Formulierungen, die die Deckung für jeden Anspruch nichtig machen, der „auf der Nutzung, dem Einsatz oder der Entwicklung von KI beruht, sich daraus ergibt oder darauf zurückzuführen ist“.

Ich habe inzwischen in genügend Verlängerungsgesprächen gesessen, um Ihnen zu sagen, wozu die Frage des Versicherers geworden ist. Früher lautete sie: Nutzen Sie KI? Nun lautet sie: Zeigen Sie uns den dokumentierten Governance-Nachweis für jedes KI-System, das Sie einsetzen. Zeigen Sie uns die Ergebnisse des gegnerischen Red-Teamings. Zeigen Sie uns die Herkunft des Modells. Zeigen Sie uns, dass die Kontrollen zur menschlichen Aufsicht tatsächlich laufen und nicht nur in einem Richtlinien-PDF niedergeschrieben sind, das jemand letztes Quartal aktualisiert hat.

Der Versicherer hat aufgehört zu fragen, ob Sie KI nutzen. Nun verlangt er, dass Sie beweisen, dass Ihr System verteidigungsfähig ist – und ein Richtliniendokument ist kein Nachweis.

Es gibt eine Falle in der Falle. Wenn die CGL-Ausschlüsse das KI-Risiko aus der Betriebshaftpflicht hinausdrängen, verschwindet dieses Risiko nicht – es wandert auf Cyber- und Technologie-E&O-Policen, die nie dafür konzipiert waren, Produkthaftungsansprüche aufzufangen. So kann ein Unternehmen seinen Policenstapel lesen, irgendwo „KI gedeckt“ sehen und sich katastrophal darüber täuschen, welche Police und was sie tatsächlich zahlt. Die Firmen, die mit echter Dokumentation ins Jahr 2026 gingen, stellten fest, dass Nachweise zur Währung der Versicherbarkeit geworden waren. Die Firmen ohne sie entdecken, dass ihr Versicherer den Ausschlusszusatz bereits entworfen hat.

Die Version, die wir zuerst bauten – und warum sie scheiterte

Das ist der Teil, den ich falsch gemacht habe, und ich sage es Ihnen lieber, als Sie annehmen zu lassen, wir seien sauber zur Antwort gelangt.

Als mein Team zum ersten Mal mit Führungskräften aus Recht und Technik daran arbeitete, war unser Instinkt der naheliegende: Das Problem ist Dokumentation, also bau eine Governance-Schicht. Inventarisiere die Modelle, bewerte die Risiken, generiere prüfungsfertige Berichte, erstelle die Dashboards, die ein Prüfer sehen will. Es ist ein vernünftiger Instinkt – es ist genau das, was die ausgereiften Governance-Plattformen tun, und sie tun es gut. Credo AI, das über 45 Millionen US-Dollar eingesammelt hat und 2026 in Fast Companys Liste der innovativsten Unternehmen aufgenommen wurde, liefert vorgefertigte Richtlinienpakete, die auf den EU AI Act, das NIST AI Risk Management Framework und ISO 42001 abgestimmt sind. IBMs watsonx.governance leistet Lebenszyklus-Governance über den gesamten Unternehmens-Stack hinweg. Holistic AI ist stark im Prüfen algorithmischer Verzerrungen; OneTrust bringt ein Erbe aus dem Datenschutz-Compliance-Bereich mit. Wir bauten faktisch eine dünnere Version davon.

Dann sah sich ein Chefsyndikus, den ich schätze, an, was wir produziert hatten, und stellte eine Frage, die ich nicht beantworten konnte. Sie sagte sinngemäß: Wenn dieses System wegen einer mangelhaften Ausgabe verklagt wird, werde ich die Verteidigung der zumutbaren Alternativkonstruktion vorbringen – ich werde argumentieren, dass es keine sicherere Konstruktion gab, die der Hersteller hätte verwenden sollen. Wo ist in all dem der Nachweis, der zeigt, welche Architekturentscheidungen vor dem Einsatz getroffen wurden und warum?

Ich ging zurück zu den Dashboards. Sie konnten ihr in wunderschönem Detail sagen, was das System jetzt tat. Sie konnten ihr nicht sagen, warum es so gebaut worden war, welche Alternativen das Team erwogen und verworfen hatte oder was die Ingenieure im Moment der Auslieferung über die Fehlermodi wussten. Die Governance-Schicht überwachte die Gegenwart. Die Verteidigung, die sie brauchte, lag in der Vergangenheit – in Entscheidungen, die niemand als Nachweis festgehalten hatte, weil damals niemand wusste, dass er Nachweise schuf.

Das war das Scheitern, das für alles bezahlte, was wir als Nächstes taten. Governance-Plattformen überwachen und berichten. Sie entwerfen keine Architektur. Man kann eine Verteidigung nicht an ein System schrauben, das nie dafür entworfen wurde, verteidigt zu werden, so wie man einen Crashtest nicht fotografieren kann, der nie durchgeführt wurde.

Was bedeutet „verteidigungsfähig durch Design“ eigentlich?

Zeitleiste: Aufzeichnungen und Prüfpfad aus der Zeit vor dem Einsatz werden vor Gericht zur Verteidigung der zumutbaren Alternativkonstruktion.

Also verwarfen wir den Dashboard-zuerst-Ansatz und kehrten ihn um. Die Frage war nicht länger Wie dokumentieren wir dieses System? sondern wurde zu Wie entwerfen wir ein System, dessen Geschichte die Dokumentation ist? Diese Umkehrung ist das, worum sich Veriprajnas Praxis für KI-Produkthaftungsverteidigung aufbaut – verteidigungsfähige Architektur und prozessreife Nachweise, nicht noch eine Überwachungsschicht, die nachträglich an ein System geschraubt wird.

In der Praxis bedeutete das, die Architektur-Entscheidungsaufzeichnung als erstklassiges Artefakt zu behandeln – vor dem Einsatz mit Zeitstempel versehen, festhaltend, was das Team ausprobiert, was es verworfen hat und die Begründung, sodass die Verteidigung der zumutbaren Alternativkonstruktion Quellmaterial hat, das dem Rechtsstreit vorausgeht, statt nach Eingang einer Klage rückkonstruiert zu werden. Es bedeutete, Prüfpfade zu bauen, die die Beweiserhebung im Prozess überstehen: keine Anwendungsprotokolle, die alle dreißig Tage überschrieben werden, sondern eine bewahrte Kette aus Prompts, Ausgaben, Modellversionen und menschlichen Prüfhandlungen, denn ein Beweismittel-Sicherungsmemo für ein KI-System muss all das als Dinge benennen, die Sie vorzulegen aufgefordert werden. Die meisten Rechtsabteilungen von Unternehmen haben ihre Sicherungsvorlagen nicht aktualisiert, um auch nur eines davon aufzuführen – was bedeutet, dass die Aufbewahrungspflicht bereits an Daten anknüpft, die das Unternehmen still über eine fortlaufende Protokollrotation vernichtet, lange bevor überhaupt eine Klage eingeht. Und es bedeutete, die Kontrollen zur menschlichen Aufsicht als tragende Teile des Systems zu entwerfen, die Ausgaben tatsächlich freigeben – denn ein Versicherer und schließlich ein Sachverständiger der Klägerseite werden prüfen, ob Ihr „Mensch in der Schleife“ wirklich die Befugnis und die Schnittstelle hat, eine schlechte Ausgabe zu stoppen, oder nur ein Häkchen in einem Organigramm ist.

Hier gibt es eine Feinheit, die die Firmen, die dies überstehen werden, von denen trennt, die es nicht werden. Vertraulichkeit rettet Sie nicht. Im Februar 2026 entschied Richter Rakoff, dass die Verbraucher-KI-Dokumente eines Unternehmens nicht durch das Anwaltsgeheimnis geschützt waren, wenn Mitarbeiter das Werkzeug ohne Anweisung der Rechtsberatung genutzt hatten. Sie können Ihre KI-Entscheidungen nicht nachträglich in eine Decke der Vertraulichkeit hüllen. Der Nachweis wird der Beweiserhebung unterliegen, was genau der Grund ist, warum es ein guter Nachweis sein muss, bewusst erstellt, von Anfang an.

Man kann eine Verteidigung nicht an ein System schrauben, das nie dafür entworfen wurde, verteidigt zu werden. Die Architektur ist das Alibi – und das Alibi muss vor dem Vorfall existieren, nicht danach.

Hier macht auch die Welle der agentic AI alles schwieriger. Wenn ein System autonom handelt – Handlungen vornimmt, ohne dass ein Mensch jedes Mal den Knopf drückt – dehnen sich die alten vertraglichen Haftungsausschlüsse über die Belastungsgrenze hinaus. Singapurs IMDA veröffentlichte im Januar 2026 einen Entwurf eines Agentic AI Governance Framework, und Firmen wie Clifford Chance haben auf die „Haftungslücke“ in Standardverträgen hingewiesen, die still davon ausgehen, dass immer ein Mensch der Handelnde ist. Kaliforniens AB 316 sagt bereits, dass Sie den Agenten nicht verantwortlich machen können. Die Autonomie, die Sie aus Effizienzgründen gebaut haben, ist rechtlich also zusätzliche Angriffsfläche, die Ihnen nun gehört. Dafür muss entworfen werden, sie lässt sich nicht per Haftungsausschluss wegwischen.

Warum können die naheliegenden Anbieter diese Lücke nicht schließen?

Leute stellen mir eine berechtigte Frage: Wenn Governance-Plattformen, Anwaltskanzleien und die großen Systemintegratoren alle existieren, warum bleibt dann überhaupt noch etwas zu bauen?

Weil jeder von ihnen einen Teil der Aufgabe erledigt und keiner diesen Teil. Die Governance-Plattformen – Credo AI, IBM, Holistic AI, OneTrust – regieren Systeme, die bereits existieren; sie strukturieren einen Wrapper nicht zu einer verteidigungsfähigen Architektur um, und sie erzeugen nicht die Nachweise über Konstruktionsentscheidungen, auf die sich ein Abweisungsantrag stützt. Anwaltskanzleien liefern Ihnen die Rechtstheorie – sie sagen Ihnen genau, was die Verteidigung der zumutbaren Alternativkonstruktion erfordert – aber sie schreiben nicht den Code und treffen nicht die Architekturentscheidungen, die die Nachweise schaffen. Und die großen Integratoren implementieren die Plattformen, mit denen sie Partnerschaften unterhalten, was sie strukturell zugunsten von Salesforce oder Microsoft Copilot voreingenommen macht statt zum anbieterneutralen, verteidigungsfähigen Individualsystem, das Ihr spezifisches Risiko verlangt.

Die Lücke ist die Naht zwischen dem, was externe Rechtsberatung empfiehlt, und dem, was ein Entwicklungsteam tatsächlich umsetzen kann. Ich habe diese Naht in Echtzeit reißen sehen – ein Slack-Thread, in dem der Anwalt immer wieder „wir brauchen verteidigungsfähige Architektur“ schreibt und der Ingenieur immer wieder „sag mir, welche Datei ich ändern soll“ antwortet. Jemand muss in dieser Lücke stehen, der die Entscheidung und das Repository lesen kann. Das ist die Arbeit, die mein Team leistet – rund um Architektur und Nachweise gebaut statt um Dashboards und Berichte, sodass der Anwalt und der Ingenieur endlich auf dasselbe Artefakt zeigen.

Die Frage, mit der es sich lohnt zu verweilen

Ich lasse Sie mit dem zurück, worauf ich immer wieder komme. Die durchschnittlichen Kosten einer Datenpanne beliefen sich 2025–2026 auf etwa 4,44 Millionen US-Dollar, und die Branche baute eine ganze Disziplin – Budgets, Versicherungsprodukte, Vorstandsberichterstattung – um diese Zahl herum. AI-Produkthaftung ist ein verschuldensunabhängiges Risiko ohne Obergrenze, bei dem die vertraglichen Notausgänge per Gesetz zugeschweißt werden und bei dem Versicherer es aktiv aus den Policen herausschreiben, die es früher deckten. Und die meisten Unternehmen verwalten es mit einem Policenordner und der Wie-besehen-Klausel eines Anbieters.

Ein Policenordner ist das, was Sie dem Regulierer aushändigen. Er ist nicht das, was eine Zeugenvernehmung übersteht. Stellen Sie sich den Moment vor, der jetzt auf viele Unternehmen zukommt: Ein Sachverständiger der Klägerseite sitzt Ihren Ingenieuren gegenüber und fragt, welche sicherere Konstruktion Sie erwogen haben, bevor Sie ausgeliefert haben. Die Antwort ist entweder eine mit Zeitstempel versehene Aufzeichnung oder ein Schweigen – und unter verschuldensunabhängiger Haftung ist das Schweigen der Mangel. Als die Worte Ihrer KI zu einem Produkt wurden, wurde Ihre Architektur zu Ihrer Verteidigung, und eine Verteidigung, die Sie nicht vor dem Vorfall entworfen haben, ist eine, die Sie nicht haben. Wenn Sie diese Aufzeichnung heute nicht öffnen können, haben Sie kein Dokumentationsproblem. Sie haben ein unverteidigtes Produkt auf dem Markt. Das ist es wert, vor dem 9. Dezember behoben zu werden, nicht nach Eingang der Klage – und diese Lücke zu schließen ist die Arbeit, die wir leisten.

Verwandte Forschung

Auch veröffentlicht auf

Entwickeln Sie Ihre KI mit Zuversicht.

Arbeiten Sie mit einem Team zusammen, das über umfassende Erfahrung im Aufbau der nächsten Generation von Unternehmens-KI verfügt. Wir helfen Ihnen, eine KI-Strategie zu entwerfen, zu entwickeln und einzuführen, der Sie vertrauen können.

Veriprajna Deep-Tech-Beratung ist auf die Entwicklung sicherheitskritischer KI-Systeme für die Bereiche Gesundheitswesen, Finanzen und Regulierung spezialisiert. Unsere Architekturen werden anhand etablierter Protokolle validiert und mit umfassender Compliance-Dokumentation belegt.