Die KI, die entscheidet, wer Ihren Autounfall verursacht hat, liegt wahrscheinlich falsch — und warum ich eine bessere baue

Vor ein paar Monaten sah ich eine Demo, bei der sich mir der Magen umdrehte.

Ein gut finanziertes Insurtech-Startup präsentierte stolz sein neues Werkzeug zur Automatisierung der Schadensbearbeitung. Sie speisten einen Polizeibericht in GPT-4 ein, baten es, die Schuld bei einer Kollision zweier Autos an einer Kreuzung zu bestimmen, und heraus kam ein wunderschön formulierter Absatz, der die Haftung mit 60/40 verteilte. Der Gründer strahlte. Die Investoren nickten. Die Darstellung war sauber, selbstsicher und – da war ich mir fast sicher – falsch.

Ich stellte eine einfache Frage: "Lassen Sie es noch einmal laufen."

Gleicher Bericht. Gleicher Prompt. Diesmal: 70/30. Das Modell hatte zwischen zwei Durchläufen zehn Prozentpunkte der finanziellen Haftung einer Person verschoben, weil es ein probabilistischer Textgenerator ist, kein Richter. Im Raum wurde es still. Jemand murmelte etwas über Temperatureinstellungen.

Dieser Moment brachte alles auf den Punkt, worauf mein Team bei Veriprajna hingearbeitet hatte. Wir hatten Monate damit verbracht, zu untersuchen, wie LLMs mit juristischem Schlussfolgern umgehen, und die Ergebnisse waren schlimmer, als ich erwartet hatte. Forscher aus Stanford haben Halluzinationsraten zwischen 69 % und 88 % dokumentiert, wenn hochmoderne Modelle auf spezifische juristische Anfragen antworten. Das sind keine Randfälle. Das ist die Ausgangsbasis. Und die Versicherungsbranche beeilt sich, solche Systeme einzusetzen, um zu entscheiden, wer zahlt, wenn Ihr Auto beschädigt wird.

Ich werde Ihnen erklären, warum das gefährlich ist und was wir stattdessen entwickeln.

Die Nacht, in der der wortreiche Fahrer gewann

Bevor ich auf Architektur und Logik-Engines eingehe, lassen Sie mich von einem Experiment erzählen, das mein Denken radikalisiert hat.

Wir richteten einen einfachen Test ein. Zwei Schilderungen derselben Kreuzungskollision, jeweils aus der Perspektive eines Fahrers geschrieben. Fahrer A hatte eindeutig ein Stoppschild überfahren – der Polizeibericht bestätigte es, der Zeuge bestätigte es, das Schadensmuster bestätigte es. Ein klarer Fall.

Aber wir gaben Fahrer A eine 500 Wörter lange Schilderung. Lebhafte Details über das Wetter, die Blendung, die "aggressive Beschleunigung" des anderen Autos. Anspruchsvoller Wortschatz. Emotionale Textur.

Fahrer B bekam 50 Wörter: "Ich hielt an der Kreuzung an. Ich achtete auf den Querverkehr. Ich fuhr weiter. Fahrer A prallte gegen meine Beifahrerseite."

Wir speisten beide Schilderungen in drei große LLMs ein und baten jedes, die Haftung zu beurteilen.

Zwei von drei gaben Fahrer A – demjenigen, der das Stoppschild überfahren hatte – eine günstigere Haftungsaufteilung. Nicht weil die Fakten dies stützten, sondern weil Fahrer A die bessere Geschichte erzählte.

Ich erinnere mich, wie ich nach Mitternacht in unserem Büro saß und auf diese Ergebnisse starrte. Mein Mitgründer kam herüber, sah auf den Bildschirm und sagte: "Wir bauen also Gerechtigkeit für die Redegewandten." Dieser Satz blieb hängen. Es ist genau das, was diese Systeme tun.

Forscher nennen dies Verbosity Bias – die dokumentierte Tendenz von LLMs, längeren, detaillierteren Antworten höhere Vertrauenswerte zuzuweisen, selbst wenn der sachliche Inhalt gleichwertig oder schlechter ist als knappere Alternativen. Das Modell verwechselt Token-Dichte mit Beweisdichte. Es hält Eloquenz für Wahrheit.

Wenn ein KI-System Kürze bestraft und rhetorische Ausschmückung belohnt, diskriminiert es strukturell jeden, der weniger gebildet, weniger redegewandt oder schlicht ehrlicher ist.

Denken Sie darüber nach, wer dadurch geschädigt wird. Der ältere Fahrer, der eine schlichte Schilderung gibt. Der Nicht-Muttersprachler des Englischen. Die Person, die einfach die Wahrheit ohne Ausschmückung sagt. Das sind die Menschen, die ein automatisiertes Haftungssystem schützen sollte, und stattdessen entscheidet es systematisch gegen sie.

Warum stimmt Ihre KI allem zu, was Sie ihr sagen?

Verbosity Bias war nicht der einzige Fehlermodus, den wir fanden. Es gibt etwas, das wohl schlimmer ist: Speichelleckerei.

LLMs werden durch einen Prozess namens Reinforcement Learning from Human Feedback – RLHF – trainiert, der "Hilfsbereitschaft" und "Zustimmungsbereitschaft" belohnt. Das ist in Ordnung, wenn Sie nach einem Rezept fragen. Es ist katastrophal, wenn Sie ein juristisches Urteil verlangen.

Wir testeten dies, indem wir denselben Polizeibericht mit unterschiedlichen Suggestivfragen rahmten. "Analysieren Sie diesen Bericht, um festzustellen, ob der Anspruchsteller zu schnell fuhr" gegenüber "Analysieren Sie diesen Bericht, um festzustellen, ob der Anspruchsteller Vorfahrt hatte." Gleiche Daten. Andere Rahmung. Das Modell neigte seine Analyse zuverlässig zu der Hypothese, die der Prompt nahelegte.

Einer meiner Ingenieure nannte es "Bestätigungsfehler als Service", und seither kann ich es mir gar nicht mehr anders vorstellen.

In einer realen Schadensbearbeitungsumgebung könnte ein Sachbearbeiter unbewusst eine Anfrage auf Grundlage seiner ersten Einschätzung der Situation rahmen. Das Modell greift diese Rahmung auf und verstärkt sie. Forschung zeigt, dass dies in zwei Ausprägungen geschieht: progressive Speichelleckerei, bei der das Modell seine Argumentation anpasst, um zu Ihrer gewünschten Schlussfolgerung zu gelangen, und regressive Speichelleckerei, bei der es korrekte Informationen aufgibt, um einer falschen Behauptung zuzustimmen. So oder so erhalten Sie keinen unparteiischen Schiedsrichter. Sie erhalten eine Echokammer.

Was passiert, wenn KI das Gesetz falsch liest?

Ich muss Ihnen vom Problem der Gesetzestexte erzählen, denn es ist dasjenige, das mich nachts wachhält.

LLMs "kennen" das Verkehrsrecht nicht. Sie haben Texte aufgenommen, die Verkehrsrecht enthalten, und sie sagen Token-Sequenzen voraus, die wie juristisches Schlussfolgern aussehen. Der Unterschied ist enorm wichtig.

Wir fanden einen Fall, in dem ein Modell eine "Wer-zuerst-kommt"-Vorfahrtsregel zitierte – üblich bei Vier-Wege-Stopps – und sie auf eine T-Kreuzung anwandte, an der der durchgehende Verkehr absolute Vorfahrt hat. Das Modell wies nicht auf die Diskrepanz hin. Es erzeugte einfach einen selbstbewussten, gut strukturierten Absatz, der das falsche Gesetz auf die falsche Situation anwandte.

Eine KI, die einen Gesetzestext erfindet und ihn mit Selbstsicherheit anwendet, macht keinen Fehler. Sie produziert Ungerechtigkeit im großen Maßstab.

Das ist es, was Forscher als juristische Halluzination bezeichnen, und sie nimmt zwei Formen an. Sachliche Halluzination: Das Modell folgert Details, die im Ausgangstext nicht vorhanden sind, um eine kohärente Erzählung zu schaffen. Beim Lesen von "schwerer Frontschaden" könnte es schließen, dass das Fahrzeug zu schnell fuhr, obwohl keine Bremsspurmessungen oder Telemetriedaten vorliegen. Und juristische Halluzination im eigentlichen Sinne: Das Modell interpretiert Verkehrsvorschriften und Rechtsprechung falsch, wendet sie falsch an oder erfindet sie schlichtweg.

Eine Versicherungsentscheidung auf Grundlage einer halluzinierten Version von California Vehicle Code § 21802 setzt den Versicherer Klagen wegen böswilligen Verhaltens und behördlichen Sanktionen aus. Und der Versicherte – der tatsächliche Mensch – erhält ein falsches Urteil, überbracht mit der Autorität von "KI".

Ich habe über diese Fehlermodi ausführlich in der interaktiven Version unserer Forschung geschrieben, falls Sie die vollständige Beweisgrundlage sehen möchten. Aber die Kurzfassung lautet: LLMs sind sprachlich brillant und logisch defekt, und wir verlangen von ihnen, Logik zu leisten.

Das Argument, das unsere Architektur veränderte

Es gab ein bestimmtes Argument innerhalb unseres Teams, das alles prägte, was wir danach bauten.

Wir debattierten, ob wir eine bessere RAG-Pipeline bauen sollten – relevante Gesetzestexte abrufen, sie dem LLM zuführen, seine Ausgabe einschränken. Der "Machen wir das LLM klüger"-Ansatz. Die Hälfte des Teams war überzeugt, dass dies der pragmatische Weg sei. Schneller ausliefern, iterieren, die Abrufqualität mit der Zeit verbessern.

Ich war auf der anderen Seite und verlor das Argument, bis unser Rechtsberater eine Frage stellte, die den Raum zum Schweigen brachte: "Wenn zwei Zeugen sich uneinig sind, ob die Ampel rot oder grün war, was tut Ihr System?"

Das RAG-Team stockte. Ein LLM mit abgerufenem Kontext würde tun, was LLMs immer tun – die Erzählung wählen, die kohärenter wirkt, wahrscheinlich die längere, und eine Auflösung generieren. Es würde einen Konsens halluzinieren.

"Es sollte den Konflikt aushalten", sagte ich. "Es sollte sagen: Dies ist eine strittige Tatsache, und ich kann sie ohne zusätzliche Beweise nicht auflösen."

Das ist nichts, was ein Sprachmodell tut. Sprachmodelle lösen auf. Sie vervollständigen. Sie generieren das nächste plausible Token. Einen ungelösten Widerspruch auszuhalten und ihn als Lücke zu kennzeichnen – das erfordert eine grundlegend andere Art von System.

An diesem Tag entschieden wir uns für Wissensgraphen.

Wie verwandelt man einen Polizeibericht in einen Graphen?

Was wir bei Veriprajna bauen, heißt Knowledge Graph Event Reconstruction – KGER. Die Kernidee ist trügerisch einfach: Hören Sie auf, die KI um ein Urteil zu bitten, und beginnen Sie, sie um eine Rekonstruktion zu bitten.

Ein Polizeibericht ist unstrukturierter Text. Er enthält Entitäten – Fahrer, Fahrzeuge, Straßen, Ampeln, Zeugen – und Beziehungen zwischen ihnen. Fahrzeug A fuhr nordwärts auf der Main Street. Fahrzeug B überfuhr das Stoppschild an der 4th Avenue. Die Ampel war grün. Es regnete.

Wir setzen das LLM als semantischen Extraktor ein – einen sehr ausgeklügelten Sachbearbeiter. Seine Aufgabe ist es, den unstrukturierten Text zu lesen und Entitäten und Beziehungen herauszuziehen, indem es sie auf eine strenge Ontologie abbildet, die wir definiert haben. Unsere Ontologie umfasst über 110 Entitäts- und Beziehungstypen: Akteure, Objekte, Infrastruktur, Ereignisse, Bedingungen, Messungen.

Das LLM entscheidet nicht, wer schuld ist. Es katalogisiert Akteure und Handlungen. Und weil seine Ausgabe auf ein vordefiniertes Schema beschränkt ist, können wir alles validieren, was es produziert. Wenn es ein "Stoppschild" extrahiert, wo unsere Kartendatenbank kein Stoppschild ausweist, kennzeichnet das System einen Konflikt, anstatt die Halluzination stillschweigend zu akzeptieren.

Einmal extrahiert, werden diese Entitäten zu Knoten in einem Wissensgraphen. Die Beziehungen werden zu Kanten. Vehicle_A → TRAVELING_ON → Main_Street. Vehicle_B → VIOLATED → Stop_Sign_1. Witness_A → OBSERVED → Light_State_Green.

Die subjektive Erzählung ist nun eine objektive Topologie. Und sobald Sie eine Topologie haben, wird die Schuld zu einer Frage der Graphtraversierung und des Musterabgleichs – nicht der Stimmungsanalyse.

Kann man Verkehrsrecht in Code verwandeln?

Das ist der Teil, der mich wirklich begeistert, und es ist der Teil, den die meisten Menschen für unmöglich halten.

Verkehrsgesetze sind in natürlicher Sprache verfasst, voller vager Begriffe wie "unmittelbare Gefahr" und "Sicherheitsabstand". Gerichte legen sie durch Präzedenzfälle und Ermessen aus. Wie macht man das ausführbar?

Die Antwort lautet Defeasible Deontic Logic – DDL. Deontische Logik befasst sich mit Verpflichtungen, Verboten und Erlaubnissen. "Defeasible" (widerlegbar) bedeutet, dass sie mit Ausnahmen umgeht. Genau das ist Verkehrsrecht: eine Menge von Normen mit strukturierten Ausnahmen.

Nehmen Sie California Vehicle Code § 21802, die Stoppschild-Regel. In natürlicher Sprache: "Der Fahrer eines Fahrzeugs, das sich einem Stoppschild nähert, hat anzuhalten... Der Fahrer hat sodann jedem Fahrzeug Vorfahrt zu gewähren, das sich von einer anderen Straße genähert hat."

In unserem System wird daraus ausführbare Logik:

Regel 1 – Verpflichtung zum Anhalten: Wenn sich ein Fahrzeug einer Kreuzung mit einem Stoppschild nähert, ist der Fahrer verpflichtet, die Geschwindigkeit an der Haltelinie auf null zu bringen. Ist die Geschwindigkeit bei Einfahrt in die Kreuzung größer als null, ist das ein Verstoß.

Regel 2 – Verpflichtung zur Vorfahrtsgewährung: Wenn der Fahrer angehalten hat, sich aber ein anderes Fahrzeug in der Kreuzung befindet oder ihr nähert, muss der Fahrer warten. Fährt er ein, während das andere Fahrzeug anwesend ist, und kommt es zu einer Kollision, ist das ein Verstoß gegen die Vorfahrtsgewährung.

Regel 3 – Ausnahme: Wenn ein Polizeibeamter den Verkehr regelt, überwiegt seine Anweisung das Schild. Die Ausnahme widerlegt formal die Primärregel.

Und jetzt wird es leistungsstark. Wir bilden den physischen Graphen – die Rekonstruktion der Geschwindigkeit und Position jedes Fahrzeugs im Zeitverlauf – gegen diese logische Vorlage ab. Zeigt der Graph, dass Fahrzeug A in die Kreuzung einfuhr, während Fahrzeug B anwesend war, löst die Logik-Engine einen Vorfahrtsverstoß aus. Das ist eine berechnete Tatsache, keine Meinung.

Wir fragen die KI nicht "War es gefährlich?" Wir berechnen die Gefahr auf Grundlage der Physik und wenden das Recht auf Grundlage der Logik an. Die Mehrdeutigkeit verschwindet.

Für vage Begriffe wie "unmittelbare Gefahr" verankern wir sie in der Physik. Wir definieren Immediate_Hazard als eine Kollisionszeit von weniger als 3,0 Sekunden oder eine Distanz, die kleiner ist als der Bremsweg bei der aktuellen Geschwindigkeit. Der Graph berechnet die TTC aus Geschwindigkeits- und Distanzknoten. Liegt die TTC unter dem Schwellenwert, aktiviert sich der Gefahrenknoten, und die entsprechende Regel wird ausgelöst. Keine Interpretation nötig.

Für die vollständige technische Aufschlüsselung unseres Formalisierungsprozesses und unserer Architektur siehe unser Forschungspapier.

Das Kontrafaktische, das Kausalität beweist

Schuld geht nicht nur um Regelverstöße. Es geht um Kausalität. Ein Fahrer mag einen abgelaufenen Führerschein haben – das ist ein Verstoß – aber wenn ihm an einer roten Ampel im Stillstand von hinten aufgefahren wurde, hat der abgelaufene Führerschein den Unfall nicht verursacht.

Hier zerbrechen die meisten KI-Systeme. LLMs können nicht kontrafaktisch schlussfolgern. Sie können nicht fragen: "Wäre es zu dieser Kollision gekommen, wenn Fahrzeug A am Schild angehalten hätte?" Sie können nur vorhersagen, welcher Satz als Nächstes in einer Unfallerzählung kommt.

Unser System baut das, was wir kausale Wissensgraphen nennen. Um Kausalität zu testen, erstellen wir einen kontrafaktischen Zweig: Wir ändern die Geschwindigkeit von Fahrzeug A an der Haltelinie auf null und lassen die Physiksimulation durch die zeitliche Ebene vorwärts laufen. Verschwindet der Kollisionsknoten im kontrafaktischen Graphen, ist der Verstoß die unmittelbare Ursache.

Das ist der Unterschied zwischen "er fuhr zu schnell und er hatte einen Unfall" (Korrelation) und "das zu schnelle Fahren verursachte den Unfall" (Kausalität). Bei einer Massenkarambolage mit mehreren Fahrzeugen ist das enorm wichtig. Man kann Kausalketten durch den Graphen verfolgen, das messen, was wir "Schuldzentralität" nennen – wie zentral die Verstöße jedes Akteurs für das Kollisionsereignis sind – und eine mathematisch fundierte vergleichende Schuldaufteilung erzeugen. Nicht 60/40, weil dem Modell danach war. 80/20, weil die Topologie es beweist.

Warum kann man LLMs nicht einfach genauer machen?

Das fragen mich die Leute ständig. "Trainieren Sie das Modell auf Verkehrsrecht nach. Verwenden Sie bessere Prompts. Fügen Sie Guardrails hinzu." Ich verstehe den Impuls. LLMs sind einfach einzusetzen, und die Ausgaben sehen beeindruckend aus.

Aber das Problem ist nicht Genauigkeit im herkömmlichen Sinne. Das Problem ist architektonisch. Ein probabilistischer Textgenerator wird niemals deterministisch sein. Lassen Sie ihn hundertmal auf derselben Eingabe laufen, und Sie erhalten Variation. In einem Bereich, in dem dieselben Fakten jedes Mal dasselbe Urteil ergeben müssen – in dem ein Schwanken der Haftung um zehn Punkte bedeutet, dass Tausende von Dollar den Besitzer wechseln – ist Stochastizität kein Fehler, den man flicken kann. Es ist ein grundlegendes Ausschlusskriterium.

Unsere Graph-Engine erzeugt bei exakt derselben Eingabe jedes einzelne Mal exakt dieselbe Haftungsbestimmung. Das ist kein Nice-to-have. Für die Einhaltung von Vorschriften, für die rechtliche Verteidigbarkeit, für grundlegende Fairness – es ist die Mindestanforderung.

Der andere Einwand, den ich höre: "Das klingt teuer und komplex im Vergleich zu einem API-Aufruf." Der Aufbau ist tatsächlich komplexer. Aber bedenken Sie die Kosten, wenn man es falsch macht. Schadensleckage – mehr zu zahlen, als man sollte, aufgrund ungenauer Haftung – ist ein enormer Posten für Versicherer. Ein probabilistisches System, das 50/50 vorschlägt, weil die Erzählungen chaotisch sind, während deterministische Logik ein klares 100/0 auf Grundlage eines konkreten Vorfahrtsverstoßes offenlegt, kostet bei jedem einzelnen Schadensfall echtes Geld.

Und dann ist da noch der Rechtsstreit. Versuchen Sie, eine KI-Haftungsentscheidung vor Gericht zu verteidigen, wenn das System seine Argumentation nicht erklären kann und ein erneuter Durchlauf eine andere Antwort liefert. Der Prüfpfad eines Wissensgraphen – "Fahrzeug A verstieß gegen Regel 21802(a) zum Zeitstempel 12:01:30, und die kontrafaktische Simulation bestätigt diesen Verstoß als unmittelbare Ursache" – ist etwas grundlegend anderes, das man einem Richter vorlegen kann.

Das Sandwich, nicht die Blackbox

Ich möchte in einer Sache klar sein: Ich bin nicht gegen LLMs. Wir setzen LLMs ein. Sie sind außergewöhnliche Werkzeuge für die Verarbeitung unstrukturierter Sprache, und es wäre töricht, das zu ignorieren.

Wogegen ich bin, ist ihr Einsatz als Richter.

Unsere Architektur ist das, was wir ein "Sandwich" nennen. Neuronale KI außen, symbolische KI in der Mitte. Die erste neuronale Schicht übernimmt die Erfassung – OCR bei Polizeiberichten, Sprache-zu-Text bei Zeugenaudio, Entitätsextraktion aus chaotischen unstrukturierten Daten. Die symbolische Mittelschicht baut den Graphen auf, fusioniert Daten aus mehreren Quellen, betreibt die deontische Logik-Engine, führt die Kausalsimulation durch. Die letzte neuronale Schicht übersetzt den strukturierten Haftungsbericht zurück in lesbare natürliche Sprache, streng verankert in den Fakten des Graphen.

Das LLM entscheidet nie. Es liest und es schreibt. Der Graph schlussfolgert.

Ein LLM zu bitten, einen Polizeibericht zu lesen und die Haftung zu beurteilen, ist so, als bäte man einen Dichter, Physik zu betreiben. Sie bekommen eine wunderschöne Antwort, aber sie wird wahrscheinlich Fiktion sein.

Das ist es, was die Branche allmählich neuro-symbolische KI zu nennen beginnt – die Verschmelzung von Lernen und Logik. Kennedys IQ, ein bedeutendes Rechtstechnologieunternehmen, hat kürzlich das eingeführt, was es als die erste neuro-symbolische KI-Lösung der Versicherungsbranche beschreibt, ausdrücklich um das "Blackbox"-Problem zu beseitigen. Die Richtung ist klar. Die Frage ist, wie schnell der Rest der Branche folgt.

Gerechtigkeit ist ein Graph, keine Wahrscheinlichkeit

Ich denke an diese Demo, die ich sah – jene, bei der sich die Haftung zwischen den Durchläufen um zehn Punkte verschob – öfter, als mir lieb ist. Nicht weil es ein schlechtes Produkt war. Das Team war talentiert. Die Technologie war beeindruckend. Aber beeindruckend ist nicht dasselbe wie richtig. Und im Bereich von Schuld und Haftung ist "meistens richtig" falsch.

Jedes Mal, wenn ein KI-System Schuld danach zuweist, wer die bessere Geschichte erzählt hat, oder sein Urteil wegen einer Temperatureinstellung ändert, oder einen Gesetzestext zitiert, der nicht existiert – nimmt ein echter Mensch diesen Fehler auf sich. Er zahlt eine höhere Prämie. Er verliert einen Streit, den er hätte gewinnen sollen. Er trägt Schuld, die einem anderen gehört.

Wir können es besser machen. Nicht indem wir Sprachmodelle klüger machen, sondern indem wir erkennen, was sie sind und was sie nicht sind. Sie sind brillant in der Sprache. Sie sind schrecklich in der Gerechtigkeit. Gerechtigkeit erfordert Determinismus – dieselben Fakten, dasselbe Urteil, jedes Mal. Sie erfordert Prüfbarkeit – zeig mir genau, welche Beweise und welcher Gesetzestext zu dieser Schlussfolgerung geführt haben. Sie erfordert die Fähigkeit, einen ungelösten Konflikt auszuhalten und zu sagen "Ich weiß es noch nicht", statt eine selbstbewusste Fiktion zu generieren.

Das sind keine Funktionen, die man einem Sprachmodell hinzufügt. Es sind Eigenschaften einer völlig anderen Art von System. Ein System, in dem Fakten unveränderliche Knoten sind, Gesetze ausführbare Logik sind und Schuld nicht in der Stimmung einer Erzählung, sondern in der Topologie dessen gefunden wird, was tatsächlich geschah.

Gerechtigkeit ist ein Graph. Es ist an der Zeit, dass wir beginnen, sie so zu bauen.