Die gefährlichste Zahl in der KI ist gerade jetzt 99,999 %

Ich war letztes Jahr in einem Gespräch mit dem CIO eines Krankenhauses, als er das Pitch-Deck eines Anbieters aufrief und seinen Bildschirm teilte. Auf Folie sieben stand eine einzige Zahl, zentriert, in 72-Punkt-Schrift: Halluzinationsrate <0,001 %. Darunter, in kleinerer Schrift: „klinisch validiert.“

Er sah mich durch die Webcam an und sagte: „Ashutosh, sollte ich das glauben?“

Ich sagte ihm, ich wüsste es nicht — aber dass ihn die Zahl selbst nervös machen sollte, nicht beruhigen. Eine Halluzinationsrate unter eins zu hunderttausend, für ein System, das unübersichtliche, widersprüchliche, handschriftlich verfasste und diktierte klinische Notizen über Dutzende von Fachgebieten hinweg zusammenfasst? Das ist keine Genauigkeitsbehauptung. Das ist ein Zaubertrick. Und meiner Erfahrung nach sollte man, wenn einem jemand in einem Verkaufsgespräch einen Zaubertrick vorführt, danach seine Taschen kontrollieren.

Ein paar Monate später machte der Generalstaatsanwalt von Texas diesen Instinkt offiziell. Im September 2024 erzielte der Bundesstaat einen wegweisenden Vergleich mit Pieces Technologies, einem in Dallas ansässigen Gesundheits-KI-Unternehmen, wegen dessen, was der Generalstaatsanwalt als irreführende Genauigkeitsbehauptungen bezeichnete — einschließlich genau dieser kritischen Halluzinationsrate von 0,001 %. Es war die erste Durchsetzungsmaßnahme dieser Art gegen ein Unternehmen für generative KI im Gesundheitswesen, und sie erforderte kein neues KI-spezifisches Gesetz. Nur den ganz gewöhnlichen Texas Deceptive Trade Practices Act, dasselbe Gesetz, mit dem man gegen zwielichtige Autohändler vorgeht.

Dieser Vergleich hat verändert, wie ich über alles denke, was wir bei Veriprajna entwickeln. Nicht weil wir etwas falsch machten, sondern weil er etwas kristallisierte, das ich Kunden nur schwer in Worte fassen konnte: Das Problem mit Unternehmens-KI ist nicht, dass die Modelle halluzinieren. Es ist, dass die Branche eine ganze Markteinführungsstrategie darum herum aufgebaut hat, so zu tun, als täten sie es nicht.

Was bedeutet eine Halluzinationsrate von 0,001 % eigentlich?

Lassen Sie mich Sie durch die Rechnung führen, denn an der Rechnung zerfällt der Zaubertrick.

Große Sprachmodelle sind probabilistische Systeme. Sie „wissen“ Dinge nicht so, wie eine Datenbank Dinge weiß. Sie sagen das nächste Wort voraus — genauer gesagt das nächste Token — auf der Grundlage von Mustern, die während des Trainings gelernt wurden. Die Wahrscheinlichkeit einer generierten Ausgabe ist das Produkt der Wahrscheinlichkeiten jedes einzelnen Tokens in der Sequenz. Jedes Token ist eine winzige Wette, und die endgültige Ausgabe ist eine lange Kette winziger Wetten, die miteinander multipliziert werden.

Wenn man nun eine kritische Halluzinationsrate unter 0,001 % behauptet, bedeutet das, dass weniger als 1 von 100.000 Ausgaben einen Fehler enthält, der schwerwiegend genug ist, um klinischen Schaden zu verursachen. Um diese Behauptung mit statistischer Sicherheit zu validieren, bräuchte man einen enormen, perfekt annotierten Goldstandard-Datensatz — Zehntausende klinischer Zusammenfassungen, jede von Fachexperten überprüft, die sich einig sind, was als „kritisch“ gilt. Diesen Datensatz gibt es nicht. Nicht für Pieces Technologies, für niemanden. Klinische Notizen sind zu eigenwillig, zu fachspezifisch, zu abhängig vom individuellen Stil des einzelnen Arztes und der Krankengeschichte des Patienten.

Wenn jemand 99,999 % Genauigkeit bei einer Aufgabe behauptet, bei der sich selbst menschliche Experten uneinig sind, wie „richtig“ aussieht, dann hat er das Problem nicht gelöst. Er hat es wegdefiniert.

Die Untersuchung des texanischen Generalstaatsanwalts kam zu dem Schluss, dass die von Pieces verwendeten Kennzahlen „wahrscheinlich ungenau“ und möglicherweise irreführend für die Krankenhäuser waren, die das Werkzeug einsetzten — darunter Houston Methodist, Parkland Hospital, Children's Health System of Texas und Texas Health Resources. Vier große Systeme. Echte Patienten. Echte klinische Notizen, die von einem System zusammengefasst wurden, dessen Genauigkeitsbehauptungen einer regulatorischen Prüfung nicht standhalten konnten.

Die Nacht, in der ich aufhörte, Benchmarks zu vertrauen

Ich möchte Ihnen von einem Moment erzählen, der mein Denken hierzu neu verdrahtet hat.

Wir führten eine interne Evaluierung einer klinischen Zusammenfassungs-Pipeline durch — nicht für einen Kunden, nur für unsere eigene Forschung und Entwicklung. Mein Team hatte etwas gebaut, das wir für ein solides RAG-basiertes System hielten. Retrieval-Augmented Generation ist, für die Uneingeweihten, eine Technik, bei der man das Modell nicht aus dem Gedächtnis antworten lässt, sondern zunächst relevante Dokumente aus einer Wissensbasis abruft und sie dem Modell als Kontext übergibt. Es soll die Ausgabe in Fakten verankern.

Unsere internen Kennzahlen sahen großartig aus. Faithfulness-Werte über 95 %. Retrieval-Präzision im hohen 90er-Bereich. Wir fühlten uns gut. Dann schlug eine unserer Ingenieurinnen — Priya, die diese aufreibende Angewohnheit hat, bei Dingen recht zu haben, die niemand hören will — vor, etwas anderes zu tun. Anstatt gegen unseren eigenen Testdatensatz zu messen, zog sie fünfzig echte Entlassungsberichte aus einem öffentlichen Datensatz und ließ zwei Ärzte die KI-generierten Versionen unabhängig voneinander überprüfen.

Die Ergebnisse kamen an einem Donnerstagabend zurück. Ich erinnere mich, weil ich gerade das Abendessen zubereitete und mein Telefon mit einer Slack-Nachricht von Priya vibrierte, in der nur stand: „Das solltest du dir vor morgen ansehen.“

Die Ärzte beanstandeten Probleme in 23 von 50 Zusammenfassungen. In den meisten Fällen keine katastrophalen Fehler — eine Medikamentendosierung, die aus einer früheren Aufnahme statt aus der aktuellen entnommen wurde, ein Detail der Familienanamnese, das dem falschen Verwandten zugeordnet wurde, ein Laborwert, der von der Richtung her korrekt, aber numerisch falsch war. Aber in einem klinischen Kontext kann „von der Richtung her korrekt, aber numerisch falsch“ den Unterschied zwischen einer sicheren Entlassung und einer Wiederaufnahme bedeuten.

Unsere automatisierten Kennzahlen hatten fast alles davon übersehen. Das System erzeugte Text, der sprachlich flüssig und semantisch dem Ausgangsmaterial ähnlich war — genau das, was die Kennzahlen maßen. Aber es erzeugte keinen Text, der klinisch sicher war, was tatsächlich zählte.

Das war die Nacht, in der ich aufhörte, Benchmarks als Stellvertreter für Qualität zu vertrauen. Und deshalb traf mich der Pieces-Fall so hart, als er bekannt wurde. Ich wusste genau, wie ein Unternehmen auf seine eigenen Zahlen blicken, sie aufrichtig glauben und trotzdem gefährlich falschliegen konnte.

Warum verwendete Texas ein Verbraucherschutzgesetz — und kein KI-Gesetz?

Das ist der Teil, der jeden KI-Anbieter nachts wachhalten sollte.

Der Generalstaatsanwalt von Texas wartete nicht darauf, dass der Kongress eine KI-Regulierung verabschiedet. Er berief sich auf keine neuartige Rechtstheorie. Er verwendete den Texas Deceptive Trade Practices–Consumer Protection Act — ein Gesetz, das seit Jahrzehnten in Kraft ist — und wandte ihn auf KI-Genauigkeitsbehauptungen genauso an, wie er auf ein Unternehmen angewandt würde, das über die Kraftstoffeffizienz eines Autos lügt.

Die daraus resultierende Assurance of Voluntary Compliance bindet Pieces Technologies für einen fünfjährigen Zeitraum an erhöhte Transparenz. Das Unternehmen muss nun die Definitionen und Berechnungsmethoden offenlegen, die hinter allen von ihm beworbenen Genauigkeitskennzahlen stehen. Es muss Kunden über „bekannte oder vernünftigerweise erkennbare schädliche oder potenziell schädliche Verwendungen“ seiner Produkte informieren. Es muss Dokumentation zu seinen Trainingsdaten und Modelltypen bereitstellen. Und es muss auf Informationsanfragen des Büros des Generalstaatsanwalts innerhalb von 30 Tagen reagieren.

Das ist kein Klaps auf die Finger. Das ist eine Vorlage.

Die erste große KI-Durchsetzungsmaßnahme im Gesundheitswesen erforderte keine neue Gesetzgebung. Bestehendes Verbraucherschutzrecht reichte aus — und jeder Bundesstaat hat eines.

Ich habe mit juristischen Teams von Unternehmen gesprochen, die davon ausgingen, sie seien sicher, weil „es noch kein KI-Gesetz gibt.“ Diese Annahme ist falsch. Wenn Sie eine Behauptung über die Leistung Ihres KI-Systems aufstellen, und diese Behauptung irreführend ist, sind Sie bereits nach bestehendem Recht angreifbar. Der Pieces-Vergleich hat es gerade bewiesen.

Ich habe über die vollständigen regulatorischen Auswirkungen geschrieben — einschließlich der spezifischen Verpflichtungen aus dem Vergleich — in der interaktiven Version unserer Recherche. Wenn Sie im Einkauf, in der Rechtsabteilung oder im Compliance-Bereich tätig sind, lohnt es sich, das aufmerksam zu lesen.

Das Wrapper-Problem

Hier ist, was meiner Meinung nach architektonisch tatsächlich schiefgelaufen ist — und warum es weit über Pieces Technologies hinaus von Bedeutung ist.

Die meisten heute ausgelieferten Unternehmens-KI-Produkte sind das, was die Branche „Wrapper“ nennt. Ein Wrapper nimmt die Eingabe eines Nutzers, sendet sie an die API eines Basismodells — GPT-4, Claude, Gemini — und zeigt die Antwort mit etwas leichter Formatierung und vielleicht ein paar angeschraubten Guardrails an. Er ist schnell zu bauen, schnell auszuliefern und schnell zu verkaufen. Er ist auch grundlegend fragil.

Ein Wrapper versteht Ihre Daten nicht. Er hält keinen Kontext über den longitudinalen Verlauf eines Patienten aufrecht. Er weiß nicht, dass Dr. Ramirez in der Kardiologie Notizen anders schreibt als Dr. Chen in der Onkologie. Er hat keinen Zugriff auf das institutionelle Wissen, das eine Krankenschwester mit zwanzig Jahren Erfahrung im Kopf trägt. Er sagt nur Tokens voraus.

Ich hatte darüber einmal eine Auseinandersetzung mit einem Investor — eine hitzige. Er hatte eine Demo eines Wrapper-basierten Werkzeugs für klinische Dokumentation gesehen und war überzeugt, es sei „gut genug“. Seine genauen Worte: „Ashutosh, nimm einfach GPT. Feinjustiere es ein bisschen. Liefere es aus. Der Markt wird nicht warten.“

Ich sagte ihm, der Markt würde nicht warten, aber die Regulierungsbehörden schon. Und die Patienten. Und die Klagen.

Er hat nicht investiert. Ich bereue das Gespräch nicht.

Die Alternative — was wir bei Veriprajna bauen und wohin sich die Branche meiner Meinung nach bewegen muss — ist tiefe Integration. Das bedeutet, das Modell in das tatsächliche Datengeflecht des Unternehmens einzubetten. Es bedeutet, RAG nicht als Häkchen-Feature zu nutzen, sondern als echten Verankerungsmechanismus, mit Retrieval-Pipelines, die auf die spezifische Domäne abgestimmt sind. Es bedeutet, auf domänenspezifischen Korpora feinzujustieren. Es bedeutet mehrschichtige menschliche Aufsicht, bei der die Menschen tatsächlich die Befugnis und den Kontext haben, Fehler zu erkennen.

Die Forschung bestätigt das. Studien zeigen, dass 65 % der Entwickler berichten, dass KI bei komplexen Aufgaben „relevanten Kontext verliert“ — und das ist in der Softwareentwicklung, wo auf dem Spiel ein kaputter Build steht, nicht ein geschädigter Patient. Im Gesundheitswesen ist Kontextverlust kein Fehler. Es ist ein Sicherheitsereignis.

Was tatsächlich funktioniert: adversariale KI und das 3,7-Stunden-Problem

Eines lasse ich Pieces Technologies zugutehalten: Ihre Architektur umfasste ein adversariales Erkennungsmodul. Die Idee ist stichhaltig — man setzt ein zweites KI-Modell ein, um das erste zu überwachen und generierte Zusammenfassungen auf Abweichungen von den klinischen Ausgangsdaten hin zu durchsuchen. Ihr technisches Papier zeigte, dass das adversariale Modul 7,5-mal wirksamer darin war, klinisch signifikante Halluzinationen zu erkennen, als eine Zufallsstichprobe.

Das ist ein echtes Ergebnis. Es ist auch nicht genug.

Hier ist der Grund. Wenn das adversariale Modul einen Fehler beanstandete, wurde die beanstandete Zusammenfassung an einen fachärztlich zertifizierten Arzt zur Überprüfung weitergeleitet. Die mediane Zeit bis zur Behebung? 3,7 Stunden. Für eine Verlaufsnotiz, die am Ende einer Schicht abgelegt wird, ist das vielleicht akzeptabel. Für einen Entlassungsbericht, der darüber entscheidet, ob ein Patient heute nach Hause geht oder eine weitere Nacht bleibt, sind 3,7 Stunden eine Ewigkeit. Für ein Werkzeug zur klinischen Entscheidungsunterstützung in Echtzeit — die Art, die alle im Wettlauf bauen — ist es nutzlos.

Das nenne ich das Problem der Interventionsgeschwindigkeit, und es ist eines, das die Branche nicht gelöst hat. Man kann das beste Halluzinations-Erkennungssystem der Welt bauen, aber wenn die Korrekturschleife langsamer ist als der klinische Arbeitsablauf, ist die unkorrigierte Ausgabe das, was der Arzt sieht, wenn es darauf ankommt.

Erkennung ohne rechtzeitige Korrektur ist nur die Dokumentation des Scheiterns.

Bei Veriprajna haben wir angefangen, darüber in Stufen nachzudenken. Nicht jeder KI-Anwendungsfall birgt dasselbe Risiko, und nicht jeder Anwendungsfall braucht dieselbe Geschwindigkeit menschlicher Intervention. Administrative Terminplanung? Prüfen Sie sie wöchentlich. Klinische Dokumentation? Überprüfen Sie sie, bevor sie in die Akte gelangt. Entscheidungsunterstützung in Echtzeit? Der Mensch muss bevor die Ausgabe erzeugt wird, in der Schleife sein, nicht danach.

Das im Gesundheitswesen entstehende AI-Safety-Level-Framework bildet dies gut ab — von Stufe 1 (administrative Aufgaben mit geringer Auswirkung) bis hinauf zu Stufe 5 (autonome Patienteninteraktion). Die meisten Organisationen, mit denen ich spreche, setzen Werkzeuge der Stufen 3 und 4 mit einer Aufsicht der Stufe 1 ein. Das ist die Lücke, die die Regulierungsbehörden weiter schließen werden.

Warum erzielen nur 5 % der Unternehmen echten Mehrwert aus KI?

Es gibt eine Statistik aus der Unternehmens-KI-Forschung, die mich verfolgt: Nur 5 % der Unternehmen erzielen im großen Maßstab messbaren geschäftlichen Mehrwert aus KI. Nicht 50 %. Nicht 25 %. Fünf Prozent.

Die Unternehmen in diesen 5 % teilen ein Muster. Sie verwenden 70 % ihres Implementierungsaufwands auf die organisatorische Transformation — die Neugestaltung von Arbeitsabläufen, die Neudefinition von Rollen, die Veränderung, wie Entscheidungen getroffen werden. Zwanzig Prozent entfallen auf den Technologie-Stack. Zehn Prozent entfallen auf den Algorithmus selbst.

Alle anderen kehren dieses Verhältnis um. Sie verbringen Monate damit, das richtige Modell auszuwählen, Wochen damit, die Pipeline zu bauen, und ungefähr null Zeit damit, darüber nachzudenken, ob die nachgelagerten Menschen der Ausgabe der KI tatsächlich vertrauen, sie verstehen oder wirksam beaufsichtigen können.

Ich habe das aus erster Hand erlebt. Wir arbeiteten mit einem Team zusammen, das ein technisch elegantes System gebaut hatte — schöne Architektur, sauberer Code, beeindruckende Benchmarks. Aber die Kliniker, für die es gebaut wurde, nutzten es nicht. Nicht weil es schlecht war, sondern weil niemand sie gefragt hatte, was sie brauchten. Das Werkzeug erzeugte Zusammenfassungen in einem Format, das nicht zu ihrem bestehenden Arbeitsablauf passte. Es brachte Informationen zutage, die sie bereits kannten, und begrub Informationen, die sie tatsächlich brauchten. Es war eine Lösung für ein Problem, das von Ingenieuren definiert wurde, nicht von den Menschen, die die Arbeit tun.

Wir verbrachten drei Wochen einfach damit, mit dem klinischen Personal zusammenzusitzen und ihnen bei der Arbeit zuzusehen, bevor wir eine einzige Codezeile für die Neugestaltung schrieben. Das sind die 70 %, auf die es ankommt.

Für die vollständige technische Aufschlüsselung von Bewertungsrahmen, adversarialen Erkennungsarchitekturen und den ROI-Mustern, die die 5 % von den 95 % trennen, siehe unser detailliertes Forschungspapier.

Wie sollten Unternehmen KI-Genauigkeitsbehauptungen tatsächlich bewerten?

Man fragt mich das ständig, deshalb lassen Sie mich direkt sein.

Erstens: Fordern Sie Definitionen. Wenn Ihnen ein Anbieter sagt, seine Halluzinationsrate betrage X %, fragen Sie: Was gilt als Halluzination? Wer hat den Testdatensatz annotiert? Wie groß war er? Wurde er von Fachexperten oder von einem anderen KI-Modell bewertet? Wenn sie diese Fragen nicht klar beantworten können, ist die Zahl bedeutungslos.

Zweitens: Betrachten Sie den Bewertungsrahmen. Der beste, den ich für das Gesundheitswesen gesehen habe, ist Med-HALT — der Medical Domain Hallucination Test. Er misst nicht nur, ob das Modell die richtige Antwort findet. Er prüft, ob das Modell sich weigern kann, eine selbstbewusst falsche Antwort zu geben. Einer seiner Untertests, der False Confidence Test, präsentiert dem Modell eine Frage und eine vorgeschlagene „richtige“ Antwort, die tatsächlich falsch ist, und prüft dann, ob das Modell sich darauf einlässt. Ein weiterer Test namens „None of the Above“ prüft, ob das Modell erkennen kann, wann keine der vorgelegten Optionen korrekt ist — eine entscheidende Fähigkeit, denn in der Medizin ist „Ich weiß es nicht“ oft die sicherste Antwort.

Drittens: Bestehen Sie auf dem, was das FAIR-AI-Framework ein „AI Label“ nennt — eine standardisierte Offenlegung, die dem Endnutzer sagt, mit welchen Daten das Modell trainiert wurde, was seine bekannten Fehlermodi sind und welche Version derzeit im Einsatz ist. Stellen Sie es sich wie eine Nährwertkennzeichnung für KI vor. Wenn ein Anbieter Ihnen keine geben will, fragen Sie sich, was er verbirgt.

Die Frage lautet nicht „Wie genau ist Ihre KI?“ Sie lautet „Woher wissen Sie das — und können Sie es einer Regulierungsbehörde beweisen?“

Der Vergleich hat alles verändert. Die meisten Menschen haben es noch nicht bemerkt.

Hier ist, was meiner Meinung nach in den nächsten zwei Jahren passieren wird, und ich sage das als jemand, der die Systeme baut, die diesen Regeln unterliegen werden.

Der texanische Vergleich wird sich wiederholen. Andere Generalstaatsanwälte der Bundesstaaten beobachten das. Die FTC beobachtet es. Das Muster ist etabliert: Man braucht kein KI-Gesetz, um KI-Behauptungen zu regulieren. Man braucht nur ein Verbraucherschutzgesetz und einen Anbieter, der zu viel versprochen hat.

Der Unternehmenseinkauf wird sich verändern. Krankenhaussysteme und Großabnehmer werden anfangen, vor der Vertragsunterzeichnung unabhängige Drittprüfungen von KI-Genauigkeitsbehauptungen zu verlangen. Der Vergleich lässt dies ausdrücklich als Alternative zur Selbstauskunft zu, und kluge Käufer werden es fordern.

Das Wrapper-Modell wird sterben — langsam, dann auf einmal. Nicht weil Wrapper für Anwendungen mit geringem Risiko nicht funktionieren (das tun sie), sondern weil die regulatorischen Kosten für den Einsatz eines nicht verankerten Systems in einer Umgebung mit hohem Risiko im Begriff sind, untragbar zu werden. Die Unternehmen, die überleben, werden diejenigen sein, die in tiefe Integration investiert haben, als es schwer war, nicht diejenigen, die schnell auslieferten und hofften, dass niemand nachprüft.

Und die Behauptung von 0,001 %? Sie wird zu einer mahnenden Geschichte werden — dem Unternehmens-KI-Äquivalent von Theranos' „einem Tropfen Blut“. Eine Zahl, so perfekt, dass sie eine Warnung hätte sein sollen.

Ich denke manchmal an jenen Krankenhaus-CIO. Den, der mir die Folie mit der großen Zahl zeigte. Er kaufte dieses System nicht. Er sagte mir später, dass etwas an der Präzision der Behauptung ihn störte — sie war zu sauber, zu selbstsicher für eine Technologie, von der er wusste, dass sie grundlegend probabilistisch ist.

Er hatte recht, sich gestört zu fühlen. Das Schwierigste bei Unternehmens-KI ist nicht, ein System zu bauen, das funktioniert. Es ist, ein System zu bauen, das Ihnen ehrlich sagt, wenn es das nicht tut. Das ist jetzt der Maßstab. Nicht 99,999 %. Keine Zahl auf einer Folie. Der Maßstab lautet: Können Sie Ihre Arbeit offenlegen, dahinterstehen und die Konsequenzen akzeptieren, wenn Sie falschliegen?

Darauf arbeiten wir hin. Nicht perfekte KI. Ehrliche KI. Und ich glaube, das wird viel wichtiger sein als irgendjemandes Halluzinationsrate.