KI-Genauigkeitsversprechen im Gesundheitswesen: Was 0,001 % wirklich bedeuten

Das Problem

Im September 2024 zwang der Generalstaatsanwalt von Texas ein KI-Unternehmen im Gesundheitswesen namens Pieces Technologies zu einem richtungsweisenden Vergleich. Das Unternehmen hatte Krankenhäusern zugesichert, seine Software für klinische Dokumentation weise eine „kritische Halluzinationsrate“ von weniger als 0,001 % auf – weniger als ein Fehler pro 100.000 Ausgaben. Der Bundesstaat stufte diese Behauptung sowohl als unzutreffend als auch als irreführend ein.

Hier ist der Aspekt, der Ihnen schlaflose Nächte bereiten sollte: Vier große Krankenhäuser in Texas hatten diese Software bereits im Einsatz. Houston Methodist, Children's Health System of Texas, Texas Health Resources und Parkland Hospital nutzten sie alle. Die KI fasste Patientenakten zusammen, erstellte klinische Notizen und erfasste Entlassungshindernisse. Dies sind keine Aufgaben mit geringem Risiko. Fehler in der klinischen Dokumentation können sich direkt auf die Patientensicherheit auswirken.

Der Generalstaatsanwalt von Texas benötigte kein neues KI-Gesetz, um einzugreifen. Bestehende Verbraucherschutzvorschriften – der Texas Deceptive Trade Practices–Consumer Protection Act – reichten vollkommen aus. Der Bundesstaat kam zu dem Schluss, dass die von Pieces Technologies vermarkteten Genauigkeitsmetriken „wahrscheinlich unzutreffend“ und potenziell irreführend waren. Ihre Organisation muss nicht im Gesundheitswesen tätig sein, um die Auswirkungen zu spüren. Wenn Sie KI einsetzen und Zusagen über deren Genauigkeit machen, verfügt Ihre zuständige Aufsichtsbehörde bzw. der Generalstaatsanwalt bereits über die Instrumente für ein Ermittlungsverfahren.

Dieser Fall betrifft nicht nur ein einzelnes Unternehmen. Er ist ein Warnschuss für jedes Unternehmen, das KI-Systeme beschafft oder entwickelt, die in regulierte Entscheidungen eingebunden sind.

Warum dies für Ihr Unternehmen wichtig ist

Die finanziellen und rechtlichen Risiken unbestätigter KI-Genauigkeitsversprechen sind längst nicht mehr theoretischer Natur. Der Vergleich von Pieces Technologies begründete eine fünfjährige Compliance-Verpflichtung gegenüber dem Bundesstaat Texas. Das bedeutet fünf Jahre lang verpflichtende Offenlegungen, kontinuierliche Überwachung und die Möglichkeit unabhängiger Prüfungen durch Dritte. Bedenken Sie, welche Auswirkungen eine derartige Kontrolle auf Ihre betrieblichen Abläufe hätte.

Die Zahlen zeichnen ein ernüchterndes Bild für die gesamte Branche:

• Nur 5 % der Unternehmen erzielen mit KI im Produktiveinsatz messbaren geschäftlichen Mehrwert. Die restlichen 95 % investieren ohne klare Rendite.
• 65 % der Entwickler berichten, dass KI bei komplexen Aufgaben „relevanten Kontext verliert“, was zu subtilen Fehlern oder Inkonsistenzen führt.
• Unternehmen, die spezialisierte KI-Tools von Anbietern erwerben, verzeichnen eine Erfolgsquote von 67 %, während diejenigen, die interne Tools von Grund auf selbst entwickeln, nur in 33 % der Fälle erfolgreich sind.

Der Vergleich verpflichtet Pieces Technologies nun, die spezifischen Daten und Modelle offenzulegen, die zum Training seiner Produkte verwendet wurden. Er verlangt zudem die Offenlegung der Methodik hinter sämtlichen Leistungsmetriken. Wenn Ihr KI-Anbieter Ihnen nicht nachweisen kann, wie er seine Genauigkeitsaussagen berechnet hat, tragen Sie dessen Risiko mit.

Für Ihren Vorstand und Ihr Compliance-Team ist die Lektion unmissverständlich: Der regulatorische Maßstab lautet nicht „hat die KI meistens funktioniert“. Der Standard lautet: Können Sie es belegen, und haben Sie Ihren Kunden die Wahrheit darüber mitgeteilt, wie Sie es gemessen haben? Wenn Ihr Unternehmen KI in einer regulierten Funktion einsetzt – sei es klinisch, finanziell oder juristisch –, ist dieser Vergleich Ihr neuer Maßstab für die Due Diligence.

Was hinter den Kulissen tatsächlich geschieht

Um zu verstehen, warum ein Halluzinationsversprechen von 0,001 % so fragwürdig ist, müssen Sie wissen, wie diese KI-Systeme in der Praxis funktionieren.

Große Sprachmodelle (Large Language Models) – die Technologie hinter Systemen wie GPT-4 – sind Vorhersagemaschinen. Sie generieren Text, indem sie auf Basis von Mustern aus dem Training das wahrscheinlichste nächste Wort schätzen. Stellen Sie es sich wie die Autovervollständigung auf Ihrem Smartphone vor, nur skaliert auf das Verfassen ganzer Absätze. Das System „versteht“ keine Fakten. Es sagt voraus, was plausibel klingt.

Eine Halluzination tritt auf, wenn die KI einem Wort oder einer Formulierung eine hohe Wahrscheinlichkeit zuweist, die zwar korrekt klingt, aber faktisch falsch ist. Im klinischen Umfeld kann dies bedeuten, dass ein Medikamentenname generiert wird, der grammatikalisch in den Satz passt, aber nicht mit der tatsächlichen Patientenakte übereinstimmt.

Um diese Fehler mit einer Präzision von 0,001 % zu messen, wäre ein gigantischer, perfekt annotierter Datensatz klinischer Zusammenfassungen erforderlich. Ein solcher Datensatz existiert nicht. Die klinische Dokumentation ist zu fragmentiert und zu spezifisch auf einzelne Patienten und Ärzte zugeschnitten, als dass ein universeller Goldstandard existieren könnte.

Dies ist das Kernproblem des Modells, das das Whitepaper als „Wrapper“-Ansatz bezeichnet. Ein Wrapper leitet Ihre Daten über eine API an eine universelle KI weiter und gibt das Ergebnis ungefiltert aus. Er bietet kaum domänenspezifische Prüfungen. Dieser Ansatz bringt Produkte zwar schnell auf den Markt, lässt jedoch die technischen Sicherheitsvorkehrungen vermissen, die erforderlich sind, um Halluzinationen abzufangen, Datenabflüsse zu verhindern oder Prompt-Injection-Angriffen zu widerstehen. Ein einfacher API-Aufruf an ein Standardmodell kann weder die vollständige Krankengeschichte eines Patienten noch den spezifischen Dokumentationsstil eines Arztes berücksichtigen. Schnelligkeit bei der Markteinführung ist nicht gleichbedeutend mit Sicherheit im praktischen Betrieb.

Was funktioniert (und was nicht)

Räumen wir zunächst mit den Ansätzen auf, die eine trügerische Sicherheit vermitteln:

• Sich allein auf vom Anbieter berichtete Genauigkeitsmetriken zu verlassen. Der Fall in Texas hat bewiesen, dass es solchen Benchmarks an der Strenge und Unabhängigkeit fehlen kann, die für eine unternehmensweite Validierung erforderlich sind. Ihr Beschaffungsteam benötigt unabhängige Nachweise.
• Einem einzelnen KI-Modell die Selbstkontrolle anzuvertrauen. Ein universelles Modell, das lediglich eigene generische Sicherheitsregeln anwendet, reicht für hochriskante klinische oder finanzielle Entscheidungen nicht aus.
• Skalierung von KI-Pilotprojekten ohne Datenqualitätsstrategie. Untersuchungen zeigen, dass führende Unternehmen einer „70:20:10“-Regel folgen: 70 % des Implementierungsaufwands fließen in die organisatorische Transformation, 20 % in den Technologie-Stack und nur 10 % in den Algorithmus. Die meisten Nachzügler skalieren Modelle auf unvollständigen oder isolierten Daten.

Hier ist, was tatsächlich funktioniert – ein dreistufiger Ansatz rund um überprüfbare Ergebnisse:

1. Verankern Sie jede KI-Antwort in Ihren tatsächlichen Daten. Retrieval-Augmented Generation (RAG) – eine Methode, bei der die KI vor der Generierung einer Antwort auf Ihre echten Quelldokumente zugreift und diese referenziert – bindet die Ausgaben an Fakten, die Sie kontrollieren. Anstatt die KI anhand ihrer Trainingsdaten raten zu lassen, speisen Sie die tatsächliche Patientenakte, den Vertrag oder das Richtliniendokument ein. Dieser Ansatz verbessert die Kontexterhaltung durch Datenabruf in Echtzeit und langfristige Vektorspeicherung.

2. Ergänzen Sie eine adversarielle Erkennungsebene. Das bedeutet den Einsatz eines zweiten KI-Systems, dessen einzige Aufgabe darin besteht, die Arbeit des ersten zu überprüfen. In der Architektur von Pieces Technologies war das Erkennungsmodul 7,5-mal effektiver beim Aufspüren klinisch relevanter Halluzinationen als Stichproben. Das Prinzip bleibt entscheidend, selbst wenn die Gesamtrate umstritten war: Automatisierte Prüfungen erfassen Fehler, die dem Menschen entgehen.

3. Behalten Sie den Menschen bei risikoreichen Entscheidungen in der Schleife (Human-in-the-Loop). KI sollte Entwürfe erstellen, nicht entscheiden. Bei Pieces wurden vom Erkennungssystem markierte Zusammenfassungen an Fachärzte zur Überprüfung weitergeleitet. Die mediane Zeit zur Korrektur eines markierten Fehlers betrug 3,7 Stunden. In der Akutversorgung ist eine solche Verzögerung bei Verlaufsnotizen vertretbar, bei der Entscheidungsunterstützung in Echtzeit könnte sie jedoch gefährlich sein. Sie müssen Ihre KI-Anwendungsfälle nach Risiko und erforderlicher Reaktionsgeschwindigkeit staffeln.

Der Vorteil lückenloser Prüfpfade (Audit Trails) verbindet all dies für Ihre Compliance- und Rechtsteams. Frameworks wie FAIR-AI empfehlen die Erstellung eines „KI-Labels“ für jedes eingesetzte Tool. Dieses Label legt dem Endbenutzer die Trainingsdaten, die Modellversion und bekannte Fehlermodi offen. Wenn eine Regulierungsbehörde oder ein Prüfer wissen möchte, wie Ihre KI eine bestimmte Entscheidung getroffen hat, können Sie genau nachweisen, auf welche Quelldokumente sie sich bezogen hat, welche Prüfungen sie bestanden hat und welcher Mensch das Endergebnis freigegeben hat. Diese Transparenz unterscheidet einen rechtssicheren Produktiveinsatz von einem Haftungsrisiko.

Für Organisationen im Bereich Gesundheitswesen und Life Sciences, ist diese Form der Quellenverankerung und Zitationsprüfung nicht optional – sie ist der entstehende Standard. Eine GraphRAG-Architektur , die Ihre KI mit strukturierten Wissensgraphen und validierten Quelldatensätzen verbindet, ist das technische Fundament, das dies ermöglicht.

Sie können die vollständige technische Analyse lesen oder die interaktive Version erkunden , um die detaillierten technischen Hintergründe dieser Empfehlungen kennenzulernen.