Neunzig Prozent der Ärzte vertrauen ihrer klinischen KI. Ein Drittel ihrer gefährlichen Fehler fangen sie ab.
Die erste Version unseres Tools für klinische KI-Sicherheit funktionierte hervorragend. Genau das war das Problem.
Wir hatten es gebaut, um das Offensichtliche zu tun: Halluzinationen abzufangen. Man richtet es auf einen Ambient-Scribe oder ein Tool zum Verfassen von Patientenportal-Nachrichten, speist die Ausgabe der KI ein und lässt es Aussagen markieren, die sachlich falsch waren. Es fing die falschen Medikamentennamen ab. Es fing die unmöglichen Laborwerte ab. Es fing eine Dosierung ab, die um eine Größenordnung daneben lag. Ich erinnere mich, dass ich mich richtig gut damit fühlte – wir fanden Fehler, die Demo überzeugte, die Zahlen sahen sauber aus.
Dann führte mir ein klinischer Berater des Projekts, ein Krankenhausinternist, der zwei Jahrzehnte auf den Stationen verbracht hatte, ein Beispiel vor Augen, über das ich noch immer nachdenke. Eine KI hatte eine MyChart-Antwort an einen Patienten entworfen, der nach seinen Medikamenten fragte. Der Entwurf riet, Metformin fortzusetzen, und merkte fröhlich an, der letzte HbA1c-Wert habe 6,8 % betragen. Jede darin enthaltene Tatsache war wahr. Die Nachricht war einfühlsam, gut strukturiert, genau das, was ein guter Arzt schreiben würde. Unser Tool ließ sie ohne Markierung durch.
Das Kreatinin des Patienten war über drei Besuche hinweg gestiegen. Steigendes Kreatinin bedeutet nachlassende Nierenfunktion, und nachlassende Nierenfunktion macht Metformin gefährlich. Die KI wusste nicht, dass sie danach schauen sollte. Und – das ist der Teil, der neu geordnet hat, wie ich über klinische KI-Sicherheit denke – auch der prüfende Arzt wüsste es nicht, während er in den zehn oder fünfzehn Sekunden, die ein vielbeschäftigter Kliniker ihm gibt, bevor er auf Senden klickt, einen flüssigen, freundlichen, sachlich konsistenten Entwurf überfliegt.
Unser Halluzinationsdetektor löste das falsche Problem. Die Fehler, die Patienten schaden, sind normalerweise nicht die offensichtlich falschen. Es sind diejenigen, die lokal korrekt und im Kontext tödlich sind. Man kann sich nicht durch Faktenprüfung zur Sicherheit vorarbeiten, denn die Gefahr steckt in dem, was die KI nicht gesagt hat.
Dieses Scheitern ist der Grund, warum Veriprajna aufhörte, einen Halluzinationsdetektor zu bauen, und begann, unabhängige Sicherheitsinfrastruktur für den gesamten Stack an KI, den ein Gesundheitssystem tatsächlich betreibt, aufzubauen. In diesem Essay geht es darum, was wir fanden, als wir ehrlich auf diesen Stack blickten.
Die Zahl, die jeden CMIO nachts wachhalten sollte
Im April 2024 veröffentlichte The Lancet Digital Health eine Studie, die meiner Meinung nach die wichtigste und am wenigsten verinnerlichte Erkenntnis in der Gesundheits-KI ist. Forscher ließen Ärzte KI-entworfene Antworten auf Patientennachrichten überprüfen. 7,1 % dieser Entwürfe bargen ein schweres Risiko einer Patientenschädigung. 0,6 % bargen ein Todesrisiko.
Hier ist der Teil, der mehr zählt als die Fehlerquote. Die Ärzte, die genau das taten, worum wir sie bitten – die Arbeit der KI zu überprüfen –, übersahen 66,6 % der schädlichen Entwürfe. Zwischen einem Drittel und fast der Hälfte der fehlerhaften gingen vollkommen unbearbeitet hinaus. Und in einer Befragung sagten 90 % genau dieser Ärzte, sie vertrauten der Leistung des Tools.
Neunzig Prozent Vertrauen und ein Drittel der gefährlichen Fehler erkannt. Diese Lücke ist kein Schulungsproblem. Sie ist das vorhersehbare Ergebnis, wenn man einen Menschen bittet, eine Maschine zu prüfen, die flüssiger schreibt als er selbst.
Das ist Automatisierungs-Bias, und es ist kein Charakterfehler von Ärzten. Es ist eine Eigenschaft der Interaktion. Wenn ein Entwurf gut geschrieben und einfühlsam ist, ersetzt die Qualität der Prosa im Kopf des Lesers die unabhängige Verifizierung. Je besser die KI schreibt, desto weniger prüft der Mensch. Wir setzen Tools ein, deren größte Stärke – flüssige, selbstbewusste Sprache – genau der Mechanismus ist, der das Sicherheitsnetz entwaffnet, das wir um sie herum gebaut haben.
ECRI, die gemeinnützige Organisation für Patientensicherheit, die die jährliche Liste der größten Gefahren der Gesundheitstechnologie veröffentlicht, stufte das KI-gesteuerte Diagnoserisiko als die Gefahr Nummer eins für sowohl 2025 als auch 2026 ein. Nicht unter den Top Ten. Nummer eins, zwei Jahre in Folge.
„Gelesen und überprüft“ ist eine juristische Fiktion
Kaliforniens AB 3030, in Kraft seit Januar 2025, verpflichtet Gesundheitssysteme offenzulegen, wenn KI in der klinischen Kommunikation mit Patienten eingesetzt wird. Es enthält eine Ausnahme, die vernünftig klingt: Wenn ein zugelassener Leistungserbringer die Ausgabe der KI liest und überprüft, ist keine Offenlegung nötig. Die Logik ist, dass ein Mensch in der Schleife den Beitrag der KI unsichtbar und sicher macht.
Die Lancet-Daten zerstören diese Logik. Wenn Ärzte zwei Drittel der schädlichen Fehler übersehen, dann ist „gelesen und überprüft“ für einen großen Teil der Fälle ein Gummistempel. Die Ausnahme setzt eine Prüfungsqualität voraus, die der Automatisierungs-Bias in großem Maßstab unmöglich macht. Verstöße gehen für eine Einrichtung bis zu 25.000 $ pro Vorfall, zuzüglich disziplinarischer Konsequenzen für den Arzt, dessen Name auf der Nachricht steht.
Ich verbringe viel Zeit mit Chief Medical Information Officers, und hier wird das Gespräch normalerweise unangenehm. Der Rechtsrahmen unterstellt, dass die menschliche Prüfung bedeutsam ist. Die klinische Realität ist, dass bedeutsame Prüfung technisches Gerüst erfordert, das die KI-Anbieter größtenteils nicht gebaut haben – Hervorhebung von Unsicherheit, Zitatverknüpfung zurück zur Quelle, aktive Bestätigungs-Workflows, die den Arzt bei den Aussagen, auf die es ankommt, innehalten lassen. Einige wenige Anbieter haben begonnen, es zu bauen – Abridges Linked Evidence führt jede Zeile einer generierten Notiz zurück zum exakten Audiosegment, das sie erzeugt hat –, was nur beweist, dass die Fähigkeit existiert und dass die meisten Tools sie noch immer nicht priorisieren. Ohne dieses Gerüst ist „ein Mensch hat es überprüft“ ein Compliance-Häkchen, keine Sicherheitskontrolle.
Der Anbieter sagte 0,001 %. Der Generalstaatsanwalt von Texas sagte: Beweisen Sie es.
Jeder klinische KI-Anbieter führt mit einer Genauigkeitszahl. Das Erste, was ich beim Prüfen dieser Tools lernte, ist, dass die Zahl ein Marketing-Artefakt ist, bis man weiß, wie sie berechnet wurde.
Im September 2024 einigte sich der Generalstaatsanwalt von Texas mit Pieces Technologies über deren beworbene Behauptung einer „Rate kritischer Halluzinationen“ unter 0,001 %. Die Software von Pieces war an vier großen texanischen Krankenhäusern im Einsatz – Houston Methodist, Children's Health, Texas Health Resources und Parkland. Das Bemerkenswerte an dem Fall ist, dass der Generalstaatsanwalt kein KI-spezifisches Gesetz brauchte. Bestehendes Verbraucherschutzrecht reichte aus, um eine Genauigkeitsbehauptung anzufechten, die das Unternehmen nicht belegen konnte.
Der Vergleich – eine fünfjährige Assurance of Voluntary Compliance – zwingt Pieces nun, jedem Kunden gegenüber offenzulegen, wie seine Kennzahlen definiert und berechnet werden, mit welchen Daten das Modell trainiert wurde und welche schädlichen Verwendungen es kennt. Das ist eine Vorlage für die gesamte Branche.
Eine Halluzinationsrate ohne Nenner ist keine Messung. Es ist eine Werbeanzeige.
Vergleichen Sie 0,001 % mit dem, was wir und andere tatsächlich im Feld finden. In einem Pilotprojekt im ersten Quartal 2025 empfahl ein KI-Entlassungsassistent ein Medikament für einen Patienten, der ausdrücklich als allergisch gegen diese Medikamentenklasse aufgeführt war. Seine reale Rate klinisch handlungsrelevanter Fehlaussagen betrug 0,98 % – zwölfmal die vom Anbieter behaupteten 0,08 %. Dieselbe Produktkategorie, eine Größenordnung Unterschied zwischen der Folie und dem Patienten. Das MIT Media Lab stellte fest, dass Modelle ohne Gegenmaßnahmen bei klinischen Fällen Halluzinationsraten über 60 % erreichen. Die ehrliche Antwort ist, dass niemandes Schlagzeilen-Zahl etwas bedeutet, bis man fragt: berechnet auf welchem Datensatz, validiert von wem, über welchen Zeitraum und – die Frage, die fast niemand stellt – über welche Patientendemografien hinweg?
Diese letzte Frage stellte sich als diejenige heraus, hinter der Leichen standen.
Der Bias, den man nicht sehen kann, weil das Gerät ihn verbirgt
Es gibt eine Tatsache, die ich mir außerhalb der Intensivmedizin bekannter wünschte. Das Pulsoximeter – der kleine Clip am Finger eines Patienten, der die Sauerstoffsättigung des Blutes misst, eine der vertrauenswürdigsten Zahlen in der Medizin – ist bei dunkler Haut systematisch weniger genau.
Bei schwarzen Patienten ist die Wahrscheinlichkeit rund dreimal höher, eine okkulte Hypoxämie zu haben: gefährlich niedriger Blutsauerstoff, den das Gerät als normal anzeigt. Die Überschätzung liegt bei 0,6 bis 1,5 Prozentpunkten, was trivial klingt, bis es den Unterschied ausmacht zwischen „auf die Intensivstation aufnehmen“ und „nach Hause schicken“. In pädiatrischen Daten übersah das Gerät niedrigen Sauerstoff bei 7 % der Kinder mit den dunkelsten Hauttönen und bei 0 % mit den hellsten. Die FDA gab im Januar 2025 einen Leitlinienentwurf heraus, der Herstellern empfiehlt, an mindestens 150 diversen Teilnehmern anhand der Monk-Skin-Tone-Skala zu testen – gegenüber einer früheren Norm von nur zehn.
Nun legen Sie KI über eine Messung, die am Sensor bereits verzerrt ist. Das Modell erbt die Verzerrung und wäscht sie durch eine selbstbewusste Ausgabe rein. Das ist der Teil der klinischen KI-Sicherheit, den Anbieter am wenigsten in der Lage sind, an sich selbst zu finden, denn ihn zu finden erfordert, die Leistung bewusst nach Ethnie, Geschlecht und Alter zu stratifizieren – und die Lücken dann zu veröffentlichen.
Das Epic-Sepsis-Modell ist die mahnende Geschichte, die ich zu jeder Governance-Diskussion mitbringe. Der Entwickler berichtete eine AUC – ein Standardmaß für die Vorhersagegenauigkeit, wobei 1,0 perfekt ist und 0,5 einem Münzwurf entspricht – von 0,76 bis 0,83. Als die University of Michigan es extern an ihren eigenen Patienten validierte, erhielten sie 0,63. Die Sensitivität lag bei 33 %, was bedeutet, dass es zwei Drittel der Sepsisfälle übersah. Sein positiver prädiktiver Wert lag bei 12 %, was bedeutet, dass 88 % seiner Warnmeldungen Fehlalarme waren. Und es war für schwarze und hispanische Patienten schlecht kalibriert, die eine fast doppelt so hohe Sepsis-Inzidenz haben. Ein Modell, das auf historischem klinischem Urteil trainiert wird, lernt historische klinische blinde Flecken und feuert sie dann mit der Autorität eines Algorithmus auf die Kliniker zurück. Epic überarbeitete das Modell 2022, und eine prospektive Multicenter-Validierung seiner zweiten Version erschien im Februar 2026 in JAMA Network Open – was genau der Punkt ist. Externe Validierung nach der Bereitstellung ist das, was die Lücke aufdeckt, die eine ursprüngliche AUC-Behauptung verbirgt, und hier brauchte es Jahre und externe Forscher, um sie zu erzwingen.
Die extremste Version davon zeigt sich in der Geburtshilfe. Schwarze Frauen sterben bei der Geburt mit 42,8 bis 50,3 pro 100.000 Lebendgeburten, gegenüber 13 bis 14,5 bei weißen Frauen. Eine kalifornische Untersuchung ergab, dass KI-Frühwarnsysteme 40 % der schweren Morbiditätsfälle bei schwarzen Patientinnen übersahen. Wenn das Warnsystem für die am stärksten gefährdete Bevölkerungsgruppe blind ist, versagt es nicht einfach neutral – es vergrößert die Lücke, zu deren Schließung es verkauft wurde.
Warum kann man das Modell nicht einfach auf Bias testen und weitermachen?
Man fragt mich, warum Gesundheitssysteme nicht einfach eine Fairness-Prüfung durchführen und das Modell zertifizieren. Früher dachte ich, es sei ein Ressourcenproblem. Es geht tiefer als das, und es ist mathematisch.
Es gibt ein Resultat namens Chouldechovas Unmöglichkeitstheorem. Einfach gesagt: Zwei vernünftige Definitionen von Fairness – demografische Parität (das Modell markiert jede Gruppe mit derselben Rate) und ausgeglichene Chancen (das Modell ist innerhalb jeder Gruppe gleich genau) – können außer in trivialen Fällen nicht beide gleichzeitig erfüllt werden. Man muss wählen, welche Art von Fairness man optimiert, und diese Wahl hat klinische Konsequenzen.
„Wir haben auf Bias getestet“ ist bedeutungslos, ohne das Kriterium zu nennen. Jeder Anbieter, der Ihnen nicht sagen kann, welche Fairness-Definition er gewählt hat, hat eine gewählt und sagt es Ihnen nicht.
Deshalb ist ein echtes Bias-Audit kein einmaliges Zertifikat. Es sind stratifizierte Subgruppen-Leistungstabellen, Kalibrierungskurven nach Demografie und ein Population Stability Index – eine Drift-Metrik –, die pro Einsatzstandort verfolgt werden, denn ein Modell, das in Boston fair war, kann in Houston aus der Kalibrierung driften, während sich die Patientenmischung ändert. Von Experten adjudizierte Ground-Truth-Labels für diese Arbeit kosten 50 bis 200 $ pro Fall. Es ist teure, spezialisierte, fortlaufende Infrastruktur. Es ist auch das Einzige, was zwischen einer Beschaffungsentscheidung und einem Obduktionsbericht steht.
Niemand besitzt den gesamten Stack
Das strukturelle Problem, auf das ich immer wieder stieß, ist dieses: Ein mittleres bis großes Gesundheitssystem betreibt irgendwo zwischen fünf und fünfzehn KI-Tools gleichzeitig. Einen Ambient-Scribe (Abridge über UPMCs mehr als vierzig Krankenhäuser hinweg oder Nuances DAX Copilot, verdrahtet mit dem EHR), ein Sepsis-Modell von Epic, ein Tool zum Verfassen von Patientenportal-Nachrichten, einen Triage-Algorithmus, einen Codier-Assistenten. Jedes hat seine eigene Genauigkeitsbehauptung, sein eigenes Sicherheitsprofil, seine eigenen blinden Flecken und sein eigenes Dashboard. Kein Anbieter stellt Governance über die Tools hinweg bereit, denn kein Anbieter verkauft sie alle.
Und die Governance, die es gibt, ist dünner, als die Organigramme vermuten lassen. Censinets Daten von 2026 zeigen, dass 84 % der Gesundheitssysteme ein KI-Governance-Komitee haben – aber nur 59 % haben einen formalen, dokumentierten Genehmigungsprozess, bevor ein KI-Tool live geht. CIOs sitzen in 63 % dieser Komitees; der CMIO, die Person, die klinisch verantwortlich ist, wenn das Tool falsch liegt, sitzt in nur 45 %. Unterdessen führen Kliniker Tools eigenständig ein – Schatten-KI – schneller, als irgendein Komitee sie prüfen kann.
Das ist die Lücke, zu deren Schließung Veriprajna gebaut wurde, und deshalb hörte ich auf, das, was wir tun, als „Halluzinationserkennung“ zu beschreiben. Wir führen unabhängige, anbieterneutrale Bewertungen der KI durch, die ein Gesundheitssystem tatsächlich eingesetzt hat: Wir betreiben Red-Teaming der Tools, so wie es ein Angreifer oder ein schlechter Tag täte, validieren die Genauigkeitsbehauptungen der Anbieter gegen den realen Nenner, führen die Bias-Audits durch, für die die meisten IT-Teams nicht die Kapazität haben, und verwandeln AB 3030, Colorados AI Act und die Hochrisiko-Regeln des EU AI Act in operative Kontrollen statt in juristische Ängste. Eine Sicherheitsebene, die sich über jedes Tool legt.
„Bremst das nicht einfach die Innovation aus?“
Das ist der Einwand, den ich am häufigsten höre, meist von jemandem, der zusah, wie Ambient-Dokumentation in einem einzigen Jahr zu einer 600-Millionen-Dollar-Kategorie wurde, und nicht die Führungskraft sein will, die Nein gesagt hat.
Ich würde das Gegenteil behaupten. Unabhängige Sicherheit ist das, was schnelle Einführung überlebbar macht. Die Gesundheitssysteme, die sich die Finger verbrennen, sind nicht die vorsichtigen – es sind diejenigen, die auf Grundlage der Folienpräsentation eines Anbieters ausgerollt haben und die Lücke zwischen 0,08 % und 0,98 % erst entdeckten, nachdem ein Patient zu Schaden kam. Die durchschnittliche Investition in Gesundheits-KI bringt etwa 3,20 $ für jeden Dollar, realisiert innerhalb von 14 Monaten. Dieser ROI verdampft beim ersten Mal, wenn ein unverifiziertes Tool eine Kunstfehlerklage produziert – und KI-bezogene Klagen sind seit 2022 bereits um 14 % gestiegen, konzentriert auf Radiologie, Kardiologie und Onkologie. Verifizierung ist nicht die Steuer auf Innovation. Sie ist die Versicherung, die es Ihnen erlaubt, weiter zu innovieren, nachdem das erste Ding schiefgeht.
Der zweite Einwand: Kann unser eigenes Informatik-Team das nicht bewältigen? Manchmal, teilweise. Aber der Wert einer unabhängigen Bewertung ist gerade, dass sie unabhängig ist – aus demselben Grund, aus dem man ein Unternehmen nicht seine eigenen Finanzen prüfen lässt. Ein Anbieter wird sich nicht selbst zu einer schlechter aussehenden Zahl red-teamen, und ein internes Team, das einen Kauf befürwortet hat, hat ein stilles Interesse an dessen Erfolg. Jemand ohne Position in dem Geschäft stellt die Fragen, aus denen alle anderen einen Grund haben, sie nicht zu stellen.
Was ich einem CMIO heute sagen würde
Die Frage, von der ich früher dachte, dass sie zählt, war: Funktioniert diese KI? Ich lag falsch. Jeder Anbieter wird Ihnen zeigen, dass sie funktioniert. Die Frage, die zählt, ist: Können Sie beweisen, dass sie funktioniert – über jede Patientendemografie hinweg – an dem Tag, an dem eine Aufsichtsbehörde, ein Anwalt eines Klägers oder ein Journalist Sie darum bittet?
Im Moment können die meisten Gesundheitssysteme das nicht. Sie haben Genauigkeitszahlen, die sie nicht reproduzieren können, ein Governance-Komitee ohne die klinische Leitung darin und eine Flotte von Tools, die keine unabhängige Partei jemals gemeinsam getestet hat. Der flüssige Entwurf wird weiter durchgeklickt werden. Die Sepsis-Warnung wird zu 88 % der Zeit weiter falschen Alarm schlagen. Das Pulsoximeter wird weiter normal anzeigen bei dem Patienten, bei dem es das nicht ist.
Ich baute Veriprajnas Praxis für Gesundheits-KI-Sicherheit auf, weil mich das Metformin-Beispiel nie losließ. Die Nachricht war perfekt. Alles darin war wahr. Und sie hätte jemanden töten können – nicht weil die KI dumm war, sondern weil sie überzeugend war und niemand ausgestattet war, das zu prüfen, was sie nicht gesagt hatte. Sicherheit in der klinischen KI bedeutet nicht, den offensichtlichen Fehler abzufangen. Es bedeutet, die Infrastruktur zu bauen, um den unsichtbaren abzufangen, bevor es der Patient tut.
