Die KI Ihres Arztes hat Ihnen eine Nachricht geschrieben, die Sie töten könnte — und niemand hat es Ihnen gesagt

Ich war letztes Jahr in einem Telefonat mit dem CTO eines Gesundheitssystems, als er etwas sagte, das mich schlagartig innehalten ließ.

"Wir lassen jetzt GPT die Nachrichten im Patientenportal entwerfen. Die Ärzte lieben es. Es spart ihnen Stunden pro Woche. Im Grunde sind wir mit dem KI-Rollout fertig."

Fertig. Dieses Wort lag mir wie ein Stein in der Brust. Denn ich hatte gerade eine Studie zu Ende gelesen — veröffentlicht in The Lancet Digital Health im April 2024 von Forschern der Harvard Medical School, Yale und der University of Wisconsin —, die eine ganz andere Geschichte erzählte. In dieser Studie entwarf GPT-4 156 Patientenportal-Nachrichten innerhalb einer simulierten elektronischen Patientenakte. 7,1 % dieser Entwürfe bargen das Risiko eines schweren Schadens. Einer — 0,6 % — barg ein unmittelbares Todesrisiko.

Und hier ist die Zahl, die mich meine Kaffeetasse abstellen und den Absatz dreimal neu lesen ließ: Die zwanzig praktizierenden Hausärzte, die diese KI-Entwürfe prüften, übersahen im Durchschnitt 66,6 % der gefährlichen Fehler.

Der CTO handelte nicht fahrlässig. Er tat, was die gesamte Branche tat — ein universelles Sprachmodell in eine dünne Softwareschicht zu verpacken, es auf Patientennachrichten anzusetzen und darauf zu vertrauen, dass die Augen eines Arztes am Ende der Pipeline schon auffangen würden, was auch immer schiefging.

Ich habe die letzten Jahre damit verbracht, bei Veriprajna KI-Systeme zu bauen, die darauf ausgelegt sind, fundiert zu sein — verankert in verifiziertem Wissen, nicht bloß in statistischer Wahrscheinlichkeit. Und diese Studie brachte etwas auf den Punkt, für das ich in Räumen argumentiert hatte, in denen die Leute es nicht hören wollten: Der "Human-in-the-Loop" ist kein Sicherheitsmechanismus. Er ist ein Gebet.

Was passiert, wenn KI die Antwort Ihres Arztes schreibt?

Lassen Sie mich das Bild zeichnen, warum diese Technologie überhaupt existiert, denn der Bedarf ist real und dringend.

Hausärzte in den Vereinigten Staaten verbringen durchschnittlich 10 Stunden pro Monat allein damit, auf Nachrichten im Patientenportal zu antworten. Das ist übrigens unbezahlte Arbeit — historisch nicht abrechenbar. Es ist einer der Haupttreiber der Burnout-Krise, die Ärzte gänzlich aus der Medizin drängt.

Als also KI-Tools aufkamen, die einfühlsame, detaillierte, grammatikalisch geschliffene Antworten auf Patientenfragen entwerfen konnten — Antworten, die in der wahrgenommenen Qualität oft höher bewertet wurden als das, was überarbeitete Ärzte um 23 Uhr schrieben —, verlief die Einführung rasant. Epics MyChart integrierte die KI-Entwurfsfunktion. Start-ups sammelten Hunderte von Millionen ein. Gesundheitssysteme feierten die Effizienzgewinne.

Und ich verstehe das. Wirklich, das tue ich. Das Burnout-Problem ist für mich nichts Abstraktes. Ich habe Ärzten gegenübergesessen, die ihren Posteingang als zweiten Vollzeitjob beschrieben — einen, der sie die Patienten hassen ließ, denen zu helfen sie einst in die Medizin gegangen waren.

Doch Effizienz ohne Genauigkeit ist im Gesundheitswesen keine Innovation. Sie ist Fahrlässigkeit, die auf einen Kläger wartet.

Die Lancet-Studie, die ein Feueralarm hätte sein müssen

Die Studie vom April 2024 war kein kleines Pilotprojekt und kein Meinungsbeitrag. Sie war eine Querschnittssimulation, in der praktizierende Kliniker KI-generierte Entwürfe in einer realistischen EHR-Umgebung prüften. Die Forscher säten absichtlich Fehler in einige Entwürfe ein — die Art von Fehlern, die LLMs tatsächlich produzieren — und beobachteten dann, was geschah.

Was geschah, war vernichtend.

90 % der prüfenden Ärzte gaben an, der Leistung des KI-Tools zu vertrauen. Sie stellten fest, dass es ihre kognitive Arbeitslast reduzierte — 80 % stimmten diesem Punkt zu. Die Entwürfe waren flüssig, einfühlsam, gut strukturiert. Sie fühlten sich richtig an.

Aber nur ein Arzt von zwanzig erkannte alle vier absichtlich fehlerhaften Entwürfe. Einer. Und zwischen 35 % und 45 % der fehlerhaften Entwürfe wurden an Patienten übermittelt — völlig unbearbeitet.

Wenn sich ein KI-Entwurf besser liest als das, was ein müder Arzt am Ende einer 12-Stunden-Schicht schreiben würde, ist der Instinkt nicht, ihn genau zu prüfen. Er ist, auf Senden zu klicken.

Dieses Phänomen hat einen Namen: Automation Bias — die gut dokumentierte Tendenz von Menschen, sich zu sehr auf automatisierte Vorschläge zu verlassen und sie weniger kritisch zu hinterfragen, als sie es bei eigener Arbeit oder der eines Kollegen täten. Die Lancet-Forscher fanden heraus, dass die Korrelation statistisch signifikant war (p < 0,001): Je besser ein KI-Entwurf oberflächlich erschien, desto wahrscheinlicher übersah ein Arzt einen darin vergrabenen klinischen Fehler.

Die Fehler waren keine Tippfehler. Sie waren Versagen des klinischen Denkens. Die KI erfand medizinische Informationen. Sie verwies auf veraltete Protokolle. In dem als Todesrisiko markierten Fall versäumte sie es, einem Patienten mit einem lebensbedrohlichen Symptom zu sagen, in die Notaufnahme zu gehen — und generierte stattdessen eine ruhige, beruhigende, fatal falsche nicht dringliche Antwort.

Ich komme immer wieder auf diesen konkreten Fall zurück. Die Nachricht las sich vermutlich wunderbar. Warm. Einfühlsam. Detailliert. Und hätte ein Patient ihrem Rat gefolgt, wäre er womöglich zu Hause gestorben, während er auf einen Montagstermin wartete.

Warum versagt der "Doctor-in-the-Loop" immer wieder?

Ich hatte darüber eine Auseinandersetzung mit einem Kollegen, der klinische KI-Tools baut. Sein Standpunkt war unmissverständlich: "Der Arzt prüft alles. Das ist das Sicherheitsnetz."

Ich stellte ihm eine Frage: "Wenn du einem Arzt einen Stapel von 50 Nachrichten gäbst, von denen 48 vollkommen in Ordnung sind, und ihm sagtest, KI habe sie alle geschrieben — wie sorgfältig, glaubst du, würde er Nachricht Nummer 37 lesen?"

Er hielt inne.

Das ist das Kernproblem. Das Human-in-the-Loop-Modell setzt voraus, dass menschliche Aufmerksamkeit konstant ist, dass Ermüdung die Wachsamkeit nicht mindert und dass die Qualität der KI-Prosa die Gründlichkeit der Prüfung nicht beeinflusst. Jede einzelne dieser Annahmen ist falsch, und die Lancet-Daten beweisen es.

Der "Human-in-the-Loop" ist kein Sicherheitsmechanismus, wenn der Mensch psychologisch darauf geprägt wurde, der Maschine zu vertrauen.

Es gibt auch ein tiefer liegendes architektonisches Problem. Standard-LLMs sind autoregressiv — sie sagen das nächste Wort auf Basis statistischer Wahrscheinlichkeit voraus, nicht auf Basis strukturierten medizinischen Denkens. Sie "verstehen" nicht, dass ein Symptom dringlich ist. Sie "wissen" nicht, dass eine Leitlinie letzten Monat aktualisiert wurde. Sie erzeugen Text, der klingt wie der eines sachkundigen Klinikers, weil sie an Millionen von Beispielen sachkundiger Kliniker trainiert wurden, die schreiben. Doch richtig zu klingen und richtig zu sein sind in der Medizin gefährlich unterschiedliche Dinge.

Ich habe über diese architektonische Lücke ausführlich geschrieben, in der interaktiven Fassung unserer Forschung, aber die Kurzfassung lautet: Ein LLM hat kein Modell des Patienten. Es hat ein Modell der Sprache. Und das ist nicht dasselbe.

Kalifornien hat das gerade zu jedermanns Problem gemacht

Während die Forschungsgemeinschaft Alarm schlug, arbeitete Kaliforniens Gesetzgeber an einem Gesetz. Assembly Bill 3030, im September 2024 unterzeichnet, tritt am 1. Januar 2025 in Kraft. Es verpflichtet jede Gesundheitseinrichtung, Klinik und Arztpraxis in Kalifornien, Patienten immer dann zu benachrichtigen, wenn generative KI zur Kommunikation klinischer Informationen eingesetzt wird.

Schriftliche Nachrichten benötigen einen Hinweis am Anfang. Audio-Nachrichten benötigen eine mündliche Offenlegung zu Beginn und am Ende. Video- und Chat-Kommunikation benötigen durchgehend angezeigte Hinweise.

Und hier wird es interessant — und hier missdeuten die meisten Gesundheitssysteme meiner Meinung nach das Gesetz.

AB 3030 enthält eine Ausnahme: Wenn ein zugelassener Leistungserbringer die KI-generierte Kommunikation "gelesen und geprüft" hat, gelten die Offenlegungspflichten nicht. Auf dem Papier sieht das aus wie ein Freifahrtschein. Halte den Arzt im Loop, überspringe den Hinweis, wahre die Illusion, dass jede Nachricht persönlich verfasst wurde.

Doch koppelt man diese Ausnahme mit den Lancet-Daten — 66 % der Fehler übersehen, 35–45 % der gefährlichen Entwürfe unbearbeitet versendet —, dann hat man eine juristische Zeitbombe. Ein Gesundheitssystem, das behauptet, seine Ärzte hätten KI-Entwürfe "gelesen und geprüft", während diese Ärzte nachweislich zwei Drittel der Fehler übersehen, ist nicht rechtskonform. Es ist exponiert.

Ich sagte dem CTO in jenem Telefonat: "Die Ausnahme ist kein Schutzschild. Sie ist ein Haftungsbeschleuniger — es sei denn, die Technologie hilft dem Prüfer aktiv dabei, das zu erkennen, was sein Gehirn zu übersehen veranlagt ist."

Was stimmt eigentlich nicht am "LLM-Wrapper"-Ansatz?

Die meisten KI-Gesundheits-Start-ups bauen derzeit das, was ich Wrapper nenne — dünne Softwareschichten, die Patientendaten an eine kommerzielle LLM-API weiterleiten und die Antwort mit etwas Formatierung zurückgeben. Sie sind schnell gebaut, leicht vorzuführen und für den klinischen Einsatz grundlegend unzureichend.

Drei Probleme machen Wrapper gefährlich:

Wissens-Stichtage sind unsichtbare Killer. Öffentliche LLMs werden auf statischen Datensätzen trainiert. Sie wissen nichts von der Leitlinie, die sich letztes Quartal geändert hat, der Arzneimittelwechselwirkung, die letzten Monat gemeldet wurde, oder den Laborergebnissen des Patienten von heute Morgen. Ein Wrapper, der keine klinischen Echtzeitdaten integriert, erzeugt Antworten in einem Vakuum — einem Vakuum, dessen Existenz dem den Entwurf prüfenden Arzt womöglich gar nicht bewusst ist.

Token-Vorhersage ist kein klinisches Denken. Wenn GPT-4 schreibt "Sie sollten Ihre aktuelle Medikation fortsetzen", bewertet es nicht Ihre Nierenfunktion, Ihre Arzneimittelwechselwirkungen oder Ihre neuesten Blutwerte. Es sagt vorher, welche Wörter statistisch wahrscheinlich auf die vorherigen folgen. In der Radiologie, der Onkologie, in jedem Bereich, der eine differenzierte diagnostische Interpretation erfordert, ist diese Lücke zwischen sprachlicher Gewandtheit und medizinischer Genauigkeit der Ort, an dem Patienten zu Schaden kommen.

Sicherheit ist ein nachträglicher Einfall. Viele universelle LLM-Schnittstellen sind nicht von Haus aus HIPAA-konform. Ohne rigorose Datenmaskierung und einen ordnungsgemäßen Business Associate Agreement ist jede über eine kommerzielle API geleitete Patientennachricht ein potenzieller Datenschutzverstoß. Und Prompt-Injection-Angriffe — bei denen bösartige Eingaben das Modell dazu bringen, internen Kontext oder Patientendaten preiszugeben — bleiben in Wrapper-Architekturen eine weitgehend ungelöste Schwachstelle.

Wie baut man KI, die für Patienten wirklich sicher ist?

Hier wechsle ich vom Kritiker zum Erbauer, denn Kritik ohne Alternativen ist nur Lärm.

Bei Veriprajna entwickeln wir seit einiger Zeit das, was ich mir als fundierte KI vorstelle — Systeme, in denen das Sprachmodell niemals die alleinige Quelle der Wahrheit ist. Es ist stets an verifiziertes klinisches Wissen gebunden und stets transparent darüber, woher seine Antworten stammen.

Die Retrieval-Schicht verändert alles

Retrieval-Augmented Generation (RAG) ist das Fundament. Bevor die KI auch nur ein einziges Wort einer Patientenantwort erzeugt, ruft sie zunächst relevante Dokumente aus einem verifizierten Korpus ab: die klinischen Notizen des Patienten, aktuelle institutionelle Leitlinien, begutachtete Fachliteratur. Das Modell konditioniert seine Antwort dann auf diesen abgerufenen Kontext, nicht bloß auf seine Trainingsdaten.

Das ist keine kleine Anpassung. Es ist eine grundlegend andere Architektur. Ein RAG-basiertes System kann seine Quellen zitieren — "Basierend auf Ihren Laborergebnissen vom 12. März und den aktuellen ACC/AHA-Leitlinien..." —, was die ärztliche Prüfung von "Klingt das richtig?" in "Ist die Quelle korrekt?" verwandelt. Die zweite Frage lässt sich dramatisch leichter beantworten, selbst um 23 Uhr an einem Donnerstag.

Knowledge Graphs geben KI etwas, das Wrapper niemals können: Beziehungen

Die nächste Schicht sind medizinische Knowledge Graphs — strukturierte Netzwerke, die klinisches Wissen nicht als Text, sondern als miteinander verbundene Konzepte darstellen. Ein Knowledge Graph weiß nicht nur, dass Metformin ein Diabetes-Medikament ist. Er kennt Metformins Wirkmechanismus, seine Kontraindikationen bei Nierenfunktionsstörungen, seine Wechselwirkungen mit Kontrastmittel und den spezifischen eGFR-Schwellenwert, unterhalb dessen es abgesetzt werden sollte.

Systeme wie MediGRAF nutzen Graphdatenbanken wie Neo4j, um präzise strukturierte Abfragen mit narrativem Retrieval zu kombinieren, und erreichen dabei 100 % Recall bei faktischen klinischen Abfragen, während sie die Sicherheitsstandards für komplexe Inferenz wahren. Als ich diese Recall-Zahlen zum ersten Mal sah, war ich skeptisch — also unterzogen wir den Ansatz einem Stresstest anhand von Grenzfällen, an denen jedes wrapperbasierte System, das wir evaluiert hatten, gescheitert war. Der Graph hielt stand.

Für die vollständige technische Aufschlüsselung dieser architektonischen Ansätze — RAG-Pipelines, Knowledge-Graph-Integration, Modellierung auf Konzeptebene — siehe unser detailliertes Forschungspapier.

Das Testproblem, über das niemand sprechen will

Ich erinnere mich an eine Demo eines KI-Start-ups aus dem Gesundheitsbereich — poliert, beeindruckend, die Art von Sache, die Investoren zum Scheckbuch greifen lässt. Die KI entwarf eine Patientennachricht über den Umgang mit einer neuen Diabetes-Diagnose. Sie war warm, gründlich, handlungsleitend.

Ich fragte: "Was passiert, wenn ich dem System sage, dass ich gegen das Medikament allergisch bin, das es gerade empfohlen hat?"

Der Gründer hielt inne. "Der Arzt würde das auffangen."

Da war es wieder. Das Gebet.

Sichere klinische KI zu bauen erfordert adversariales Testen — nicht als nachträglichen Einfall, sondern als kontinuierlichen, automatisierten Prozess. Bei Veriprajna nutzen wir Frameworks wie Med-HALT (Medical Domain Hallucination Test), das speziell entwickelt wurde, um Halluzinationen von Gesundheits-KI zu identifizieren — durch Techniken wie den False Confidence Test, bei dem das Modell herausgefordert wird, eine zufällig vorgeschlagene falsche Antwort zu bewerten, und den Fake Questions Test, der ermittelt, ob das Modell erfundene medizinische Anfragen erkennen kann.

Wir betreiben außerdem automatisiertes Red Teaming — simulierte Angriffe, die auf Prompt-Injection-Schwachstellen abklopfen, auf Versuche, Patientendaten durch indirektes Nachfragen zu extrahieren, und auf Jailbreak-Muster, die versuchen, klinische Guardrails zu umgehen. Jeden Tag. Nicht vierteljährlich. Nicht vor einem Release. Jeden Tag.

Wenn Ihr KI-System diese Woche nicht von einem Red Team angegriffen wurde, dann wissen Sie nicht, ob es sicher ist. Sie wissen, dass es beim letzten Mal, als Sie geprüft haben, sicher war.

Ein Befund aus jüngerer Forschung, der mich verfolgt: "Medizinisch spezialisierte" Modelle wie MedGemma erreichten bei bestimmten Benchmarks nur 28–61 % Genauigkeit, während breitere Reasoning-Modelle sie übertrafen. Die Implikation ist kontraintuitiv, aber wichtig — Sicherheit in klinischer KI entsteht aus ausgefeilten Reasoning-Fähigkeiten, nicht bloß aus domänenspezifischem Fine-Tuning. Einem Modell ein medizinisches Etikett aufzukleben macht es nicht medizinisch sicher.

Die Haftungslandschaft verschiebt sich unter aller Füßen

Hier ist ein Gespräch, das ich im vergangenen Jahr mit drei verschiedenen Klinik-Chefsyndizi geführt habe, und es verläuft jedes Mal ungefähr gleich.

Ich: "Wenn Ihre KI eine Nachricht entwirft, die einem Patienten schadet, und der prüfende Arzt den Fehler übersehen hat — wer haftet?"

Sie: "Der Arzt. Er hat sie geprüft und freigegeben."

Ich: "Und wenn der Anwalt des Klägers nachweist, dass Ihr System so gestaltet war, dass es den Arzt psychologisch darauf prägte, Fehler zu übersehen — dass die Gewandtheit der KI ein falsches Sicherheitsgefühl erzeugte —, ändert das Ihre Einschätzung?"

Schweigen.

Der Standard of Care in der Medizin entwickelt sich weiter, um KI Rechnung zu tragen. Gerichte beginnen zu erkennen, dass das Versäumnis, ein validiertes KI-Tool zu nutzen, das einen Fehler hätte verhindern können, eine Sorgfaltspflichtverletzung darstellen könnte. Doch auch das Gegenteil zeichnet sich ab: die Nutzung eines nicht validierten KI-Tools oder die Nutzung eines validierten Tools auf eine Weise, die die menschliche Aufsicht untergräbt, schafft ihre eigene Haftung.

Modelldrift verschärft dies. KI-Systeme verschlechtern sich mit der Zeit, während sie auf neuen Daten neu trainiert werden. Das Modell, das vor sechs Monaten Ihre Sicherheitsbewertung bestand, ist möglicherweise nicht das Modell, das heute Patientennachrichten generiert. Ohne versionskontrollierte Audit-Logs, die genau zeigen, welches Modell welche Ausgabe erzeugt hat und welchen Denkschritten es folgte, hat ein Gesundheitssystem vor Gericht keine haltbare Position.

Einige neuere Berufshaftpflicht-Versicherungsprodukte beginnen, KI-bezogene Ansprüche abzudecken, aber sie haben typischerweise niedrige Deckungssummen und verlangen einen dokumentierten Nachweis menschlicher Aufsicht — eben jene Aufsicht, die die Lancet-Studie als unzuverlässig erwiesen hat.

"Aber Patienten mögen die KI-Nachrichten lieber"

Damit widersprechen mir Leute, und ich möchte darauf ehrlich eingehen, denn die Daten sind real. Studien haben gezeigt, dass Patienten KI-entworfene Nachrichten in Empathie und Detailgrad höher bewerten als von Ärzten geschriebene. Das ist nicht nichts. In einem Gesundheitssystem, in dem sich Patienten ungehört fühlen, hat eine KI, die sich die Zeit nimmt zu erklären, anzuerkennen, zu beruhigen, einen echten Wert.

Doch hier ist, was die Forschung ebenfalls zeigt: Die Patientenzufriedenheitsbewertungen sinken, wenn Patienten erfahren, dass KI beteiligt war. Es ist ein umgekehrter Automation Bias am Werk — Patienten schätzen die Überzeugung, dass ihr Arzt persönlich in ihre Versorgung eingebunden ist. Die klinische Beziehung ist ihnen wichtig, und sie merken, wenn sie vermittelt wurde, selbst wenn die Vermittlung eine "bessere" Nachricht hervorgebracht hat.

Das sagt mir etwas Wichtiges darüber, wo KI in diesem Arbeitsablauf hingehört. Sie sollte nicht als Ghostwriter für den Arzt fungieren. Sie sollte die strukturierte, abrufbare, verifizierbare Arbeit leisten — Laborergebnisse abrufen, Leitlinien prüfen, Wechselwirkungen markieren —, damit der Arzt die Kapazität hat, dem Patienten, der eine braucht, eine wirklich persönliche Antwort zu schreiben.

Das Ziel klinischer KI ist nicht, die Stimme des Arztes zu ersetzen. Es ist, dem Arzt die Zeit zurückzugeben, sie zu nutzen.

Wohin das von hier aus führt

Ich werde nicht mit einem abgesicherten "Die Zeit wird es zeigen" enden oder mit einer weichen Werbebotschaft für mein Unternehmen. Ich werde Ihnen sagen, was ich glaube.

Die aktuelle Generation von KI-Tools für Patientennachrichten wird Schaden anrichten. Nicht könnte — wird. Die Rechnung ist unkompliziert: 7,1 % Rate schweren Schadens in KI-Entwürfen, 66 % Übersehensrate durch prüfende Ärzte, skaliert über Millionen von Patientenportal-Nachrichten pro Monat im gesamten US-Gesundheitssystem. Die Vorfälle werden sich häufen. Die Klagen werden folgen. Und die regulatorische Reaktion wird unnachgiebig und strafend ausfallen, denn der Beweis, dass dies vorhersehbar war, ist bereits veröffentlicht in The Lancet.

Die Gesundheitssysteme, die dem entgehen, sind nicht die, die sich langsam bewegen. Es sind die, die sich anders bewegen. Das bedeutet RAG-Architekturen, fundiert in verifiziertem medizinischem Wissen. Knowledge Graphs, die KI strukturiertes klinisches Denken geben statt statistischer Wortvorhersage. Adversariales Testen, das kontinuierlich läuft, nicht zeremoniell. Und Prüfoberflächen, die darauf ausgelegt sind, dem Automation Bias entgegenzuwirken, nicht ihn auszunutzen.

Wir haben Veriprajna gebaut, um diese Arbeit zu leisten — nicht, weil wir eine Marktchance sahen, sondern weil ich zusah, wie kluge, wohlmeinende Menschen Systeme einsetzten, die Patienten schaden konnten, und die Kluft zwischen dem, was sie bauten, und dem, was die Evidenz verlangte, war nicht zu verantworten.

Die erste Regel der Medizin lautet primum non nocere — zuerst: keinen Schaden anrichten. Wir haben die letzten zwei Jahre damit verbracht, KI zu bauen, die diese Regel als eine technische Randbedingung begreift, nicht als Marketingslogan. Die Technologie, um dies richtig zu machen, existiert. Die Forschung, die beweist, dass der aktuelle Ansatz gefährlich ist, existiert. Die einzige verbleibende Frage ist, ob die Branche auf die Evidenz reagiert, bevor die Evidenz auf die Branche reagiert.