Der klinische Imperativ für fundierte KI: Jenseits des LLM-Wrappers in der Gesundheitskommunikation

Die Gesundheitsbranche steht an einem prekären Scheideweg, an dem der dringende Bedarf, den Burnout von Klinikerinnen und Klinikern zu mindern, mit dem raschen, oft ungeprüften Einsatz generativer künstlicher Intelligenz kollidiert ist. Die administrative Belastung niedergelassener Hausärztinnen und Hausärzte (PCPs) hat eine kritische Schwelle erreicht: Manche Klinikerinnen und Kliniker verbringen monatlich durchschnittlich 10 Stunden allein mit Nachrichten im Patientenportal — Arbeit, die historisch nicht abrechenbar war und ein zentraler Treiber beruflicher Erschöpfung ist.¹ Als Reaktion wurde die Integration von Large Language Models (LLMs) zur Automatisierung der Patientenkommunikation als revolutionärer Effizienzgewinn gefeiert. Eine bahnbrechende querschnittliche Simulationsstudie, die im April 2024 in The Lancet Digital Health veröffentlicht wurde — durchgeführt von Forschenden der Harvard Medical School, der Yale School of Medicine und der University of Wisconsin — hat jedoch systemische Schwachstellen dieses Ansatzes offengelegt.¹ Die Studie zeigte, dass generative KI die wahrgenommene kognitive Belastung zwar deutlich reduziert, zugleich aber schwere Risiken für die Patientensicherheit einführt, die bestehenden „Human-in-the-Loop“-Schutzmechanismen häufig nicht erkennen.³

Dieses von Veriprajna erstellte Whitepaper argumentiert, dass die gegenwärtige branchenweite Abhängigkeit von „LLM-Wrappern“ — Anwendungen, die Nutzerdaten im Wesentlichen an ein Allzweckmodell mit minimaler klinischer Fundierung weiterreichen — für die hochkritische Umgebung der klinischen Versorgung nicht ausreicht. Während der California Assembly Bill 3030 (AB 3030) ab Januar 2025 eine KI-Offenlegungspflicht für Patientenkommunikation vorschreibt, muss die Ära experimenteller Automatisierung einer tiefgreifenden, evidenzbasierten KI-Technik weichen.⁶ Echte klinische Sicherheit erfordert einen architektonischen Wandel hin zu Retrieval-Augmented Generation (RAG), medizinischen Wissensgraphen und rigorosem adversariellem Red Teaming.

Die forensische Evidenz: Analyse der Lancet-Befunde vom April 2024

Die Lancet-Studie gehört zu den bislang rigorosesten Evaluationen generativer KI in einer simulierten klinischen Umgebung. Die Forschenden bewerteten die Leistung von GPT-4 beim Entwerfen von Antworten auf 156 Patientenportal-Nachrichten innerhalb einer simulierten Plattform für elektronische Patientenakten (EHR).¹ Die Ergebnisse erzählen eine doppelte Geschichte: enormes Produktivitätspotenzial einerseits und katastrophales Risiko andererseits.

Statistische Aufschlüsselung von KI-Schäden und ärztlicher Aufsicht

Die quantitativen Befunde der Studie zeigen, dass LLMs ohne tiefe klinische Fundierung hochgradig überzeugende, zugleich medizinisch gefährliche Inhalte erzeugen können. Von den 156 KI-generierten Entwürfen wurden 7,1 % als Risiko schwerer Schädigung für die Patientin oder den Patienten eingestuft.¹ Am alarmierendsten: 0,6 % der Antworten — konkret ein Fall in der Simulation — stellten ein direktes Todesrisiko dar.¹ Diese schädlichen Ausgaben entstanden typischerweise dadurch, dass das Modell klinische Dringlichkeit nicht erkannte oder veraltete und falsche medizinische Ratschläge gab.³

Metrik der KI-Leistung und des Risikos	Statistischer Wert	Quelle
Risiko schwerer Schädigung (unbearbeitete KI-Entwürfe)	7.1%	4
Direktes Todesrisiko (unbearbeitete KI-Entwürfe)	0.6%	4
Ärztliche Zustimmung: KI reduzierte die kognitive Belastung	80%	3
Ärztliches Vertrauen in die Leistung des KI-Tools	90%	3
Durchschnittlich von Ärztinnen und Ärzten übersehene fehlerhafte Entwürfe	66.6%	3
Fehlerhafte Entwürfe vollständig unbearbeitet übermittelt	35% – 45%	3
Wahrscheinlichkeit, dass ein fehlerhafter Entwurf übersehen wird (p-Wert)	< 0.001	3

Die klinische Bedeutung dieser Zahlen wird noch größer, wenn man sie der Leistung der prüfenden Ärztinnen und Ärzte gegenüberstellt. Die Studie setzte 20 praktizierende PCPs zur Prüfung der KI-generierten Antworten ein. Trotz ihrer Expertise übersahen diese Klinikerinnen und Kliniker durchschnittlich 2,67 von 4 absichtlich fehlerhaften Entwürfen.³ Nur eine einzige Person von zwanzig konnte alle vier fehlerhaften Nachrichten identifizieren und ausreichend adressieren.³ Diese Diskrepanz verdeutlicht eine grundlegende psychologische Schwachstelle des „Doctor-in-the-Loop“-Modells: den Automationsbias.

Der Mechanismus des Versagens: Automationsbias und Halluzination

Automationsbias entsteht, wenn menschliche Operatorinnen und Operatoren automatisierten Vorschlägen zu stark vertrauen und dabei oft nicht dieselbe kritische Prüfung anwenden, die sie bei der eigenen Arbeit oder der eines menschlichen Kollegen ausüben würden.⁵ In der Lancet-Simulation erzeugten die hohe sprachliche Qualität und der empathische Ton der GPT-4-Entwürfe ein falsches Sicherheitsgefühl.¹ Die Ärztinnen und Ärzte berichteten von einem Vertrauensniveau von 90 % in die Leistung des Tools — selbst während sie kritische Fehler übersahen.³

Die Fehler selbst waren keine bloßen Tippfehler, sondern substanzielle Fehlschläge klinischen Denkens. Zu diesen „Halluzinationen“ gehörten die Erfindung medizinischer Informationen, die Verwendung veralteter Protokolle und — am kritischsten — das Versäumnis, die „Akuität“ der Patientensituation zu bewerten.³ Beispielsweise trat der als „Todesrisiko“ eingestufte Fall ein, weil die KI die Patientin oder den Patienten nicht anwies, bei einem lebensbedrohlichen Symptom sofortige Notfallversorgung zu suchen, sondern eine standardmäßige, nicht dringliche Antwort gab.¹

Regulatorische Entwicklung: California AB 3030 und das Transparenzmandat

Während die technischen Risiken generativer KI quantifizierbar werden, beginnen Gesetzgebungsorgane, Rahmenwerke zum Patientenschutz zu erlassen. Californias AB 3030, im September 2024 in Kraft gesetzt, markiert einen bedeutenden Wandel hin zu verpflichtender Transparenz bei KI im Gesundheitswesen.⁷

Compliance-Anforderungen für 2025

Ab dem 1. Januar 2025 verpflichtet AB 3030 alle Gesundheitseinrichtungen, Kliniken und Arztpraxen, Patientinnen und Patienten zu benachrichtigen, wann immer generative KI zur Übermittlung von „klinischen Patienteninformationen“ eingesetzt wird.⁶ Dazu gehört jede Information zum Gesundheitszustand einer Patientin oder eines Patienten; administrative Aufgaben wie Terminplanung oder Abrechnung sind ausgenommen.⁶

Kommunikationsmedium	Benachrichtigungsstandard gemäß AB 3030	Quelle
Schriftlich (Briefe, E-Mails)	Disclaimer prominent am Beginn jeder Kommunikation angezeigt	6
Online (Chat-basiert, Telehealth)	Disclaimer prominent während der gesamten Interaktion angezeigt	6
Audio (Voicemails, Anrufe)	Mündlicher Disclaimer sowohl am Anfang als auch am Ende	6
Videokommunikation	Disclaimer prominent während der gesamten Interaktion angezeigt	6

Über die bloße Offenlegung hinaus verpflichtet das Gesetz dazu, Patientinnen und Patienten klare Anweisungen zu geben, wie sie eine menschliche Gesundheitsfachkraft oder geeignetes Personal kontaktieren können.⁷ Die Nichteinhaltung dieser Bestimmungen setzt Gesundheitseinrichtungen Bußgeldern und Zulassungsmaßnahmen aus; einzelne Ärztinnen und Ärzte können disziplinarische Maßnahmen gegen ihre Approbation drohen.⁹

Die „Human-in-the-Loop“-Ausnahme und ihre Implikationen

Eine kritische Klausel in AB 3030 besagt, dass die Anforderungen an Disclaimer und Anweisungen nicht gelten, wenn die KI-generierte Kommunikation von einer lizenzierten oder zertifizierten menschlichen Gesundheitsfachkraft „gelesen und geprüft“ wird.⁶ Oberflächlich betrachtet eröffnet dies Gesundheitssystemen einen Weg, KI-Entwurfswerkzeuge weiter zu nutzen, ohne deren Einsatz gegenüber Patientinnen und Patienten offenzulegen.

Die Lancet-Studie liefert jedoch einen vernichtenden Gegenpunkt zu dieser Ausnahme: Wenn Klinikerinnen und Kliniker aufgrund von Automationsbias 66 % der Fehler übersehen, kann der Standard „gelesen und geprüft“ ein falsches Compliance-Gefühl erzeugen und zugleich ein hohes klinisches Risiko aufrechterhalten.¹ Veriprajna vertritt die Position, dass der rechtliche und ethische „Safe Harbor“ der menschlichen Prüfung nur dann gültig ist, wenn diese Prüfung durch Technologie gestützt wird, die passive Akzeptanz aktiv erschwert und der prüfenden Person den nötigen Kontext liefert, um Halluzinationen zu erkennen.

Die Grenzen des „LLM-Wrapper“-Modells

Der vorherrschende Ansatz heutiger KI-Startups im Gesundheitswesen ist der Einsatz von „Wrappern“ — dünnen Softwareschichten, die Interaktionen zwischen einem EHR-System und einer kommerziellen LLM-API (etwa OpenAIs GPT-4 oder Googles Gemini) vermitteln. Diese Wrapper lassen sich zwar schnell entwickeln, erben jedoch mehrere grundlegende Schwächen, die sie für die klinische Entscheidungsunterstützung ungeeignet machen.

Die Lücke der autoregressiven Argumentation

Standard-LLMs sind autoregressiv; sie sagen das nächste Token (Wort oder Teilwort) auf Basis statistischer Wahrscheinlichkeit voraus, nicht auf Basis eines strukturierten Verständnisses der medizinischen Wissenschaft.⁸ Diese „Token-Level-Vorhersage“ entbehrt der für die Medizin erforderlichen „Konzept-Level-Argumentation“.¹³ In spezialisierten Domänen wie Radiologie oder Onkologie gelingt es LLMs oft nicht, die langreichweitigen Abhängigkeiten und komplexen semantischen Beziehungen zu erfassen, die für eine nuancierte diagnostische Interpretation unerlässlich sind.¹³

Wissens-Cutoffs und kontextuelle Blindheit

Öffentliche LLM-Versionen werden auf statischen Datensätzen mit festen Wissens-Cutoffs trainiert und können daher ohne externe Datenintegration weder die neuesten klinischen Leitlinien noch die aktuellsten Laborwerte einer Patientin oder eines Patienten referenzieren.¹⁴ Darüber hinaus fehlt einem wrapperbasierten System oft die Fähigkeit, multimodale Daten — etwa Röntgenbilder, Wellenformen (ECGs) oder genomische Profile — zu integrieren, was zu „generalistischen“ Antworten führt, denen die für komplexe medizinische Situationen erforderliche kritische Detailtiefe fehlt.¹⁵

Sicherheit und HIPAA-Compliance

Viele Allzweck-LLM-Schnittstellen sind nicht von Hause aus HIPAA-konform; ihre Nutzung mit Patientendaten ohne spezifisches Business Associate Agreement (BAA) und rigorose Datenmaskierungsprotokolle erzeugt schwere Privatsphärerisiken.¹⁵ Wrapper-Entwicklerinnen und -Entwickler übersehen häufig die Tiefe von „Data-Poisoning“- oder „Prompt-Injection“-Schwachstellen, bei denen adversarielle Eingaben das Modell dazu bringen könnten, sensiblen internen Kontext oder Patientendaten preiszugeben.¹⁶

Architektonische Lösungen für Deep AI: Das Veriprajna-Framework

Um das Wrapper-Modell zu überwinden, müssen KI-Lösungen von Grund auf mit klinischer Sicherheit als primärer architektonischer Randbedingung gebaut werden. Das bedeutet den Übergang von rein probabilistischen Modellen zu fundierten Hybridsystemen.

Retrieval-Augmented Generation (RAG) im Gesundheitswesen

Retrieval-Augmented Generation (RAG) mildert das Halluzinationsproblem, indem dem Modell vor der Antwortgenerierung eine „Quelle der Wahrheit“ zur Referenz bereitgestellt wird.¹⁴ In einem RAG-basierten System ruft die KI zunächst relevante Dokumente aus einem verifizierten Korpus ab — etwa klinische Notizen der Patientin oder des Patienten, peer-reviewte medizinische Fachzeitschriften und institutionelle Leitlinien — und konditioniert ihre Antwort anschließend auf diese abgerufenen Informationen.²⁰

RAG-Komponente	Funktion für die klinische Sicherheit	Vorteil gegenüber einem eigenständigen LLM
Sparse Retriever (BM25)	Exakter Keyword-Match für spezifische Medikamente oder Codes	Hohe Präzision bei objektiven Daten
Dense Retriever (neural)	Semantisches Matching für komplexe Symptome und Synonyme	Erfasst die medizinische Intention jenseits des Texts
RAG-Prompting	Beschränkt das LLM darauf, „nur den bereitgestellten Kontext zu nutzen“	Deutliche Reduktion von Halluzinationen
Verifizierte Zitation	Verknüpft jede KI-Aussage zurück zu einem Quelldokument	Verbessert klinische Prüfung und Vertrauen

Medizinische Wissensgraphen und Neo4j-Integration

Der anspruchsvollste Ansatz klinischer Fundierung nutzt medizinische Wissensgraphen (Knowledge Graphs, KGs). Diese Graphen repräsentieren klinisches Wissen nicht als Textketten, sondern als Netzwerke miteinander verknüpfter Konzepte.²¹ Ein KG kann beispielsweise die Beziehung zwischen einem bestimmten Wirkstoff, seinem Wirkmechanismus, seinen Kontraindikationen und der typischen Dosierung für eine Patientin oder einen Patienten mit Niereninsuffizienz explizit modellieren.

Systeme wie MediGRAF (Medical Graph Retrieval Augmented Framework) nutzen Neo4j, um Text2Cypher-Fähigkeiten — die Übersetzung natürlicher Sprache in präzise Graphabfragen — mit Vektorembeddings für narratives Retrieval zu kombinieren.²² So kann die KI die „vollständige Patientenreise“ durchlaufen, faktische Abfrageergebnisse mit 100 % Recall identifizieren und zugleich hohe Sicherheitsstandards für komplexe Inferenzen wahren.²²

Konzept-Level-Modellierung (LCM) vs. Token-Level-Vorhersage

Zukunftsfähige klinische KI muss sich Large Concept Models (LCMs) zuwenden. Im Gegensatz zu LLMs, die Tokens verarbeiten, operieren LCMs auf der Ebene von Ideen und hierarchischem Reasoning.¹³

Merkmal	Large Language Models (LLM)	Large Concept Models (LCM)
Abstraktionsebene	Token-Level-Vorhersage (Wort für Wort)	Konzept-Level-Vorhersage (Idee für Idee)
Reasoning-Fähigkeit	Vorwiegend lokale Vorhersagen; mangelt an Logik	Explizites hierarchisches Reasoning/Planen
Repräsentation	Sprachspezifische Tokens	Sprachagnostische Satzembeddings
Klinischer Nutzen	Hohes Risiko sprachlicher Halluzinationen	Optimiert für strukturiertes Reasoning

Validierung und Sicherheitstests: Der neue Standard

Traditionelles Softwaretesten reicht für generative KI nicht aus. Lösungen auf Enterprise-Niveau erfordern einen kontinuierlichen Zyklus aus adversariellem Testing und Benchmark-Evaluation.

Med-HALT und klinische Benchmarks

Der Med-HALT (Medical Domain Hallucination Test) ist ein multinationaler Benchmark, der speziell darauf ausgelegt ist, Halluzinationen in Healthcare-LLMs zu identifizieren.²³ Er nutzt Reasoning-Halluzinationstests (RHTs) wie den False Confidence Test — bei dem das Modell eine zufällig vorgeschlagene Antwort bewerten soll — und den Fake Questions Test, der prüft, ob das Modell unsinnige oder erfundene medizinische Anfragen erkennen kann.²³

Darüber hinaus zeigt die Forschung, dass die Unterleistung „medizinisch spezialisierter“ Modelle wie MedGemma (die in manchen Tests nur 28 %–61 % Genauigkeit erreichten) im Vergleich zu breiteren Reasoning-Modellen wie Gemini-2.⁵ Pro unterstreicht, dass Sicherheit aus „anspruchsvollen Reasoning-Fähigkeiten entsteht, die während des großskaligen Pretrainings entwickelt werden,“ und nicht bloß aus domainspezifischem Fine-Tuning.²⁴

Automatisiertes Red Teaming für Sicherheit und Schutz

Red Teaming bedeutet, adversarielles Verhalten zu simulieren, um Fehlermodi vor dem Deployment zu identifizieren.¹⁹ Für das Gesundheitswesen umfasst das:

1.​ Direktes adversarielles Probing: Versuch, Systemanweisungen zu übersteuern, um unsichere medizinische Ratschläge zu erzeugen.¹⁹

2.​ Extraktion sensibler Daten: Das Modell prüfen, ob es PHI durch indirekte Fragestellungen oder Prompt Injection preisgibt.²⁶

3.​ Jailbreak-Muster: Rollenspiel oder Umformulierung nutzen, um Inhaltsbeschränkungen und klinische Guardrails zu umgehen.¹⁹

Haftung und der sich wandelnde Sorgfaltsstandard

Die Integration von KI in die klinische Praxis ist nicht nur eine technische, sondern auch eine rechtliche Herausforderung. In der medizinischen Malpractice-Litigation lautet die zentrale Frage, ob eine Ärztin oder ein Arzt dem „Standard of Care“ entsprochen hat — der Versorgung, die eine vernünftige medizinische Fachkraft unter vergleichbaren Umständen leisten würde.²⁷

Die ABCDs der KI-Fahrlässigkeit

Während KI zum „neuen Kollegen im Sprechzimmer“ wird, entwickelt sich die rechtliche Definition beruflicher Verantwortung weiter.²⁹

●​ Duty: Die Leistungserbringerin bzw. der Leistungserbringer schuldet die Pflicht, KI-Tools angemessen einzusetzen. Das Versäumnis, ein validiertes KI-Tool zu nutzen, das einen Fehler hätte verhindern können, kann bald als Pflichtverletzung gelten.²⁹

●​ Breach: Wenn ein KI-System eine Empfehlung gibt, die aufgrund von Modellopazität oder fehlerhaften Daten zu Schaden führt, kann die Ärztin oder der Arzt als pflichtverletzend gelten, wenn die Empfehlung blind übernommen wurde.³⁰

●​ Causation: Einen klaren Kausalnexus zwischen einer KI-Ausgabe und Patientenschaden herzustellen, ist wegen der „Black-Box“-Natur mancher Modelle schwierig und erfordert eine gründliche Untersuchung des Entscheidungsprozesses.³⁰

●​ Damages: Die Patientin oder der Patient muss tatsächlichen Schaden erleiden. Algorithmischer Bias, der zu verzögerter Diagnose oder ungleicher Triage führt, stellt eine erhebliche Schadensquelle dar, die Gerichte inzwischen anerkennen.³⁰

Versicherung und Model Drift

Das Phänomen von „Model Drift“ oder „Model Collapse“ — bei dem die Leistung einer KI im Zeitverlauf nachlässt, wenn sie auf eigenen oder neuen Daten nachtrainiert wird — stellt eine einzigartige Herausforderung für Malpractice-Versicherungen dar.³³ Neuere Versicherungsprodukte beginnen, Rechtsansprüche abzudecken, die durch KI-Halluzinationen und fehlerhafte Chatbots verursacht werden; typischerweise gelten jedoch niedrige Deckungslimits und der dokumentierte Nachweis menschlicher Aufsicht ist erforderlich.³³ Für Gesundheitssysteme ist die Fähigkeit, Audit-Logs vorzulegen, die die verwendete Modellversion und die konkreten Reasoning-Schritte zeigen, für die Verteidigung in Malpractice-Fällen essenziell.²⁷

Ethische Überlegungen: Mensch-KI-Kollaboration

Ethische Healthcare-KI muss Patientenautonomie und klinische Autonomie priorisieren. Das Ziel ist nicht, menschliche Interaktion zu automatisieren, sondern sie zu stärken.

Transparenz vs. Patientenzufriedenheit

Forschung zeigt, dass Patientinnen und Patienten Empathie und Detailtiefe von KI-Nachrichten schätzen, ihre Zufriedenheitsbewertungen jedoch leicht sinken, wenn sie erfahren, dass KI beteiligt war.¹ Das verdeutlicht den „umgekehrten Automationsbias“ bei Patientinnen und Patienten: Sie schätzen die klinische Beziehung und den Glauben, dass ihre Klinikerin oder ihr Kliniker persönlich in ihre Versorgung eingebunden ist.¹ Daher muss KI routinemäßige und strukturierte Aufgaben übernehmen, damit Klinikerinnen und Kliniker sich auf die nuancierte, menschliche Interaktion konzentrieren können, die Technologie nicht replizieren kann.

Bias-Mitigation und Equity

Algorithmen spiegeln die Daten wider, auf denen sie trainiert wurden — Daten, die häufig systemische Biases gegen unterrepräsentierte Gruppen enthalten.¹⁵ Veriprajna setzt sich für „EquityGuard“-Systeme ein — zweistufige Debiasing-Prozesse, die Post-hoc-Fairness-Constraints auf KI-Ausgaben anwenden, bevor diese die Klinikerin oder den Kliniker erreichen.¹⁶ So wird sichergestellt, dass Empfehlungen zum Trial-Matching oder Triage-Scores nicht durch demografische Labels verzerrt werden.

Fazit: Die strategische Roadmap von Veriprajna

Die Lancet-Studie vom April 2024 lieferte die Evidenz, und AB 3030 liefert den rechtlichen Impuls: Der gegenwärtige Kurs von KI im Gesundheitswesen ist ohne tiefgreifende, spezialisierte Technik nicht nachhaltig.³ Für Gesundheitssysteme und Softwareanbieter erfordert der Weg nach vorn den Übergang von experimentellen Pilotprogrammen zu KI-Ökosystemen auf Enterprise-Niveau.

1.​ Wrapper-Abhängigkeit beseitigen: Weg von einfachen API-Integrationen. In hybride RAG-Architekturen investieren, die LLMs in einem persistenten, validierten medizinischen Wissensgraphen fundieren.²²

2.​ Robustes Red Teaming implementieren: Sicherheit darf kein Nachgedanke sein. Automatisierte Red-Teaming-Agenten müssen das System täglich auf Halluzinationen, Datenlecks und klinische Ungenauigkeiten prüfen.¹⁹

3.​ Auf Offenlegungsmandate vorbereiten: Systeme so gestalten, dass sie sinnvolle menschliche Prüfung ermöglichen, Klinikerinnen und Klinikern die Dokumentation ihrer Validierung von KI-Entwürfen erlauben und Gesetze wie AB 3030 ohne Effizienzverlust einhalten.⁷

4.​ Klinische Fundierung vor generativem Glanz priorisieren: In der Medizin ist Genauigkeit die einzige Metrik, die zählt. Systeme müssen für Konzept-Level-Reasoning optimiert werden, nicht für Token-Level-Wahrscheinlichkeit.¹³

Indem die Gesundheitsbranche diese Prinzipien übernimmt, kann sie die transformative Kraft künstlicher Intelligenz nutzen, um die Burnout-Krise der Ärztinnen und Ärzte zu lösen und zugleich den heiligsten Grundsatz der Medizin zu wahren: Primum non nocere — Erstens nicht schaden. Veriprajna steht bereit, diesen Übergang anzuführen und jenseits des Wrappers die Deep-AI-Lösungen zu liefern, die die Zukunft des Gesundheitswesens verlangt.

Zitierte Werke

1. Patients Not Told AI Drafted Messages From Their Doctors - MHA Online, abgerufen am 6. Februar 2026, https://www.mhaonline.com/blog/ai-messages-from-doctors

2. When AI Writes Back: Ethical Considerations by Physicians on AI-Drafted Patient Message Replies - ResearchGate, abgerufen am 6. Februar 2026, https://www.researchgate.net/publication/394687833_When_AI_Writes_Back_Ethical_Considerations_by_Physicians_on_AI-Drafted_Patient_Message_Replies

3. Opportunities and risks of artificial intelligence in patient portal messaging in primary care, abgerufen am 6. Februar 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12022076/

4. Mass General Brigham research identifies pitfalls and opportunities for generative artificial intelligence in patient messaging systems | EurekAlert!, abgerufen am 6. Februar 2026, https://www.eurekalert.org/news-releases/1041892

5. Critics bristle over creating MyChart messages with AI: 4 things to know | Becker's, abgerufen am 6. Februar 2026, https://www.beckershospitalreview.com/patient-experience/critics-bristle-over-creating-mychart-messages-with-ai-4-things-to-know/

6. GenAI Notification Requirements | Medical Board of California, abgerufen am 6. Februar 2026, https://www.mbc.ca.gov/Resources/Medical-Resources/GenAI-Notification.aspx

7. California Requires Disclaimers for Health Care Providers' AI-Generated Patient Communications | ArentFox Schiff, abgerufen am 6. Februar 2026, https://www.afslaw.com/perspectives/alerts/california-requires-disclaimers-health-care-providers-ai-generated-patient

8. The Clinicians' Guide to Large Language Models: A General Perspective With a Focus on Hallucinations - Interactive Journal of Medical Research, abgerufen am 6. Februar 2026, https://www.i-jmr.org/2025/1/e59823

9. New Law Regulates Use of Generative Artificial Intelligence in Healthcare - Fenton & Keller, abgerufen am 6. Februar 2026, https://fentonkeller.com/fk-articles/new-law-regulates-use-of-generative-artificial-intelligence-in-healthcare/

10. Bill Text: CA AB3030 | 2023-2024 | Regular Session | Amended - LegiScan, abgerufen am 6. Februar 2026, https://legiscan.com/CA/text/AB3030/id/3012689

11. U.S. State AI Law Tracker – All States, abgerufen am 6. Februar 2026, https://ai-law-center.orrick.com/us-ai-law-tracker-see-all-states/

12. California Turns to the Use of AI in Healthcare | BCLP - Bryan Cave Leighton Paisner, abgerufen am 6. Februar 2026, https://www.bclplaw.com/en-US/events-insights-news/california-turns-to-the-use-of-ai-in-healthcare.html

13. Large language models and large concept models in radiology: Present challenges, future directions, and critical perspectives - PMC - PubMed Central, abgerufen am 6. Februar 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12679190/

14. Reducing Hallucinations in Large Language Models for Healthcare - Cognome, abgerufen am 6. Februar 2026, https://cognome.com/blog/reducing-hallucinations-in-large-language-models-for-healthcare

15. The dangers of using non-medical LLMs in healthcare communication - Paubox, abgerufen am 6. Februar 2026, https://www.paubox.com/blog/the-dangers-of-using-non-medical-llms-in-healthcare-communication

16. Challenges of Implementing LLMs in Clinical Practice: Perspectives - PMC, abgerufen am 6. Februar 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC12429116/

17. Risk Management: Artificial Intelligence in Clinical Practice - PMC - NIH, abgerufen am 6. Februar 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC11709444/

18. Large Language Models Are Highly Vulnerable to Adversarial Hallucination Attacks in Clinical Decision Support: A Multi-Model Assurance Analysis | medRxiv, abgerufen am 6. Februar 2026, https://www.medrxiv.org/content/10.1101/2025.03.18.25324184v1.full-text

19. How AI red teaming fixes vulnerabilities in your AI systems | Invisible Blog, abgerufen am 6. Februar 2026, https://invisibletech.ai/blog/ai-red-teaming-2026

20. Retrieval-Augmented Generation (RAG) in Healthcare: A Comprehensive Review - MDPI, abgerufen am 6. Februar 2026, https://www.mdpi.com/2673-2688/6/9/226

21. Use case: Building a medical intelligence application with augmented patient data, abgerufen am 6. Februar 2026, https://docs.aws.amazon.com/prescriptive-guidance/latest/rag-healthcare-use-cases/case-1.html

22. Unlocking Electronic Health Records: A Hybrid Graph RAG Approach to Safe Clinical AI for Patient QA - arXiv, abgerufen am 6. Februar 2026, https://arxiv.org/html/2602.00009v1

23. Med-HALT: Medical Domain Hallucination Test for Large Language Models - GitHub, abgerufen am 6. Februar 2026, https://github.com/medhalt/medhalt

24. mitmedialab/medical_hallucination: Medical Hallucination in Foundation Models and Their Impact on Healthcare (2025) - GitHub, abgerufen am 6. Februar 2026, https://github.com/mitmedialab/medical_hallucination

25. What Is AI Red Teaming? Why You Need It and How to Implement - Palo Alto Networks, abgerufen am 6. Februar 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-red-teaming

26. AI Red Teaming Agent (preview) - Microsoft Foundry, abgerufen am 6. Februar 2026, https://learn.microsoft.com/en-us/azure/ai-foundry/concepts/ai-red-teaming-agent?view=foundry-classic

27. AI in Medical Malpractice: Liability, Risk, & What Physicians Need to Know - Indigo, abgerufen am 6. Februar 2026, https://www.getindigo.com/blog/ai-in-medical-malpractice-liability-risk-guide

28. Healthcare AI 2025 - USA – California | Global Practice Guides | Chambers and Partners, abgerufen am 6. Februar 2026, https://practiceguides.chambers.com/practice-guides/healthcare-ai-2025/usa-california/trends-and-developments

29. A New Duty of Care: How AI Is Rewriting Medical Liability | Gyrus Group, abgerufen am 6. Februar 2026, https://gyrusgroup.com/news/a-new-duty-of-care-how-ai-is-rewriting-medical-liability/

30. Artificial Intelligence: The Legalities of AI in Health Care and the Day-to-Day Use of AI in the Clinical Setting - Oncology Issues, abgerufen am 6. Februar 2026, https://journals.accc-cancer.org/view/artificial-intelligence-the-legalities-of-ai-in-health-care-and-the-day-to-day-use-of-ai-in-the-clinical-setting

31. Understanding Liability Risk from Using Healthcare AI Tools - Illinois Health and Hospital Association, abgerufen am 6. Februar 2026, https://www.team-iha.org/getmedia/3d7473d7-192e-40b8-ad2e-b40b27be43ae/K_Understanding-Liability-K-2025.pdf

32. Appendix E — The Clinical AI Morgue - The Physician AI Handbook, abgerufen am 6. Februar 2026, https://physicianaihandbook.com/appendices/failures.html

33. AI regulation in insurance: Risk-based pricing and fairness - Browne Jacobson LLP, abgerufen am 6. Februar 2026, https://www.brownejacobson.com/insights/the-word-may-2025/ai-hallucinations

34. Legal AI Hallucinations and Your Attorney Malpractice Insurance Coverage, abgerufen am 6. Februar 2026, https://www.l2insuranceagency.com/blog/legal-ai-hallucinations-and-your-attorney-malpractice-insurance-coverage/