Kann man KI die Genehmigung Ihrer Gesundheitsansprüche anvertrauen?

Das Problem

Der KI-Algorithmus von UnitedHealth Group verweigerte älteren Patienten die Versorgung — und lag in 90 % der Fälle falsch. Neun von zehn Ablehnungen wurden zurückgenommen, wenn ein menschlicher Entscheider sie tatsächlich prüfte. Doch UnitedHealth wusste etwas Vernichtendes: Nur 0,2 % der Patienten hatten die Mittel, sich zur Wehr zu setzen.

Der Algorithmus im Zentrum dieser Krise heißt nH Predict. UnitedHealths Optum-Sparte übernahm ihn 2020 für über 1 Milliarde Dollar. Er sollte vorhersagen, wie lange Medicare-Patienten postakute Versorgung benötigten, etwa Aufenthalte in Einrichtungen mit qualifizierter Pflege. Stattdessen wurde er eine kostensenkende Maschine, die ignorierte, ob Patienten tatsächlich Hilfe brauchten.

Nehmen wir Carol Clemens. Nachdem sie eine Methämoglobinämie — eine lebensbedrohliche Blutkrankheit — überlebt hatte, benötigte sie intensive fachpflegerische Versorgung. Die klinische Evidenz stützte ihren fortbestehenden Rehabilitationsbedarf. Doch nH Predicts Hochrechnungen beendeten trotzdem ihre Kostenübernahme. Ihre Familie zahlte über 16.768 USD aus eigener Tasche, um ihre vorzeitige Entlassung zu verhindern. UnitedHealth, so der Vorwurf der Klage, spekulierte darauf, dass Patienten wie Clemens zu krank, zu alt oder zu arm waren, um Widerspruch einzulegen.

Im Februar 2025 entschied ein Bundesrichter, dass die Sammelklage fortgeführt werden darf. Die Ära, in der man sich hinter Black-Box-KI-Entscheidungen verstecken konnte, geht zu Ende. Wenn Ihre Organisation KI einsetzt, um Entscheidungen zu treffen, die Leben oder Existenzgrundlage von Menschen betreffen, ist dieses Verfahren Ihr Warnschuss.

Warum das für Ihr Unternehmen wichtig ist

Dies ist nicht nur eine Geschichte aus dem Gesundheitswesen. Es ist eine Geschichte über Corporate Governance, und die finanzielle Exposition ist gewaltig.

UnitedHealth Group erwirtschaftet rund 300 Milliarden Dollar Jahresumsatz. Das Unternehmen sieht sich nun mit einer Bundes-Sammelklage konfrontiert, die verändern könnte, wie jedes regulierte Unternehmen KI einsetzt. Hier ist, was die Zahlen über Ihr eigenes Risiko verraten:

• Die Ablehnungsquoten stiegen um über 100 %. Die Ablehnungen postakuter Versorgung sprangen nach dem Einsatz der KI von rund 10 % auf 22,7 %. Ablehnungen in Einrichtungen mit qualifizierter Pflege nahmen um 800 % zu. Ihr Vorstand sollte fragen: Produzieren Ihre KI-Systeme statistisch anomale Ergebnisse, die Aufsichtsbehörden als auffällig markieren können?

• 72 % der S&P-500-Unternehmen legen inzwischen wesentliche KI-Risiken offen in ihren jährlichen SEC-Filings. Reputationsschäden sind die am häufigsten genannte Sorge. Ein einziger viral verbreiteter KI-Fehler kann Rechtsstreitigkeiten auslösen, deren Kosten ein Vielfaches dessen betragen, was die KI hätte einsparen sollen.

• Die Strafen nach dem EU AI Act erreichen bis zu 7 % des globalen Umsatzes. KI-Systeme im Gesundheitswesen werden nach diesem Gesetz als „Hochrisiko“ eingestuft, was verpflichtende Konformitätsbewertungen, Transparenzoffenlegungen und menschliche Aufsicht erfordert. Wenn Sie in Europa geschäftlich tätig sind, ist Nichtkonformität eine finanzielle Bedrohung auf Vorstandsebene.

• Der FDA-Entwurfsleitfaden vom Januar 2025 legt nun einen verpflichtenden 7-stufigen Glaubwürdigkeitsrahmen für KI-Modelle fest, die in medizinischen und regulatorischen Entscheidungen verwendet werden. Die Aufsichtsbehörden empfehlen keine Best Practices mehr. Sie schreiben Regeln.

Das Fazit für Ihre Gewinn- und Verlustrechnung: Die Kosten einer ordnungsgemäßen KI-Governance sind ein Bruchteil der Kosten für die Verteidigung gegen eine Sammelklage, die Zahlung regulatorischer Bußgelder oder den Wiederaufbau Ihrer Marke nach einem öffentlichen Fehlschlag.

Was tatsächlich unter der Haube geschieht

Hier ist, warum nH Predict scheiterte — erklärt ohne Fachjargon.

Der Algorithmus arbeitete, indem er eine Datenbank mit 6 Millionen Patientenakten kreuzreferenzierte. Er suchte nach Mustern: Patienten mit ähnlichen Diagnosen blieben historisch X Tage. Dann erzeugte er für jeden neuen Patienten ein „Ziel“-Entlassdatum.

Denken Sie sich das wie ein Navigationssystem, das nur die durchschnittliche Verkehrslage kennt. Es sagt Ihnen, die Fahrt dauere 30 Minuten. Aber es sieht weder den Unfall voraus noch die Straßensperre noch den Plattfuß an Ihrem Auto. Es besteht einfach weiter darauf, dass Sie längst angekommen sein müssten.

nH Predict hatte denselben blinden Fleck. Es verließ sich auf Korrelation — was üblicherweise geschah — statt auf Kausalität — was den Zustand eines jeden Patienten tatsächlich bestimmte. Es konnte nicht berücksichtigen, ob ein Patient zu Hause eine betreuende Person hatte, finanziell unsicher war oder spezifische klinische Komplikationen aufwies. Diese Faktoren bestimmen die medizinische Notwendigkeit nach den Medicare-Regeln, doch das Modell ignorierte sie vollständig.

Dieser Fehlermodus hat einen Namen: Es ist der Unterschied zwischen der Frage „was passiert normalerweise“ und „warum braucht dieser Patient mehr Zeit“. Ein korrelationsgetriebenes Modell — eines, das Muster erkennt, ohne Ursachen zu verstehen — sagt Ihnen, dass Patienten mit einer bestimmten Diagnose typischerweise nach 14 Tagen gehen. Ein kausales Modell fragt, welche Faktoren dazu führen, dass ein Patient mehr Zeit braucht, und was geschieht, wenn man die Kostenübernahme vorzeitig entzieht.

Das Problem verschärfte sich, weil UnitedHealth aus einem fehlerhaften Prognosewerkzeug eine verbindliche Direktive machte. Interne Manager wiesen Fallmanager an, Patientenaufenthalte innerhalb von 3 % der Projektion des Algorithmus zu halten. Anschließend verengten sie dieses Ziel auf nur 1 %. Kliniker, die abwichen, um tatsächlichen Patientenbedürfnissen gerecht zu werden, mussten mit disziplinarischen Konsequenzen oder der Kündigung rechnen. Die Absicherung „Human-in-the-Loop“ wurde auf einen Gummi­stempel reduziert.

Was funktioniert (und was nicht)

Beginnen wir damit, was nicht funktioniert, denn Ihre Organisation betreibt möglicherweise bereits eines davon.

Eine Chatbot-Schicht auf bestehende KI setzen. Das ist der „Wrapper“-Ansatz — eine maßgeschneiderte Schnittstelle über eine Dritt-KI-Engine wie GPT legen. Diese Wrapper bieten keine proprietäre Logik, erben jede Verzerrung ihres Basismodells und liefern Black-Box-Ergebnisse, die Sie nicht prüfen können. In regulierten Branchen sind sie Haftungsrisiken.

Annehmen, dass menschliche Prüfung alles repariert. UnitedHealth hatte technisch gesehen Menschen, die KI-Entscheidungen prüften. Aber wenn Sie Mitarbeiter dafür bestrafen, den Algorithmus zu überstimmen, ist Ihr Human-in-the-Loop eine Fiktion. Prozessdesign zählt mehr als Formulierungen in Richtlinien.

KI-Governance als IT-Projekt behandeln. Wenn Ihre KI-Governance vollständig in der IT angesiedelt ist, entgehen Ihnen die rechtlichen, klinischen und finanziellen Dimensionen, die echte Haftung erzeugen. Das Urteil vom Februar 2025 war erfolgreich, weil der Richter befand, UnitedHealth habe seine vertragliche Zusage verletzt, wonach Leistungsentscheidungen von „klinischen Fachdiensten“ und „Ärzten“ — nicht von Algorithmen — getroffen werden sollten.

Hier ist, was tatsächlich funktioniert, in drei Schritten:

1. Eingabe: Kausale Modellierung statt Korrelation. Ihr KI-System sollte aufgebaut sein auf kausaler und kontrafaktischer Modellierung — ein Ansatz, bei dem Sie die tatsächlichen Ursache-Wirkungs-Beziehungen in Ihrem Fachgebiet abbilden, nicht nur historische Muster. Im Gesundheitswesen bedeutet das, zu modellieren, warum ein Patient Versorgung braucht, nicht nur, wie lange ähnliche Patienten blieben.

2. Verarbeitung: Erklärbare KI mit Confidence-Scoring. Jede Entscheidung, die Ihre KI trifft, sollte eine allgemeinverständliche Erläuterung der Faktoren enthalten, die sie bestimmt haben. Werkzeuge wie SHAP und LIME — Methoden, die zeigen, welche Datenpunkte ein bestimmtes Ergebnis beeinflusst haben — lassen Prüfer erkennen, ob Ablehnungen auf klinischer Evidenz beruhen oder auf Stellvertretervariablen wie der Postleitzahl. Wenn die KI auf einen Fall außerhalb ihrer Trainingsdaten trifft, sollte das Confidence-Scoring die Unsicherheit kennzeichnen und den Fall an einen menschlichen Prüfer weiterleiten.

3. Ausgabe: Vollständiger Audit-Trail mit Kill-Switch-Steuerung. Jede KI-Ausgabe muss protokolliert, mit Zeitstempel versehen und nachvollziehbar sein. Ihr KI-Governance- und Compliance-Programm sollte ein zentrales KI-Register enthalten, das jedes Modell in Ihrem Stack erfasst, ein Modelländerungsmanagement mit Rollback-Optionen sowie eine klar geregelte Befugnis für ein funktionsübergreifendes Komitee, ein Modell abzuschalten, wenn seine Leistung nachlässt.

Dieser Audit-Trail ist es, der diesen Ansatz für Ihr Compliance-Team verkauft. Wenn ein Regulator oder der Anwalt einer Klägerseite verlangt: „Zeigen Sie mir, wie diese Entscheidung zustande kam“, haben Sie entweder einen dokumentierten Logikpfad oder Sie haben eine Klage. Der 7-stufige Glaubwürdigkeitsrahmen der FDA verlangt inzwischen ausdrücklich einen „Credibility Report“, der Validierungsstrategien, Kennzahlen und etwaige Abweichungen dokumentiert. Kann Ihre KI diesen Bericht nicht vorlegen, fällt sie die regulatorische Prüfung, bevor sie überhaupt ein Gericht erreicht.

Die Organisationen, die KI-Lösungen für das Gesundheitswesen und die Life-Sciences-Branche entwickeln, brauchen Systeme, die ihr Vorgehen erklären, ihre eigene Unsicherheit kennzeichnen und Menschen wirklich die Kontrolle behalten lassen. Die Botschaft des Gerichts im UnitedHealth-Fall war unmissverständlich: Ist Ihr KI-System grundlegend defekt, werden die Gerichte von den Geschädigten nicht verlangen, an der Farce eines manipulierten Berufungsverfahrens mitzuwirken.

Sie können die vollständige technische Analyse lesen oder die interaktive Version erkunden für einen tieferen Blick auf die regulatorischen Rahmenwerke und architektonischen Anforderungen.