Der Algorithmus, der sterbenden Patienten die Versorgung verweigerte – und was er mich über den Bau von KI lehrte, die nicht tötet

Ich saß Ende 2024 in einem Konferenzraum, als eine Kollegin auf ihrem Laptop eine Statistik aufrief und den Bildschirm zu mir drehte. „Hast du das gesehen?“

Es war die Quote der im Widerspruchsverfahren aufgehobenen Entscheidungen für den nH-Predict-Algorithmus der UnitedHealth Group – das KI-System, das ihre Tochtergesellschaft NaviHealth eingesetzt hatte, um zu entscheiden, wann Medicare-Patienten von der nachstationären Versorgung abgeschnitten werden sollten. Fachpflege. Rehabilitation. Die Art von Versorgung, die eine 82-Jährige davor bewahrt, nach einem Schlaganfall in eine leere Wohnung nach Hause geschickt zu werden.

Die Zahl lautete 90 %.

In neun von zehn Fällen, in denen ein menschlicher Prüfer die Entscheidung des Algorithmus, die Kostenübernahme abzulehnen, tatsächlich überprüfte, hob er sie auf. Die KI lag in neun von zehn Fällen falsch. Und UnitedHealth wusste es. Sie wussten es, weil nur 0,2 % der Patienten – ältere, behinderte, kognitiv eingeschränkte Menschen – es überhaupt schafften, Widerspruch einzulegen. Das System war nicht darauf ausgelegt, korrekt zu sein. Es war darauf ausgelegt, unanfechtbar zu sein.

Ich klappte in jener Nacht meinen Laptop zu und konnte nicht schlafen. Nicht weil mich die Technologie überrascht hätte – ich baue seit Jahren KI-Systeme und ich verstehe, wie korrelationsgetriebene Modelle versagen. Was mich wachhielt, war etwas Hässlicheres: Das war kein Fehler. Es war ein Geschäftsmodell. Und es war der logische Endpunkt einer ganzen Philosophie der Unternehmens-KI, die meine Branche seit einem halben Jahrzehnt fröhlich propagiert.

Ich leite Veriprajna, ein Unternehmen, das auf der Prämisse aufbaut, dass KI in Hochrisikobereichen grundlegend anders sein muss als die Chatbots und Content-Generatoren, die die Diskussion beherrschen. Die UnitedHealth-Krise hat diese Prämisse nicht nur bestätigt. Sie hat sie radikalisiert.

Ein Milliarden-Dollar-Algorithmus, der eine sterbende Frau nicht sehen konnte

Lassen Sie mich von Carol Clemens erzählen, denn die Zahlen bedeuten nichts ohne sie.

Carol hatte Methämoglobinämie – eine lebensbedrohliche Blutkrankheit, bei der das Blut Sauerstoff nicht mehr richtig transportieren kann. Nach einer schweren Episode befand sie sich in einer Fachpflegeeinrichtung und erhielt die Rehabilitation, die sie zum Überleben brauchte. Die Art von Versorgung, die Medicare eigentlich abdecken soll.

Dann generierte nH Predict ein „Zielentlassungsdatum“. Der Algorithmus, trainiert an 6 Millionen Patientenakten, hatte Carols Diagnose mit historischen Verläufen abgeglichen und entschieden, dass sie fertig war. Egal, dass ihre Blutsauerstoffwerte noch lebensbedrohlich niedrig waren. Egal, dass ihre Ärzte sagten, sie brauche mehr Zeit. Das Modell hatte gesprochen.

Ihre Familie zahlte 16.768 US-Dollar aus eigener Tasche, um sie in der Versorgung zu halten. Sie hatten Glück – sie verfügten über die Mittel. Die meisten Patienten in Carols Situation nicht.

Was mich an diesem Fall verfolgt, ist Folgendes: nH Predict war kein außer Kontrolle geratenes Experiment. Die Optum-Sparte von UnitedHealth zahlte über 1 Milliarde US-Dollar, um NaviHealth und dessen Algorithmus zu erwerben. Das war ein Vorzeigeprodukt bei einem Unternehmen, das für 2025 einen Umsatz von 340 Milliarden US-Dollar prognostizierte. Der teuerste KI-Einsatz in der Geschichte des Gesundheitswesens – und er konnte nicht zwischen einem statistischen Durchschnitt und einer Frau, die erstickte, unterscheiden.

Warum lag der Algorithmus in 90 % der Fälle falsch?

Das ist die Frage, die alle stellen, und die Antwort ist trügerisch einfach. nH Predict war eine Korrelationsmaschine, die vorgab, ein klinisches Werkzeug zu sein.

Es verarbeitete Patientenakten und fand Muster: Patienten mit Diagnose X bleiben typischerweise Y Tage. Das war alles. Das war der ganze Trick. Es modellierte nicht, warum Patienten unterschiedlich lange Versorgung benötigen. Es berücksichtigte nicht, ob jemand zu Hause eine Pflegeperson hatte, ob er finanziell stabil genug war, um eine ambulante Behandlung zu bewältigen, ob er spezifische Komplikationen hatte, die seinen Fall vom statistischen Durchschnitt unterschieden.

Ein Modell, das Ihnen sagt „Patienten wie dieser gehen normalerweise in 14 Tagen“, ist nicht dasselbe wie ein Modell, das versteht, warum dieser bestimmte Patient 21 Tage braucht. Das Erste ist eine Tabellenkalkulation mit zusätzlichen Schritten. Das Zweite ist Intelligenz.

Ich habe diese Auseinandersetzung mit anderen Gründern öfter geführt, als ich zählen kann. „Aber das Modell ist im Durchschnitt korrekt!“, sagen sie dann. Sicher. Und ein Fluss ist im Durchschnitt einen Meter zwanzig tief, was demjenigen kein Trost ist, der im zweieinhalb Meter tiefen Abschnitt ertrunken ist.

Der Fachbegriff für das, was nH Predict fehlte, lautet kausales Schließen – die Fähigkeit, von „was normalerweise passiert“ zu „was passieren würde, wenn wir diese Variable änderten“ überzugehen. Ein kausales Modell würde fragen: Was passiert mit Carol Clemens' Genesungsverlauf, wenn wir an Tag 14 die Fachpflege entziehen? Erleidet sie einen Rückfall? Stirbt sie? Ein Korrelationsmodell fragt das nicht. Es kann es nicht. Es wurde nicht dafür gebaut.

Ich habe über diese Unterscheidung ausführlich in der interaktiven Version unserer Forschung geschrieben, weil ich sie für das einzige wichtigste Konzept halte, das Führungskräfte in Unternehmen gerade jetzt über KI verstehen müssen.

Die 3-%-auf-1-%-Regel – oder wie man Pflegekräfte zu Abnickern macht

Die Ungenauigkeit des Algorithmus war schon schlimm genug. Was UnitedHealth damit anstellte, war schlimmer.

Aussagen von Whistleblowern enthüllten, dass NaviHealth-Manager starre Konformitätsvorgaben für ihr klinisches Personal festlegten. Fallmanagern – Pflegekräften, Ärzten, Menschen, die Jahrzehnte damit verbracht hatten, zu lernen, Patientenbedürfnisse einzuschätzen – wurde gesagt, sie sollten die tatsächliche Aufenthaltsdauer der Patienten innerhalb einer Abweichung von 3 % von dem halten, was auch immer nH Predict prognostizierte.

Dann verschärften sie es auf 1 %.

Denken Sie darüber nach, was das in der Praxis bedeutet. Sie sind Pflegekraft. Sie haben einen Patienten untersucht. Sie wissen aus jahrelanger Erfahrung und aus der klinischen Evidenz, die vor Ihnen liegt, dass dieser Mensch nicht bereit ist, nach Hause zu gehen. Aber der Algorithmus sagt Tag 14, und Ihr Vorgesetzter sagt, dass Sie Tag 14 plus oder minus einen Bruchteil eines Tages treffen müssen, sonst drohen Ihnen Disziplinarmaßnahmen. Vielleicht die Kündigung.

Was tun Sie?

Die meisten Menschen fügten sich. Nicht weil sie schlechte Kliniker waren, sondern weil das System darauf ausgelegt war, Konformität zur einzigen überlebensfähigen Option zu machen. Versorgungskoordinatoren wurden angewiesen, ihre Fortschrittsüberprüfungen genau auf das vom Algorithmus vorhergesagte Entlassungsdatum zu legen – und damit den klinischen Zeitplan so zu gestalten, dass er zum Modell und nicht zum Patienten passte.

Ich erinnere mich, dass ich das einem Freund beschrieb, der in der Flugsicherheit arbeitet, und er wurde bleich. „Das ist, als würde man Piloten sagen, sie sollen unabhängig von den Wetterbedingungen nach dem Flugplan landen“, sagte er. „Man würde nie wieder fliegen.“

Wenn Kliniker dafür bestraft werden, dass sie einen fehlerhaften Algorithmus außer Kraft setzen, hat man keinen „Menschen im Regelkreis“. Man hat einen menschenförmigen Abnickstempel.

Das ist es, was ich algorithmische Nötigung nenne, und es ist der Fehlermodus, der mir am meisten Angst macht – nicht weil die KI autonom ist, sondern weil sie ein Umfeld schafft, in dem Menschen bestraft werden, weil sie das Urteilsvermögen ausüben, das der KI fehlt.

Was geschah am 13. Februar 2025 vor Gericht?

Die Sammelklage – Estate of Gene B. Lokken v. UnitedHealth Group – erreichte einen Wendepunkt, als der US-Bundesbezirksrichter John Tunheim entschied, dass das Verfahren fortgeführt werden könne. Das ist enorm wichtig, und zwar nicht nur für UnitedHealth.

Das Gericht stellte fest, dass die eigenen Unternehmensrichtlinien von UHC versprachen, Entscheidungen über die Kostenübernahme würden von „klinischem Fachpersonal“ und „Ärzten“ getroffen. Indem UnitedHealth diese Menschen durch einen Algorithmus ersetzte, der die Ergebnisse faktisch diktierte, brach das Unternehmen möglicherweise seinen Vertrag mit jedem einzelnen Versicherungsnehmer.

Noch bedeutsamer: Der Richter hob die Anforderung auf, dass Patienten die administrativen Widerspruchsverfahren ausschöpfen mussten, bevor sie klagten. Normalerweise müssen Medicare-Berechtigte mehrere Ebenen bürokratischer Prüfung durchlaufen, bevor sie vor Gericht ziehen können. Doch Tunheim betrachtete die Fehlerquote von 90 %, betrachtete die Widerspruchsquote von 0,2 % und sagte im Wesentlichen: Wir werden sterbende Menschen nicht zwingen, an einem System teilzunehmen, das gegen sie manipuliert ist.

Diese Entscheidung sollte Pflichtlektüre für jede Führungskraft sein, die KI in einer regulierten Branche einsetzt. Das Rechtssystem ist nicht länger bereit, algorithmische Fehlfunktionen als ein Prozessproblem zu behandeln, das die Patienten selbst lösen müssen.

Warum „Wrapper-KI“ eine tickende Zeitbombe im Gesundheitswesen ist

Hier muss ich in Bezug auf meine eigene Branche deutlich werden, denn die UnitedHealth-Geschichte ist kein Einzelfall. Sie ist das sichtbarste Symptom eines strukturellen Problems.

In den vergangenen drei Jahren wurde der Markt für Unternehmens-KI mit dem überschwemmt, was ich Wrapper-Lösungen nenne – Unternehmen, die ein bestehendes großes Sprachmodell nehmen, es in eine benutzerdefinierte Oberfläche einpacken, es vielleicht mit einigen domänenspezifischen Daten feinabstimmen und es als Gesundheits-KI-Produkt verkaufen. Oder als Versicherungs-KI-Produkt. Oder als Compliance-KI-Produkt.

Diese Wrapper teilen jede Schwachstelle, die nH Predict gefährlich machte:

Sie sind Blackboxes. Man kann die Argumentation hinter keiner einzelnen Entscheidung überprüfen, was bedeutet, dass man systematische Verzerrungen nicht erkennen kann, bis sie bereits Tausenden von Menschen geschadet haben.

Sie erben die Verzerrungen ihrer Basismodelle. Wenn die Trainingsdaten historische Diskriminierungsmuster widerspiegeln – und im Gesundheitswesen tun sie das immer –, reproduziert der Wrapper diese Muster getreu.

Sie haben kein kausales Verständnis. Sie treffen Vorhersagen auf Basis statistischer Korrelation, was bedeutet, dass sie auf „was normalerweise passiert“ optimieren statt auf „was für diesen Patienten geschehen sollte“.

Und ganz entscheidend: Sie sind nicht verteidigungsfähig. Jeder Wettbewerber kann denselben Wrapper auf demselben Basismodell bauen. Es gibt keine proprietäre Intelligenz, keine einzigartige Erkenntnis – nur eine dünne Automatisierungsschicht über der Maschine eines anderen.

Die Wrapper-Ökonomie in der Gesundheits-KI baut auf Sand. Wenn die regulatorische Flut hereinbricht – und sie kommt schnell –, werden Unternehmen ohne tiefe, erklärbare, kausal fundierte Systeme hinweggespült.

Ich sage das nicht, weil Veriprajna mit Wrapper-Unternehmen konkurriert (obwohl wir das tun). Ich sage es, weil ich gesehen habe, was passiert, wenn diese Systeme im Produktivbetrieb versagen, und die Kluft zwischen „demofähig“ und „klinisch sicher“ ist ein Abgrund, den Wrapper nicht überbrücken können.

Wie will die FDA, dass KI ihre Vertrauenswürdigkeit beweist?

Im Januar 2025 veröffentlichte die FDA einen Leitfadenentwurf, der einen 7-stufigen Glaubwürdigkeitsbewertungsrahmen für KI-Modelle festlegt, die in medizinischen und regulatorischen Entscheidungen eingesetzt werden. Ich habe Wochen mit diesem Dokument verbracht, und es ist das folgenreichste Stück KI-Regulierung, das ich je gesehen habe.

Der Rahmen verlangt, dass jeder KI-Einsatz die genaue Frage, die er beantwortet, klar definiert, seine Rolle im klinischen Ablauf spezifiziert, bewertet, was passiert, wenn er falsch liegt, und dann – durch rigorose Tests – beweist, dass er für diesen spezifischen Zweck geeignet ist.

nH Predict wäre an jeder einzelnen Stufe gescheitert. Es hatte keine klare Definition seiner klinischen Rolle. Seine Risikobewertung ignorierte die lebensbedrohlichen Folgen verweigerter Versorgung. Seine „Validierung“ optimierte auf Kosteneindämmung, nicht auf Patientenergebnisse.

Unterdessen stufte der EU AI Act Gesundheits-KI 2025 als „Hochrisiko“ ein und verlangt verpflichtende Transparenzoffenlegungen und menschliche Aufsicht. Die Strafen bei Nichteinhaltung reichen bis zu 7 % des weltweiten Umsatzes. Für ein Unternehmen von der Größe UnitedHealths ist das keine Geldbuße – es ist eine existenzielle Bedrohung.

Die Weltgesundheitsorganisation ist noch weiter gegangen und nimmt gezielt das ins Visier, was sie Automatisierungsverzerrung nennt – die Neigung von Klinikern, sich einem Algorithmus zu beugen, selbst wenn er ihrem eigenen klinischen Urteil widerspricht. Genau das geschah bei NaviHealth. Der WHO-Leitfaden von 2024 warnt, dass ein übermäßiges Vertrauen in KI zu einem „Abbau von Fähigkeiten“ bei Ärzten führen kann, die aufhören, kritische Bewertung zu üben.

Für die vollständige technische Aufschlüsselung dieser regulatorischen Rahmenwerke und ihrer Anwendung auf den KI-Einsatz in Unternehmen siehe unser Forschungspapier.

Die Nacht, in der mir klar wurde, dass Erklärbarkeit nicht optional ist

Es gibt in der Reise jedes Gründers einen Moment, in dem ein abstraktes Prinzip greifbar wird. Für mich war es an einem späten Abend beim Testen einer frühen Version eines unserer Modelle an einem Gesundheitsdatensatz.

Das Modell hatte einen Fall zur Ablehnung markiert. Ich bat mein Team, SHAP durchzuführen – SHapley Additive exPlanations, ein Werkzeug, das zeigt, welche Merkmale eine bestimmte Vorhersage angetrieben haben. Der wichtigste Faktor war weder die Diagnose des Patienten noch sein klinischer Verlauf. Es war seine Postleitzahl.

Mein leitender Ingenieur und ich starrten auf den Bildschirm. Wir wussten beide, womit die Postleitzahl in US-amerikanischen Gesundheitsdaten korreliert. Wir blickten nicht auf eine klinische Variable. Wir blickten auf einen Stellvertreter für Rasse und Einkommen, verkleidet in fünf Ziffern.

Wir verwarfen das Merkmal noch in jener Nacht. Aber die Erfahrung kristallisierte etwas heraus, das ich intellektuell verstanden, aber nicht im Bauch gespürt hatte: Wenn man nicht erklären kann, warum die eigene KI eine Entscheidung getroffen hat, kann man die Entscheidungen nicht erkennen, die nicht zu rechtfertigen sind.

Deshalb bauen wir mit Erklärbarkeit als Architektur, nicht als nachträglichem Gedanken. Werkzeuge wie SHAP geben einem einen globalen Überblick darüber, was das Modell antreibt. LIME – Local Interpretable Model-Agnostic Explanations – zeigt einem die Argumentation hinter jeder einzelnen Entscheidung. Für eine Patientin wie Carol Clemens hätte LIME sichtbar gemacht, dass der Algorithmus ihren gefährlich niedrigen Blutsauerstoff zugunsten durchschnittlicher Genesungsstatistiken für ihren Diagnosecode ignorierte.

Und dann ist da noch das Konfidenz-Scoring – das Element, das die meisten Wrapper-Lösungen vollständig auslassen. Wenn ein Patient mit einer seltenen Erkrankung vorstellig wird, die in den Trainingsdaten schlecht repräsentiert ist, muss das System ausdrücklich sagen: „Ich weiß nicht genug, um diese Entscheidung zu treffen. Leiten Sie das an einen Menschen weiter.“ Keine Empfehlung. Ein hartes Stopp.

Warum das nicht länger ein „IT-Problem“ sein kann

Man widerspricht mir immer, wenn ich sage, dass KI-Governance in den Vorstand gehört. „Ist dafür nicht das Engineering-Team da?“ Nein. Absolut nicht. Und der UnitedHealth-Fall ist der Beweis.

Die Ingenieure bei NaviHealth legten nicht die 1-%-Abweichungsvorgabe fest. Das war eine Managemententscheidung. Die Ingenieure entschieden nicht, Kliniker zu disziplinieren, die den Algorithmus außer Kraft setzten. Das war eine Richtlinienentscheidung. Die Ingenieure wählten nicht, ein korrelationsbasiertes Modell für Entscheidungen über Leben und Tod bei der Kostenübernahme ohne kausale Validierung einzusetzen. Das war eine Strategieentscheidung.

Bis 2025 haben 72 % der S&P-500-Unternehmen in ihren SEC-Meldungen wesentliche KI-Risiken offengelegt. Reputationsrisiko ist inzwischen das am häufigsten genannte Bedenken. Ein einziges algorithmisches Versagen kann gleichzeitig Klagen, regulatorische Maßnahmen und öffentliche Empörung auslösen – und der Vorstand, der sagt „wir wussten es nicht“, wird feststellen, dass Unwissenheit keine Verteidigung ist.

Bei Veriprajna drängen wir jeden Kunden dazu, funktionsübergreifende KI-Governance-Ausschüsse einzurichten, die klinische Führungskräfte, Rechtsberater und Vertreter der Patientensicherheit einbeziehen – nicht nur Ingenieure und Produktmanager. Diese Ausschüsse brauchen die Befugnis, ein zentrales Register jedes KI-Modells im Technologiebestand der Organisation zu führen, Rollback-Optionen durchzusetzen, wenn die Leistung nachlässt, und – das ist der Teil, der Führungskräften Unbehagen bereitet – ein profitables Modell abzuschalten, wenn es Schaden anrichtet.

KI-Governance ist keine Kostenstelle. Sie ist der Unterschied zwischen einem Unternehmen, das KI verantwortungsvoll einsetzt, und einem Unternehmen, das zur nächsten mahnenden Geschichte in einer Senatsuntersuchung wird.

Die Auseinandersetzung, die ich immer wieder führe

Es gibt ein Gespräch, das ich auf fast jeder Konferenz führe, und es läuft so ab:

„Ashutosh, du machst das zu kompliziert. Wir können GPT-4 mit unseren klinischen Daten feinabstimmen und in sechs Wochen etwas ausliefern. Dein Ansatz braucht Monate.“

Beim Zeitplan widerspreche ich nicht. Ich widerspreche bei der Definition von „fertig“.

Man kann einen Wrapper absolut in sechs Wochen ausliefern. Man kann ihn wunderschön vorführen. Er wird plausibel klingende klinische Zusammenfassungen erzeugen und Ihre Investoren glücklich machen. Und dann, sechs Monate später, wenn ein Patient stirbt, weil Ihr Modell selbstbewusst die falsche Vorgehensweise empfahl und niemand erklären konnte, warum, werden Sie feststellen, dass die sechs Wochen, die Sie gespart haben, Sie alles gekostet haben.

Die UnitedHealth-Krise wurde nicht durch schlechte Ingenieure oder böswillige Absicht verursacht. Sie wurde durch eine Organisation verursacht, die KI als ein Durchsatzoptimierungsproblem behandelte – die Prüfzeit um sechs bis zehn Minuten pro Fall zu reduzieren – statt als ein Problem des klinischen Urteilsvermögens. Sie maßen Erfolg an Verarbeitungsgeschwindigkeit und Ablehnungsquoten, nicht an Patientenergebnissen.

Der Wandel von prädiktiven Wrappern zu dem, was ich Deep AI nenne, geht nicht darum, ausgefeiltere Modelle einzusetzen. Es geht darum, eine grundlegend andere Frage zu stellen. Nicht „Wie automatisieren wir diese Entscheidung?“, sondern „Wie machen wir diese Entscheidung besser, transparenter und rechenschaftspflichtiger, als ein Mensch allein es könnte?“

Wie es von hier aus weitergeht

Ich möchte mit etwas schließen, das mich beschäftigt, seit ich angefangen habe, dies zu schreiben.

Die nH-Predict-Geschichte ist schockierend, aber sie sollte nicht überraschend sein. Wir haben jahrelang ein KI-Ökosystem aufgebaut, das Geschwindigkeit über Sicherheit, Korrelation über Kausalität und Automatisierung über Augmentierung belohnt. Die Anreizstrukturen – Zeitpläne von Wagniskapital, Beschaffungszyklen von Unternehmen, der unerbittliche Druck, auszuliefern – drängen alle in Richtung des Wrapper-Ansatzes. Schnell bauen, schnell verkaufen, sich später um Governance kümmern.

Es gibt kein „später“. Die Entscheidung vom Februar 2025 hat das deutlich gemacht. Der Glaubwürdigkeitsrahmen der FDA hat das deutlich gemacht. Die 7-%-Strafe des EU AI Act hat das deutlich gemacht. Und Carol Clemens' Arztrechnung über 16.768 US-Dollar hat es in den menschlichsten Begriffen deutlich gemacht, die möglich sind.

Der Weg nach vorn führt nicht zu weniger KI. Er führt zu KI, die sich die Autorität verdient, die wir ihr geben – durch kausale Validierung, die versteht, warum, durch erklärbare Architektur, die ihre Arbeit offenlegt, durch Governance-Strukturen, die Menschen befähigen, die Maschine ohne Angst vor Bestrafung außer Kraft zu setzen, und durch die grundlegende institutionelle Demut, zuzugeben, wenn das Modell nicht genug weiß, um die Entscheidung zu treffen.

Die Frage war nie „Kann KI Entscheidungen im Gesundheitswesen treffen?“ Sie war immer „Sollten wir KI Entscheidungen im Gesundheitswesen treffen lassen, die sie nicht erklären kann, nicht rechtfertigen kann und in 90 % der Fälle falsch trifft?“ Die Antwort lautet endlich: nein.

Wir haben Veriprajna gegründet, weil wir glaubten, dass diese Antwort kommen würde. Ich wünschte nur, es hätte nicht sterbende Patienten gebraucht, um uns recht zu geben.