Wir haben 35 Milliarden US-Dollar in KI gesteckt und fast nichts dafür bekommen

Der Anruf kam an einem Dienstagabend. Ein mittelständisches Gesundheitsunternehmen — eines, das wir beraten hatten — hatte gerade sein KI-Vorzeigeprojekt eingestellt. Neun Monate Arbeit. Ein sechsstelliger Betrag. Der CTO klang erschöpft, nicht wütend. „In der Demo hat es perfekt funktioniert“, sagte er mir. „Jedes einzelne Mal. Dann haben wir es an echte Patientendaten angeschlossen, und es fing an, Versicherungscodes zu halluzinieren.“

Ich wusste nicht, was ich sagen sollte, denn ich hatte allein in diesem Quartal ein Dutzend Varianten dieser Geschichte gehört. KI, die im Konferenzraum blendet und in der Produktion zerfällt. Pilotprojekte, die im ersten Monat Begeisterung erzeugen und im sechsten Monat Budgetprüfungen. Die Kluft zwischen dem, was generative KI verspricht, und dem, was sie liefert — in einem echten Großunternehmen — ist die bestimmende Spannung dieses Moments in der Technologie.

Und jetzt haben wir die Zahlen, die es belegen. Die MIT-NANDA-Initiative veröffentlichte Mitte 2025 eine Studie, die wie eine Granate einschlug: Von den geschätzten 30 bis 40 Milliarden US-Dollar, die Unternehmen in generative KI gesteckt haben, haben rund 95% der Pilotprojekte keine messbare Wirkung auf die Gewinn- und Verlustrechnung erzielt. McKinseys eigene Umfrage von 2025 bestätigt das — 88% der Organisationen geben an, KI irgendwo einzusetzen, aber nur 39% können überhaupt eine EBIT-Wirkung nachweisen.

Ich leite Veriprajna, wo wir Deep-AI-Systeme für Großunternehmen bauen. Ich bin hier kein neutraler Beobachter. Aber ich war nah genug an den Trümmern — und an den seltenen Erfolgen —, um ein klares Bild davon zu haben, was tatsächlich schiefläuft. Und es ist nicht das, was die meisten Menschen denken.

Die Demo sah großartig aus. Dann kam die Realität.

Die Erfahrung dieses CTOs aus dem Gesundheitswesen war nichts Ungewöhnliches. Sie war praktisch das mittlere Ergebnis.

Die Daten des MIT zeichnen einen brutalen Trichter: 80% der Organisationen erkunden generative KI-Tools. Nur 20% kommen bis zu einem Pilotprojekt. Und gerade einmal 5% erreichen jemals die Produktion mit messbaren Geschäftsergebnissen. Die Forscher nennen das eine „Lernlücke“, was eine höfliche Art ist zu sagen, dass die meisten Unternehmen nicht verstehen, was sie gekauft haben.

Ich erinnere mich, wie ich nach der Lektüre des vollständigen MIT-Berichts in unserem Büro saß und mit meinem Mitgründer darüber stritt, ob die 95%-Zahl zu dramatisch sei. War sie nicht. Wenn überhaupt, untertrieb sie das Problem, denn viele der „erfolgreichen“ 5% hatten Erfolg nach unten umdefiniert — sie hatten Adoptionsraten oder Nutzerzufriedenheit gemessen statt tatsächlicher Umsatzwirkung.

Das Muster, das ich immer wieder sehe, ist folgendes: Ein Team baut einen Proof of Concept mit einem großen LLM. Er bewältigt die zehn Beispielanfragen wunderbar. Die Führungsebene ist begeistert. Das Budget wird genehmigt. Dann trifft das System auf die reale Welt — unsaubere Daten, Randfälle, mehrdeutige Eingaben, regulatorische Anforderungen, bei denen „nah genug“ eine Klage bedeutet — und es fällt auseinander.

Die Kluft zwischen demo-tauglicher KI und produktionstauglicher KI ist keine Kluft. Sie ist ein Canyon, und die meisten Unternehmen merken erst, dass sie auf der falschen Seite stehen, wenn sie bereits gesprungen sind.

60% der Nutzer in der MIT-Studie berichteten, dass Modelle im Lauf der Zeit nicht aus Feedback lernen konnten. 55% sagten, sie hätten übermäßigen Aufwand betrieben, um für jeden einzelnen Prompt Kontext bereitzustellen. 40% sagten, die Modelle seien schlicht „kaputtgegangen“, sobald sie auf nicht standardisierte Eingaben trafen. Das sind keine exotischen Fehlermodi. Das ist Dienstag.

Warum bauen Unternehmen auf Treibsand?

Das meiste, was der Unternehmensmarkt derzeit „KI-Produkte“ nennt, sind Wrapper — dünne Benutzeroberflächen, die auf einem API-Aufruf an GPT-4 oder Claude oder Gemini sitzen. Man tippt etwas ein, es geht an das Modell, das Modell antwortet, und der Wrapper formatiert die Antwort hübsch.

Ich habe eine ganz plastische Erinnerung an ein Pitch-Meeting, in dem ein potenzieller Kunde mir seine „KI-gestützte Compliance-Engine“ zeigte. Ich fragte, was passiere, wenn sich das Verhalten des zugrunde liegenden Modells nach einem Anbieter-Update ändere. Der Raum wurde still. Daran hatten sie nicht gedacht. Ihr gesamtes Produkt war eine Prompt-Vorlage und ein hübsches Dashboard. Die „Intelligenz“, die sie verkauften, war vollständig gemietet.

Das ist der Wrapper-Trugschluss, und er ist überall. Der Ansatz stützt sich typischerweise auf das, was man in der Branche einen „Mega-Prompt“ nennt — man stopft Regeln, Daten, Kontext und Anweisungen in eine einzige riesige Interaktion und hofft, dass das Modell es schon sortiert. Ich habe über dieses Architekturproblem ausführlicher in der interaktiven Version unserer Forschungsarbeit geschrieben, aber die Kurzfassung lautet: Mega-Prompts erzeugen drei fatale Probleme:

Man kann sie nicht auditieren. Es gibt keine Möglichkeit zu verifizieren, dass das Modell die Anweisungen in der richtigen Reihenfolge befolgt hat. Für stark compliance-getriebene Branchen ist das ein Ausschlusskriterium.

Sie sind wirtschaftlich fragil. Lange Kontextfenster und Wiederholungsversuche verbrennen Tokens. Und hier ist eine Zahl, die mich schockierte, als ich sie zum ersten Mal sah: Der Unterschied zwischen einem effizienten und einem ineffizienten Tokenizer kann eine Kostenabweichung von 450% bei derselben Arbeitslast bedeuten. Ein Großunternehmen, das täglich 100.000 Kundenanfragen verarbeitet, könnte seine Jahreskosten von 36.500 US-Dollar auf über 164.000 US-Dollar steigen sehen — nur weil es für einen mehrsprachigen Anwendungsfall das falsche Modell gewählt hat.

Sie sind brüchig. Ändern Sie drei Wörter in einem Prompt, und Sie erhalten eine völlig andere Ausgabe. Versuchen Sie mal, darauf ein SLA aufzubauen.

Die wirtschaftliche Falle ist sogar noch schlimmer als die technische. Wenn OpenAI oder Anthropic ihre API-Preise senken — und sie werden sie weiter senken —, lösen sich die Margen der Wrapper-Unternehmen in Luft auf. Sie besitzen die Daten nicht. Sie besitzen den Workflow nicht. Sie verkaufen die Intelligenz eines anderen mit einem Aufschlag weiter, und in dem Moment, in dem der Vermieter für alle die Miete senkt, hat der Untermieter kein Geschäft mehr.

Was bedeutet „Deep AI“ eigentlich?

Ich sage Ihnen, in welchem Moment mir das Konzept klar wurde.

Wir arbeiteten an einem Dokumentenverarbeitungssystem für einen Logistikkunden. Der ursprüngliche Ansatz war unkompliziert: das Versanddokument an ein LLM schicken, es die relevanten Felder extrahieren lassen, die Ergebnisse zurückgeben. Bei Standardformularen funktionierte das. Dann stießen wir auf ein Container-Manifest aus einem südostasiatischen Hafen mit mehrsprachigen Anmerkungen, handschriftlichen Korrekturen und einem Format, das zu nichts in den Trainingsdaten passte. Das Modell lieferte selbstbewusst Müll zurück.

Mein leitender Ingenieur, frustriert nach einer Woche Prompt-Engineering, das immer neue Fehlermodi hervorbrachte, sagte schließlich: „Wir bitten ein Gehirn, sieben Jobs zu erledigen. Was, wenn wir jeden Job einem Spezialisten geben würden?“

Das ist Deep AI in einem Satz. Statt das LLM als Orakel zu behandeln, das alles erledigt, behandelt man es als eine Komponente in einem größeren System. Man zerlegt das Problem. Ein Agent übernimmt das Verständnis der Anfrage. Ein anderer ruft Daten aus einer strukturierten Datenbank ab. Ein dritter validiert die Ausgabe gegen bekannte Regeln. Ein vierter formatiert die Antwort. Jeder Agent hat eine definierte Verantwortung, und der Workflow zwischen ihnen ist deterministisch — das heißt, Sie kontrollieren die Reihenfolge, die Logik und die Prüfpunkte.

Deep AI behandelt das Sprachmodell wie einen begabten Praktikanten, nicht wie einen CEO. Man gibt ihm spezifische Aufgaben innerhalb einer geregelten Struktur, nicht die Schlüssel zum Gebäude.

Die agentischen Designmuster, die das möglich machen, sind nicht theoretisch. Sie werden bereits eingesetzt:

Ein Reflexionsmuster, bei dem der Agent seine eigene Ausgabe kritisch prüft, bevor er sie an den Nutzer sendet. Ein Tool-Use-Muster, bei dem der Agent externe Rechner, APIs oder Datenbanken aufruft, statt zu versuchen, Antworten aus dem Gedächtnis zu berechnen. Ein Planungsmuster, das komplexe Ziele in aufeinanderfolgende Schritte zerlegt. Und ein Orchestrierungsmuster, bei dem ein Supervisor-Agent den gesamten Workflow steuert und Aufgaben an den richtigen Spezialisten weiterleitet.

Als wir dieses Logistiksystem mit Multi-Agenten-Orchestrierung neu aufbauten, stieg die Extraktionsgenauigkeit bei nicht standardisierten Dokumenten von rund 60% auf über 95%. Noch wichtiger: Wenn es doch einmal scheiterte, konnten wir genau sehen, wo und warum — weil das System keine Blackbox mehr war. Es war eine Pipeline mit beobachtbaren, auditierbaren Schritten.

Warum ruinieren Token-Kosten den KI-ROI von Großunternehmen?

Das ist der Teil, der zu wenig Aufmerksamkeit bekommt.

Alle reden über Modellgenauigkeit. Fast niemand redet über die Stückkosten des Betriebs dieser Systeme im großen Maßstab. Aber ich habe zugesehen, wie Token-Kosten leise den Business Case für KI-Projekte ermordet haben, die ansonsten perfekt funktionierten.

Die Rechnung ist simpel, aber brutal. Verschiedene Modelle tokenisieren Text unterschiedlich — insbesondere nicht-englischen Text und komplexe Schriftsysteme. Eine Anfrage, die bei einem Modell 800 Tokens kostet, kann bei einem anderen 4.500 kosten. Multiplizieren Sie das mit Hunderttausenden täglicher Interaktionen, und Sie stehen vor einem Kostenunterschied, der sämtliche Effizienzgewinne zunichtemacht, die die KI eigentlich liefern sollte.

Ich hatte einen Moment echter Alarmbereitschaft, als wir die Tokenisierungsanalyse für einen Kunden durchführten, der auf Tamil und Englisch arbeitet. Der Kostenunterschied zwischen ihrem aktuellen Modell und einer effizienteren Alternative betrug das 4,5-Fache. Sie bluteten bei jeder einzelnen Interaktion Geld und schrieben es in ihrem Budget den „Infrastrukturkosten“ zu. Niemand war auf die Idee gekommen, sich den Tokenizer anzusehen.

Deep-AI-Systeme begegnen dem, indem sie chirurgisch genau damit umgehen, wann sie teure LLM-Tokens einsetzen. Aufgaben mit hohem Volumen und geringer Komplexität werden von kleineren Modellen oder deterministischer Logik erledigt. Die teure Schlussfolgerungsfähigkeit bleibt den Schritten vorbehalten, in denen sie wirklich zählt. Es ist der Unterschied, ob man einen Senior Consultant für jeden einzelnen Telefonanruf engagiert oder ihn sich auf die Entscheidungen konzentrieren lässt, die Urteilsvermögen erfordern.

Die 10-20-70-Regel, an die sich niemand hält

Wenn ich mit Führungskräften darüber spreche, warum ihre KI-Projekte ins Stocken geraten sind, zeigen sie fast immer auf die Technologie. Das Modell war nicht gut genug. Die Daten waren nicht sauber. Die Integration war zu komplex.

Mit all dem liegen sie nicht falsch. Aber sie übersehen das eigentliche Verhältnis. Die Unternehmen, die tatsächlich EBIT-Wirkung sehen — und laut McKinsey erzielen nur 6% mehr als 5% ihres gesamten EBIT aus KI —, folgen einer Ressourcenverteilung, die die meisten Technologen überraschen würde:

10% des Aufwands entfallen auf die Auswahl und Feinabstimmung der Algorithmen. 20% entfallen auf den Aufbau der Daten- und Technologieinfrastruktur. 70% entfallen auf das Management von Menschen, Prozessen und kulturellem Wandel.

Siebzig Prozent. Nicht für Technologie. Dafür, Menschen dazu zu bringen, ihre Arbeitsweise zu ändern.

Ich habe mich dieser Idee länger widersetzt, als ich hätte sollen. Ich bin instinktiv Ingenieur. Ich wollte glauben, dass die Akzeptanz schon folgen würde, wenn wir nur ein besseres System bauten. Es brauchte ein schmerzhaftes Projekt — eines, bei dem wir eine technisch exzellente Lösung lieferten, die drei Monate lang ungenutzt blieb, weil niemand den Workflow drumherum neu gestaltet hatte —, um zu verinnerlichen, dass die Technologie der einfache Teil ist.

Mittelständische Firmen, die dem 10-20-70-Prinzip folgen, verbessern ihr EBITDA innerhalb von 24 Monaten um 160 bis 280 Basispunkte. Diejenigen, die 70% für Technologie und 10% für Change Management ausgeben, bekommen teure Shelfware.

Die Erfolge sind nicht glamourös. Revenue Cycle Management. Automatisierung des Zahlungsabgleichs. Optimierung der Cloud-Kosten. Niemand schreibt atemlose LinkedIn-Posts darüber, Rückstände bei entlassenen, aber noch nicht endabgerechneten Forderungen zu reduzieren. Aber das Inova Health System reduzierte diesen Rückstand um 50% und sparte jährlich 1,3 Millionen US-Dollar. Die KI-gestützten virtuellen Assistenten von OSF HealthCare sparten 1,2 Millionen US-Dollar ein und steigerten zugleich den Umsatz um weitere 1,2 Millionen US-Dollar. UPS spart durch KI-basierte Routenplanung 400 Millionen US-Dollar pro Jahr.

Das sind keine Pilotergebnisse. Das sind Produktionssysteme, die im großen Maßstab laufen, gebaut mit der Art von tiefer Integration, an die Wrapper nicht heranreichen.

Was passiert, wenn KI-Agenten anfangen, eigenständig zu handeln?

Der Wandel von KI, die Fragen beantwortet, zu KI, die Handlungen ausführt, verändert das Sicherheitskalkül vollständig.

Ich habe viel darüber nachgedacht, auch wegen eines Beinahe-Zwischenfalls bei einem Test. Wir bauten ein agentisches System, das auf das ERP eines Kunden zugreifen musste, um Bestandsdaten abzurufen. Während eines Testlaufs versuchte der Agent — einer Argumentationskette folgend, die technisch logisch, kontextuell aber falsch war —, eine Bestellung zu ändern, statt sie nur zu lesen. Wir hatten Schutzmechanismen eingebaut. Es ging nicht durch. Aber ich saß danach an meinem Schreibtisch und dachte darüber nach, was passiert wäre, wenn wir weniger sorgfältig gewesen wären.

Genau deshalb sind Standards wie das Model Context Protocol (MCP) und das NANDA-Framework so wichtig. MCP — entwickelt von Anthropic — fungiert als standardisierte Integrationsschicht zwischen KI-Agenten und Unternehmensdatenquellen. Man nennt es das „USB-C der KI“, was treffend ist: Es bedeutet, dass man nicht für jede Verbindung maßgeschneiderte, fragile Integrationen braucht. NANDA liefert die Governance-Schicht — kryptografisch verifizierbare Fähigkeitsattestierung (das heißt, man kann nachweisen, was ein Agent darf und was nicht), auf autonome Agenten ausgeweitete Zero-Trust-Zugriffskontrollen und zentralisierte Audit-Trails.

Für die vollständige technische Aufschlüsselung dieser Architekturmuster und wie sie zusammenspielen, siehe unsere Forschungsarbeit.

Der Punkt ist nicht, dass agentische KI gefährlich ist und wir langsamer machen sollten. Der Punkt ist, dass der Wrapper-Ansatz — bei dem man nur minimale Einsicht hat, was das Modell tut und warum — geradezu fahrlässig wird, sobald das Modell reale Handlungen ausführen kann. Deep-AI-Systeme mit beobachtbaren, gesteuerten Workflows sind nicht nur besseres Engineering. Sie sind die einzige verantwortungsvolle Art, autonome Agenten in einem Großunternehmen einzusetzen.

„Nimm doch einfach GPT“ und andere teure Ratschläge

Leute fragen mich ständig, ob sie nicht einfach warten sollten, bis die Modelle besser werden. „GPT-5 wird das lösen“, hörte ich einen Investor bei einem Abendessen sagen. „Warum diese ganze Infrastruktur bauen, wenn die nächste Modellversion das nativ erledigt?“

Ich verstehe den Reiz dieses Arguments. Es ist sauber. Es erfordert keine harte Arbeit. Und es ist falsch.

Bessere Modelle beheben das Wrapper-Problem nicht. Sie verschlimmern es. Ein leistungsfähigeres Modell in einer Mega-Prompt-Architektur ist, als baue man einen Formel-1-Motor in ein Auto ohne Lenkrad. Man fährt schneller in die falsche Richtung. Die Probleme, die KI in Großunternehmen umbringen — fehlende Auditierbarkeit, brüchige Prompts, keine Feedback-Schleifen, fehlender Geschäftskontext, unkontrollierte Kosten —, sind Architekturprobleme, keine Fähigkeitsprobleme.

Die Schatten-KI-Ökonomie beweist das. Über 90% der Beschäftigten nutzen bereits heimlich private ChatGPT- oder Claude-Konten für die Arbeit, weil die offiziellen KI-Tools ihres Unternehmens zu starr sind. Die Modelle sind leistungsfähig genug. Die Systeme drumherum sind es nicht.

Bessere Modelle retten keine schlechte Architektur. Sie halluzinieren nur schneller und selbstbewusster.

Die andere Frage, die mir gestellt wird, betrifft den Zeitrahmen. „Wie lange dauert das eigentlich?“ Die ehrliche Antwort lautet: 12 bis 18 Monate, um von verstreuten Experimenten zu KI zu kommen, die die Gewinn- und Verlustrechnung bewegt. Die ersten drei Monate sind Discovery — herausfinden, wo KI Wert schaffen kann, ohne regulatorische Risiken zu erzeugen. Die Monate drei bis sechs sind Datenbereitschaft, und genau dort bleiben laut 58% der CXOs die Projekte stecken. Die Monate sechs bis zwölf bestehen aus dem Bauen und Iterieren von Multi-Agenten-Prototypen — und ich meine über 30 Iterationszyklen gegen reale Daten, nicht drei polierte Demos. Die letzte Phase ist die Produktionsbereitstellung mit vollständigem operativem Support: Drift-Erkennung, Bias-Monitoring, Kostensteuerung.

Es ist nicht schnell. Es ist nicht einfach. Aber die Unternehmen, die es tun, sind diejenigen, die in McKinseys 6% mit echter EBIT-Wirkung auftauchen.

Die Kluft ist eine Entscheidung

Die „GenAI-Kluft“, die das MIT identifiziert hat, ist keine Technologielücke. Sie ist eine Entscheidungslücke.

Auf der einen Seite: Unternehmen, die generative KI als Produkt zum Kaufen behandelt haben, als Wrapper zum Ausrollen, als Demo für den Vorstand. Sie sind die 95%. Sie haben echtes Geld ausgegeben und Pressemitteilungen bekommen.

Auf der anderen Seite: Unternehmen, die KI als architektonische Herausforderung behandelt haben — eine, die es erfordert, Probleme zu zerlegen, Workflows zu steuern, Prozesse neu zu gestalten und die unglamouröse Arbeit zu leisten, Modelle mit der unsauberen Realität von Unternehmensdaten zu verbinden. Sie sind die 5%. Sie haben ähnlich viel Geld ausgegeben und EBIT-Wirkung bekommen.

Ich denke manchmal an diesen CTO aus dem Gesundheitswesen. An den, der mich an einem Dienstag anrief, erschöpft, nachdem er gerade sein KI-Projekt eingestellt hatte. Vier Monate später rief er wieder an. Sein Team hatte das System mit einem Multi-Agenten-Ansatz neu gebaut — separate Agenten für Datenextraktion, Code-Validierung und Compliance-Prüfung, mit deterministischen Übergaben dazwischen. Es war nicht so elegant wie die ursprüngliche Demo. Der Bau dauerte länger. Es erforderte mehr Vorabdenken über Workflow-Design und Fehlermodi.

Es funktionierte. Nicht perfekt — nichts tut das —, aber zuverlässig genug, um es einzusetzen, zu auditieren und zu verbessern. Zuverlässig genug, um in einer Gewinn- und Verlustrechnung aufzutauchen.

Die Ära, in der KI wie ein Zaubertrick behandelt wurde, ist vorbei. Was als Nächstes kommt, ist schwerer, langsamer und weniger fotogen. Es ist auch das Einzige, was tatsächlich funktioniert.