Das grüne Dashboard hat gelogen: Was die Validierung von Enterprise-KI wirklich testen muss

Einen guten Teil meiner Laufbahn habe ich als die Person im Raum verbracht, deren Aufgabe es ist zu sagen: "Nein, dieses Modell ist noch nicht validiert." Im Bankwesen trägt diese Funktion einen trockenen Namen — unabhängige Modellvalidierung nach SR 11-7, der Leitlinie von Federal Reserve und OCC, die das Modellrisiko seit 2011 regelt. Die Arbeit ist genau so glamourös, wie sie klingt. Man liest den Anhang zu den Einschränkungen, den sonst niemand liest. Man fragt den Anbieter, wie sich das Modell bei den Fällen verhält, die nicht in der Demo vorkommen. Und hin und wieder sitzt man in einem Prüfungsausschuss vor einem Dashboard, das vollständig und beruhigend grün ist — jedes Kästchen abgehakt, jede Richtlinie zugeordnet, jeder Compliance-Status im Normalbereich —, während man mit einem flauen Gefühl weiß, dass das Grün einem fast nichts darüber sagt, ob die Sache tatsächlich funktioniert.

Um diese Lücke geht es in diesem gesamten Essay, und deshalb haben wir Veriprajnas Praxis für die Validierung von Enterprise-KI rund um eine einzige unmoderne Idee aufgebaut: Man muss die Antworten testen, nicht den Prozess. Ein Governance-Dashboard bescheinigt, dass ein Verfahren eingehalten wurde. Es bescheinigt nicht, dass Ihre KI für diesen Versicherungsnehmer, diesen Kredit, dieses Gesetz die richtige Antwort gegeben hat. Beides wird in Vorstandssitzungen ständig verwechselt, und die Verwechslung ist teuer.

Lassen Sie mich zeigen, wie teuer.

Klarna sparte 40 % — und verlor dann 99 Millionen Dollar

2024 verkündete Klarna der Welt, sein KI-Assistent habe 700 Kundendienstmitarbeiter ersetzt. Der Assistent wickelte rund zwei Drittel der Chats in 35 Sprachen ab. Die Kosten pro Transaktion sanken von 0.32 auf 0.19 Dollar — etwa 40 % — und die Schlagzeilen schrieben sich von selbst. Das war die Zukunft: schlanker, schneller, billiger.

Bis Mitte 2025 zog das Unternehmen Softwareentwickler und Marketingfachleute ab, um die Callcenter zu besetzen. Die CSAT-Werte waren um 22 % gefallen. Bei den schwierigen Themen gerieten Kunden in das, was die Presse eine "kafkaeske Schleife" nannte — strittige Abbuchungen, angefochtene Rückerstattungen, Kontoschließungen. Klarnas erstes Quartal 2025 endete mit einem Nettoverlust von 99 Millionen Dollar, gegenüber 47 Millionen Dollar im Vorjahr, trotz 15 % Umsatzwachstum. Der CEO räumte ein, dass die Automatisierung in großem Maßstab "zu einem Rückgang der Servicequalität geführt" habe.

Hier ist der Teil, den ich eine Weile brauchte, um ihn zu verinnerlichen, und er ist das Gegenteil der Lehre, die die meisten daraus zogen. Klarnas KI funktionierte. Sie sparte tatsächlich Geld bei Passwort-Zurücksetzungen und Fragen zum Bestellstatus. Das Versagen bestand nicht darin, dass die KI schlecht war. Das Versagen bestand darin, dass niemand validierte, ob sie die 20 % der Interaktionen bewältigen konnte, die das meiste finanzielle und reputationsbezogene Gewicht tragen — die Streitfälle, die Grenzfälle, die Dinge, die zu Abwanderung und Beschwerden werden. Ein Toxizitätsfilter hätte jede einzelne dieser gescheiterten Konversationen durchgewinkt. Die KI war höflich, während sie versagte.

Die KI sagte nichts Anstößiges. Sie konnte nur eine Rückerstattung in mehreren Währungen nicht bewältigen, bei der ein stornierter Flug und eine strittige Abbuchung zusammenkamen — und das waren die 20 %, auf die es ankam.

Klarna ist kein Ausreißer. Es ist die sichtbare Version von etwas, das sich still in jedem Unternehmen abspielt, mit dem ich spreche. Irgendwo zwischen 70 % und 85 % der Enterprise-KI-Projekte erreichen überhaupt nie die Produktion — eine Zahl, bei der RAND, Gartner, BCG und McKinsey unabhängig voneinander alle in der Nähe gelandet sind. Die NANDA-Studie des MIT ergab 2025, dass 95 % der KI-Pilotprojekte keine messbare Auswirkung auf Gewinn und Verlust hatten. McKinsey berichtete, dass 42 % der Unternehmen 2025 die meisten ihrer KI-Initiativen aufgaben, gegenüber 17 % im Jahr zuvor. Die Pilotprojekte präsentieren sich wunderbar. Sie sterben beim Kontakt mit den Fällen, die die Demo nie gezeigt hat.

Zuerst bauten wir das Falsche

Ich möchte ehrlich sein, wie wir dazu kamen, Antworten statt Prozesse zu testen, denn wir kamen nicht durch Cleverness dorthin. Wir kamen dorthin, indem wir etwas auslieferten, das nicht funktionierte, und zusahen, wie es vor einem Kunden versagte.

Unsere erste Version einer KI-Validierungsschicht war, im Rückblick, genau das, was der Markt ohnehin schon verkaufte. Wir verkabelten ein respektables Guardrail-Framework — Inhaltsmoderation, PII-Erkennung, Jailbreak-Prüfungen —, schnallten Drift- und Fairness-Überwachung obendrauf und stellten das Ganze als saubere Compliance-Ansicht dar. Eingaben gescannt. Ausgaben auf Toxizität und durchgesickerte persönliche Daten gescannt. Ein Dashboard, das grün wurde. Ich war stolz darauf. Es sah nach Governance aus.

Wir setzten es in einem Pilotprojekt in einem regulierten Finanz-Workflow ein, und schon in den ersten Wochen produzierte die KI eine Antwort, die selbstbewusst und gut formatiert war, frei von allem Toxischen, ohne durchgesickerte PII — und schlicht falsch in Bezug auf eine Fachregel. Unser System ließ sie durch. Jede Prüfung, die wir gebaut hatten, war grün. Der Fehler lag in der Substanz der Antwort, an einer Stelle, an der keiner unserer Guardrails hinsah, weil keiner die Fachdomäne gut genug verstand, um zu erkennen, dass die Antwort falsch war.

Das war der Monat, in dem ich aufhörte, an die Kategorie zu glauben, in die wir hineingebaut hatten. Ich hatte Jahre in der Modellvalidierung verbracht und dies im Bankkontext gewusst, und trotzdem hatte ich ein Werkzeug gebaut, das denselben Fehler machte, den zu erwischen ich meine ganze Laufbahn verbracht hatte. Security ist nicht Korrektheit. Safety ist nicht Korrektheit. Ein grünes Dashboard ist nicht Korrektheit.

Eine KI, die gegen Prompt Injection abgesichert ist, kann trotzdem eine Rückstellung falsch berechnen, ein aufgehobenes Gesetz zitieren oder einen Kredit genehmigen, der gegen Fair-Lending-Regeln verstößt. Safety und Korrektheit sind verschiedene Probleme, und fast niemand testet das zweite.

Warum hören die Werkzeuge, von denen Sie gehört haben, dort auf, wo sie aufhören?

Es gibt inzwischen einen echten, gut finanzierten Markt für KI-Werkzeuge, der mit etwa 45 % jährlicher Wachstumsrate wächst, und ich möchte ihm nicht unrecht tun. Die meisten dieser Produkte erledigen ihre eigentliche Aufgabe gut. Das Problem ist, dass ihre eigentliche Aufgabe nicht die Aufgabe ist, die die meisten Käufer zu kaufen glauben.

Die Governance-Plattformen — Credo AI, IBMs watsonx.governance, ModelOp — ordnen Ihre KI-Initiativen regulatorischen Rahmenwerken zu und verfolgen den Compliance-Status. Credo AI belegte auf der Fast-Company-Liste 2026 Platz 6 in der Kategorie Applied AI, neben Google, Nvidia und Anthropic; das ist ernstzunehmende Arbeit. Aber Richtlinien-Compliance ist nicht Ausgabekorrektheit. Ein grünes Richtlinien-Dashboard bedeutet, dass der Papierkram in Ordnung ist, nicht dass die KI für Ihren spezifischen Anwendungsfall richtige Antworten gibt.

Die Überwachungswerkzeuge — Arthur, Galileo, Arize — beobachten Kennzahlen auf Modellebene in Echtzeit: Drift, Fairness, Latenz, Token-Verteilungen. Nützlich. Aber sie überwachen das aggregierte Verhalten des Modells, nicht ob eine bestimmte Versicherungsberechnung angesichts der Deckungsbedingungen eines bestimmten Versicherungsnehmers korrekt ist. Die Security-Werkzeuge gehen eine Ebene tiefer — Cisco zahlte im Oktober 2024 rund 400 Millionen Dollar für Robust Intelligence und integrierte es in Cisco AI Defense, wobei Erkennungen auf OWASP und MITRE ATLAS abgebildet werden. Das ist notwendig. Es geht dabei aber ebenfalls darum, ob das Modell angegriffen werden kann, nicht ob es richtig ist.

Dann gibt es die Guardrail-Frameworks, NVIDIAs NeMo Guardrails und dergleichen, die gut in Inhaltsmoderation, PII und Themenfilterung sind — und von denen NVIDIA selbst sorgfältig betont, dass sie nicht alles abfangen können, weil die Selbstprüfmechanismen von genau den Modellen abhängen, die sie absichern. Und es gibt die Big Four, die Ihnen eine Governance-Strategie für irgendwo zwischen 500.000 und 5 Millionen Dollar über 6 bis 18 Monate verkaufen und Ihnen am Ende ein PowerPoint und eine Anbieter-Shortlist in die Hand drücken — ein Rahmenwerk, kein laufendes System, das Ihnen sagt, dass Ihre KI an einem Dienstag falsch liegt.

Jedes davon hat eine Spalte, an der sein Nutzen endet. Stapelt man sie alle, hat man Richtlinien, Security, Drift und Inhaltssicherheit abgedeckt. Man hat immer noch nicht die Frage beantwortet, die tatsächlich darüber entscheidet, ob der Einsatz überlebt oder scheitert: Ist die Antwort für diesen Fall korrekt?

Das 69-%-Problem

Wenn Sie die Zahl wollen, die mir das konkret gemacht hat, dann ist es diese. Bei juristischen Due-Diligence-Aufgaben haben unabhängige Tests die KI-Fehlerquoten zwischen 69 % und 88 % angesiedelt — weit über dem, was die Anbieter-Benchmarks nahelegen. Lassen Sie das wirken. Nicht 6.9 %. Neunundsechzig bis achtundachtzig.

Und das sind keine Fehler, die ein Guardrail abfängt, denn sie sind weder anstößig noch unsicher. Sie sind auf eine Weise falsch, die nur jemand erkennen kann, der die Fachdomäne kennt. Bis Ende 2025 gab es mehr als 729 dokumentierte Vorfälle von KI-Halluzinationen in Gerichtseingaben — gegenüber 280 im Jahr zuvor. Gerichte begannen, Menschen mit Bußgeldern zu belegen. In einem Fall, Doiban v. OLCC, belief sich die Sanktion auf 500 Dollar für jedes der 15 erfundenen Zitate plus 1,000 Dollar für die Zeit des gegnerischen Anwalts, der Phantomfälle aufspürte, die es nicht gab. Eine der größten US-Anwaltskanzleien verzeichnete in sechs Monaten drei separate Halluzinationsvorfälle.

Das sind Fachleute, die ihre Arbeit doppelt prüfen, in einem Feld, in dem Fehler Konsequenzen haben — und trotzdem erfand die KI Rechtsprechung überzeugend genug, um in eine Gerichtseingabe zu gelangen. Das ist die Beschaffenheit des Versagens. Es ist flüssig, plausibel und falsch, und es sitzt genau in dem Fachwissen, das eine generische Überwachung nicht bewerten kann.

Was validieren Sie, wenn der Anbieter die Box nicht öffnet?

In regulierten Branchen ist das kein interessantes Engineering-Problem mehr, sondern wird zu einem rechtlichen. Wenn ein Modell die Risikoprüfung, die Rückstellungsbildung oder das Kapital beeinflusst, verlangen SR 11-7 im US-Bankwesen — und Solvency II Säule 2 für europäische Versicherer —, dass es unabhängig validiert, dokumentiert und kontinuierlich überwacht wird. Diese Verpflichtung gilt nun auch für große Sprachmodelle; einem Regulierer ist es egal, dass Ihr Modell zufällig ein LLM ist.

Und hier ist das Dilemma, in das ich immer wieder geriet. Die Validierung nach SR 11-7 stützt sich traditionell darauf, das Modell zu verstehen — seine Annahmen, seine Interna, seine Grenzen. Aber die LLM-Anbieter sagen Ihnen nicht, wie das Modell funktioniert. Ich habe die E-Mail in meinem Archiv, in verschiedenen Formulierungen: Wir können die Interna des Modells nicht offenlegen. Sie sind gesetzlich verpflichtet, etwas zu validieren, das der Anbieter sich weigert zu öffnen.

Der einzige Ausweg aus diesem Dilemma besteht darin, nicht länger zu versuchen, die Gewichte zu inspizieren, und stattdessen damit zu beginnen, die Ausgaben anhand der Ground Truth der Fachdomäne zu bewerten. Man baut einen Bestand an Fällen auf, bei denen man die richtige Antwort kennt — wie eine Long-Tail-Haftungsrückstellung anzusetzen ist, wenn ein Sublimit einer Police und ein Deckungsausschluss zusammenwirken, was ein aufgehobenes Gesetz bedeutet, wie eine Fair-Lending-Regel anzuwenden ist — und man testet, ob die KI sie richtig beantwortet, in großem Maßstab, kontinuierlich, jedes Mal, wenn das Modell aktualisiert oder neu abgestimmt wird. Man validiert das Verhalten, das man sehen kann, denn es ist ohnehin das Verhalten, das der Regulierer und der Kunde erleben. Das ist der Kern dessen, was wir heute bauen, und es ist der einzige Ansatz, der funktioniert, ob der Anbieter die Box je öffnet oder nicht.

Wenn man nicht ins Modell hineinsehen kann, ist die Ausgabeebene der einzige ehrliche Ort, der zum Validieren bleibt — und praktischerweise ist es die einzige Ebene, die Ihr Kunde und Ihr Regulierer jemals tatsächlich berühren.

Warum "Kaufen Sie einfach eine Plattform" aufhörte, die Antwort zu sein

Es findet ein stiller Aufstand darin statt, wie Unternehmen KI bauen, und er betrifft die Validierung unmittelbar. Retools Build-versus-Buy-Bericht 2026 ergab, dass 35 % der Teams bereits mindestens ein SaaS-Werkzeug durch eine Eigenentwicklung ersetzt haben und 78 % erwarten, mehr zu bauen. Maßgeschneiderte Lösungen, die auf die spezifische Geschäftslogik abgestimmt sind, weisen das 3- bis 5-Fache der Rendite generischer Wrapper auf — teils weil rund 65 % der Softwarekosten nach der Bereitstellung anfallen, bei der Integration und der Wartung und den Dingen, die der Wrapper nicht ganz erledigte.

Aber es gibt einen Haken, den die "Bau es einfach selbst"-Fraktion übersieht. Eine maßgeschneiderte Validierung richtig aufzubauen erfordert ML-Infrastrukturteams, die die meisten Unternehmen nicht haben. Die tatsächliche Landschaft ist also nicht Wrapper gegen Eigenbau. Es sind drei Optionen: ein generischer Wrapper, der Ihre Fachdomäne nicht versteht, ein Do-it-yourself-Projekt, für das Sie nicht das Personal haben, oder Systeme von Fachexperten, die von Leuten für Ihre spezifische Branche gebaut werden, die diese Validierungsarbeit schon zuvor geleistet haben. Diese dritte Option ist die Lücke, in der zu leben wir uns entschieden haben. Kein Dashboard, das Sie lizenzieren. Keine Plattform, für die Sie Personal stellen. Eine Validierungsschicht, die um die tatsächliche Wahrheit Ihrer Fachdomäne herum gebaut ist.

"Deckt das Governance-Werkzeug, das wir bereits gekauft haben, das nicht ab?"

Man stellt mir ständig eine Variante dieser Frage, meist mit einem hoffnungsvollen Unterton, weil das Budget bereits ausgegeben ist. Die ehrliche Antwort lautet: Ihr Governance-Werkzeug deckt Governance ab — und Governance ist wirklich notwendig. Behalten Sie es. Es validiert nur nicht die Korrektheit, und dafür wurde es nie gebaut.

Das Zweite, wonach sie fragen, ist die KI, die sie nicht sehen können — die Schatten-KI. Diese lässt Risikoverantwortliche nachts nicht schlafen, und die Zahlen sagen, dass es so sein sollte: 78 % der Beschäftigten nutzen KI-Werkzeuge, die ihr Arbeitgeber nicht bereitgestellt hat, und 77 % von ihnen haben sensible oder geschützte Informationen in diese Werkzeuge eingegeben. Sowohl Samsung als auch Amazon entdeckten ihren eigenen geschützten Code in öffentlichen KI-Diensten. Der durchschnittliche Schatten-KI-Vorfall beläuft sich auf 4.63 Millionen Dollar. Gartners eigene Einordnung ist die unbequeme — die große Mehrheit der unbefugten KI-Aktivität stammt aus internen Richtlinienverstößen, übermäßigem Teilen und Missbrauch, nicht von externen Angreifern. Ihre Governance-Plattform kann nicht regeln, was sie nicht sehen kann, und Validierung muss damit beginnen, herauszufinden, was tatsächlich läuft.

Die dritte Frage ist diejenige, die am schnellsten auf uns zukommt. Gartner prognostiziert, dass 40 % der Unternehmensanwendungen bis Ende 2026 autonome KI-Agenten einbetten werden — Agenten, die nicht nur antworten, sondern handeln: Datenbanken verändern, Transaktionen ausführen, Kundenkommunikation versenden. Nur etwa ein Drittel der Organisationen berichtet von ausgereifter Governance für all dies. Wenn ein Agent eine unumkehrbare Handlung vornehmen kann, verschiebt sich die Validierungsfrage von "Hat er das Richtige gesagt" zu "Hat er das Richtige getan", und eine falsche Handlung, die man nicht rückgängig machen kann, ist eine andere Risikokategorie als ein falscher Satz. Die für Chatbots gebaute Überwachung war nie dafür ausgelegt.

Die Straftabelle, die niemand auf der Vorstandsfolie haben will

Ich schließe mit der Zahl, die die Debatte meist beendet, weil sie die Kosten des Nicht-Validierens für einen CFO auf eine Weise greifbar macht, wie es Fehlerquoten nicht tun.

Ab dem 2. August 2026 treten die meisten der verbleibenden Pflichten des EU AI Act in Kraft — die Regeln für Hochrisikosysteme, die Transparenzanforderungen nach Artikel 50. Die Strafe für verbotene Praktiken beträgt bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes; Nichteinhaltung bei Hochrisikosystemen bis zu 15 Millionen Euro oder 3 %. Finnland wurde im Januar 2026 der erste Mitgliedstaat mit voll funktionsfähigen Durchsetzungsbefugnissen. Das ist kein Zukunftsmemo mehr. Es ist ein Posten mit einem Datum darauf.

Rechnen Sie den Rest der Rechnung für ausgelassene Validierung zusammen: 4.63 Millionen Dollar pro Schatten-KI-Vorfall, über 1 Million Dollar pro Stunde während eines größeren KI-Ausfalls, 99 Millionen Dollar, wenn die Servicequalität still zusammenbricht, sechsstellige Sanktionen pro Halluzinationsvorfall und eine EU-Strafe, die in Prozentpunkten des weltweiten Umsatzes bemessen wird. Gegen all das sind die Kosten, Ihre KI richtig zu validieren — die Antworten zu testen, gegen Ihre Fachdomäne, kontinuierlich —, ein Rundungsfehler. Dennoch behandeln die meisten Unternehmen Validierung immer noch als ein Kästchen, das sie einmal abhaken, nicht als eine Disziplin, die sie betreiben.

Das grüne Dashboard sagte ihnen, alles sei in Ordnung. Das Problem ist, dass das Dashboard das Falsche bewertete. Es prüfte, ob sie den Prozess eingehalten hatten — das Einzige, das leicht zu prüfen und ungefährlich zu verantworten ist, was genau der Grund ist, warum es in Vorstandspräsentationen überlebt, lange nachdem es aufgehört hat, etwas zu bedeuten. Es fragte kein einziges Mal, ob die Antwort richtig war — und dass die Antwort richtig ist, war das Einzige, worauf es dem Kunden, dem Regulierer und der Verlustspalte je ankam. Wenn Sie sehen möchten, wie wir stattdessen darauf testen, haben wir den Ansatz hier beschrieben.

Ich habe die SR-11-7-Checkliste mit den vier Säulen noch immer dort, wo ich sie sehen kann, und die vierte Säule ist die Überwachung — die nur dann etwas bedeutet, wenn man das Richtige überwacht. Ein Dashboard, das Ihren Prozess bewertet, wird dort grün leuchten, während Ihre KI still die Rückerstattung in mehreren Währungen, die strittige Rückstellung, das aufgehobene Gesetz vermasselt. Klarnas war ebenfalls grün, bis zu genau dem Quartal, in dem es 99 Millionen Dollar verlor. Die Validierung, die Sie tatsächlich schützt, ist die unglamouröse Arbeit, die ich meine ganze Laufbahn lang gemacht habe: Sammeln Sie die Fälle, bei denen Sie die richtige Antwort bereits kennen, und prüfen Sie — wieder und wieder, jedes Mal, wenn sich das Modell ändert —, ob die Maschine sie immer noch richtig beantwortet.