Die 400.000-Dollar-Strafe, die jedem KI-Unternehmen Angst machen sollte — und was ich stattdessen baue

Ich war gerade in einem Gespräch mit einem potenziellen Bankkunden, als die SEC die Durchsetzungsmaßnahmen gegen Delphia und Global Predictions bekannt gab. 18. März 2024. Die Compliance-Verantwortliche des Kunden unterbrach unser Gespräch buchstäblich, um die Pressemitteilung laut vorzulesen. Als sie fertig war, entstand dieses lange Schweigen. Dann sagte sie: „Im Grunde hat die SEC uns also gerade mitgeteilt, dass alles, was uns unser derzeitiger KI-Anbieter versprochen hat, eine Klage ist, die nur darauf wartet, eingereicht zu werden.“

Sie lag nicht falsch. Die SEC hatte gerade gegen zwei Anlageberatungsfirmen Geldstrafen von insgesamt 400.000 US-Dollar verhängt — für das, was die Aufsichtsbehörden formell als AI-Washing bezeichneten: falsche und irreführende Behauptungen über den eigenen Einsatz künstlicher Intelligenz. Eine der Firmen, Delphia, hatte ihren Kunden seit 2019 erzählt, sie nutze maschinelles Lernen, um deren Ausgabemuster und Social-Media-Aktivitäten zu analysieren und so „vorherzusagen, welche Unternehmen und Trends kurz vor dem großen Durchbruch stehen“. Die Realität? Sie hatten keine dieser Daten jemals tatsächlich in ihren Anlageprozess integriert. Kein einziges Mal. Sie vermarkteten eine Fähigkeit, die buchstäblich nicht existierte.

Dieses Telefonat veränderte die Richtung meines Unternehmens. Nicht weil mich die Durchsetzungsmaßnahmen überrascht hätten — ich hatte diesen Zusammenprall von KI-Hype und regulatorischer Realität schon seit Monaten beobachtet. Was sich änderte, war die Dringlichkeit. Plötzlich fragte keine Bank, kein Gesundheitssystem, keine Kanzlei, mit der ich sprach, mehr: „Wie führen wir KI ein?“ Sie fragten: „Wie beweisen wir, dass unsere KI wirklich das tut, was wir behaupten?“

Diese Frage — wie konstruiert man beweisbare Wahrheit in ein KI-System ein — versuche ich seitdem besessen zu beantworten.

Was genau ist AI-Washing, und warum sollte es Sie interessieren?

Stellen Sie sich Greenwashing vor, nur für Algorithmen. Ein Unternehmen klebt „powered by AI“ auf seine Marketingmaterialien, sieht zu, wie der Aktienkurs steigt oder sich die Kundenpipeline füllt, und niemand fragt, ob die Technologie darunter tatsächlich so funktioniert wie beworben. Die SEC hat den Begriff bewusst übernommen — die Täuschungsmechanik ist identisch.

Delphia behauptete, ein „prädiktives algorithmisches Modell“ auf Basis von maschinellem Lernen einzusetzen. Die SEC prüfte das Unternehmen, forderte es 2021 auf, mit den Falschaussagen aufzuhören, und es machte weiter — noch zwei weitere Jahre lang. Das brachte ihnen eine Strafe von 225.000 US-Dollar und eine Rüge ein. Global Predictions wiederum bezeichnete sich selbst als „den ersten regulierten KI-Finanzberater“ und versprach „von KI gesteuerte Experten-Prognosen“. Als die Aufsichtsbehörden nach der technischen Dokumentation zur Untermauerung dieser Behauptungen fragten, konnte die Firma sie nicht vorlegen. Weitere 175.000 US-Dollar futsch.

Die SEC brauchte keine neue KI-spezifische Gesetzgebung, um diese Fälle zu verfolgen. Sie nutzte dieselben Betrugsbekämpfungsgesetze, die es seit Jahrzehnten gibt. Wenn Sie darüber lügen, was Ihre Technologie tut, begehen Sie Betrug. Der „KI“-Teil ist irrelevant.

Was das von einem typischen regulatorischen Klaps auf die Finger unterscheidet: SEC-Chef Gary Gensler stellte klar, dass dies erst der Anfang sei, kein Einzelfall. Und die SEC ist nicht allein. Die FTC startete „Operation AI Comply“ und ging gegen DoNotPay vor — das Unternehmen, das sich als „der weltweit erste Roboteranwalt“ vermarktete —, weil es seine Behauptung nicht belegen konnte, seine KI könne einen menschlichen Anwalt ersetzen. Das Justizministerium kündigte an, das KI-Risikomanagement im Rahmen der Compliance-Bewertung von Unternehmen zu prüfen und für Straftaten, die durch KI-Missbrauch erleichtert werden, härtere Strafen zu fordern.

Drei Bundesbehörden, die alle auf dieselbe Botschaft zulaufen: Beweisen Sie es — oder zahlen Sie dafür.

Die Nacht, in der mir klar wurde, dass die meiste Unternehmens-KI auf Sand gebaut ist

Ich erinnere mich an einen bestimmten Abend — mein Team und ich unterzogen ein „KI-gestütztes Rechtsrecherche-Tool“ eines Wettbewerbers, das ein Kunde in Erwägung zog, einem Benchmark. Wir stellten ihm eine ganz einfache Frage zu einer aktuellen Entscheidung eines Berufungsgerichts. Das Tool lieferte eine wunderschön formatierte Antwort mit drei Fallzitaten. Selbstbewusster Ton. Professionelle Sprache. Ein Problem: Eines der Zitate war komplett erfunden. Den Fall gab es nicht. Die anderen beiden existierten, sagten aber das Gegenteil von dem, was das Tool behauptete.

Mein Mitgründer sah mich an und sagte: „Das Ding schreibt wie ein Anwalt und schlussfolgert wie ein Papagei.“

Das ist das technische Kernproblem, und es ist kein Bug — es ist die Architektur. Die meisten Large Language Models arbeiten über Next-Token-Vorhersage. Sie berechnen die Wahrscheinlichkeit, welches Wort als Nächstes kommen sollte, gegeben alles, was zuvor kam. Die Mathematik ist elegant: eine Softmax-Funktion über die Ausgabewerte des Modells, die die wahrscheinlichste Fortsetzung auswählt. Aber „am wahrscheinlichsten“ und „wahr“ sind grundverschiedene Dinge. Das Modell hat kein inneres Konzept von Wahrheit. Es hat nie ein Gesetz gelesen und verstanden. Es hat Milliarden von Tokens verarbeitet und gelernt, welche Wörter tendenziell neben welchen anderen Wörtern auftauchen.

Zum Erzeugen von Marketingtexten oder zum Zusammenfassen von Besprechungsnotizen ist das in Ordnung. Wenn es darum geht, einer Bank zu sagen, ob eine Transaktion den Geldwäschevorschriften entspricht, oder einem Arzt, ob eine Wechselwirkung zwischen Medikamenten gefährlich ist, ist „statistisch plausibel“ rechtlich identisch mit „falsch“.

In regulierten Umgebungen ist „größtenteils korrekt“ keine Qualitätsstufe — es ist eine Haftungskategorie.

Und dennoch ist die überwiegende Mehrheit der „KI-Lösungen“, die derzeit an Unternehmen verkauft werden, das, was die Branche beschönigend „Wrapper“ nennt. Sie nehmen eine öffentliche API von OpenAI oder Anthropic, ergänzen etwas Prompt Engineering und eine hübsche Benutzeroberfläche und liefern aus. Der Wrapper hat keine Möglichkeit, seine eigene Schlussfolgerung zu verifizieren. Er kann nicht belegen, woher seine Antworten stammen. Er gibt einfach weiter, was das Basismodell erzeugt — Halluzinationen inklusive.

Ich habe dieses Problem ausführlich behandelt, und zwar in der interaktiven Fassung unserer Forschungsarbeit — die Kluft zwischen dem, was diese Systeme behaupten, und dem, was sie architektonisch können, ist gewaltig.

Warum scheitert RAG bei folgenreichen Entscheidungen?

Wenn ich dieses Problem einem technischen Publikum erkläre, sagt unweigerlich jemand: „Aber was ist mit RAG?“ Retrieval-Augmented Generation — der Ansatz, bei dem man dem Modell Zugriff auf eine Dokumentendatenbank gibt, damit es Dinge nachschlagen kann, statt sie zu erfinden. Es ist das Lieblingspflaster der Branche.

Hier liegt das Problem. Standard-Vector-RAG funktioniert, indem es Ihre Frage und Ihre Dokumente in mathematische Repräsentationen (Vektoren) umwandelt und dann die Dokumente findet, die Ihrer Frage in diesem abstrakten Raum am „nächsten“ liegen. Es ist eine semantische Ähnlichkeitssuche. Und für viele Anwendungen funktioniert das durchaus gut.

Aber „durchaus gut“ bricht in Bereichen zusammen, in denen die Beziehungen zwischen einzelnen Informationen genauso wichtig sind wie die Informationen selbst. Nehmen Sie die juristische Recherche. Ein Gerichtsfall existiert nicht einfach nur — er zitiert andere Fälle, hebt einige auf, bestätigt andere und ist in einer bestimmten Zuständigkeitshierarchie verortet. Wenn Sie eine Rechts-KI fragen: „Ist dieser Präzedenzfall noch geltendes Recht?“, kann eine Vektorsuche den Fall zutage fördern, weil die Wörter passen. Aber sie hat keine Möglichkeit, Ihnen zu sagen, dass der Fall sechs Monate später von einem höheren Gericht aufgehoben wurde. Sie kann nicht zwischen einer Zitierung und einer Verwerfung unterscheiden.

Mein Team hat wochenlang darüber gestritten. Ein Entwickler wollte unser Vektor-Retrieval weiter verbessern — bessere Embeddings, bessere Chunking-Strategien, ausgefeilteres Reranking. Eine andere Entwicklerin bestand immer wieder darauf, dass das Problem nicht die Qualität des Retrievals sei, sondern dessen Architektur. Dass das gesamte Paradigma des „Finde das nächstgelegene Dokument“ falsch sei für Bereiche, in denen die Beziehungen zwischen den Dokumenten die Bedeutung tragen.

Sie hatte recht. Und dieser Streit hat uns zu GraphRAG gebracht.

Was passiert, wenn man KI baut, die ihre Herleitung beweisen kann?

GraphRAG — genauer gesagt das, was wir Citation-Enforced GraphRAG nennen — ersetzt die unscharfe semantische Suche durch einen strukturierten Wissensgraphen. Statt Vektoren, die im abstrakten Raum schweben, bauen Sie eine explizite Karte davon, wie Informationen zusammenhängen. In einem juristischen Wissensgraphen ist eine Gerichtsentscheidung ein Knoten. Ihre Beziehung zu anderen Entscheidungen ist eine Kante — CITES, OVERRULES, AFFIRMS, INTERPRETS. Gesetze sind mit den Fällen verknüpft, die sie auslegen. Zuständigkeitshierarchien sind direkt kodiert.

Wenn die KI eine Antwort erzeugt, findet sie nicht einfach „ähnlichen“ Text. Sie durchläuft verifizierte Pfade im Graphen. Wenn sie behauptet, Fall A stütze Aussage B, muss es eine tatsächliche, prüfbare Verbindung im Graphen geben, die beide verknüpft. Wir setzen graph-constrained Decoding ein, um das Modell physisch daran zu hindern, eine Fundstelle auszugeben, die es nicht verifizieren kann. Das Modell kann eine Fundstelle buchstäblich nicht halluzinieren, weil die Architektur es nicht zulässt.

Das meine ich mit deterministischer KI. Nicht „wahrscheinlich richtig“. Beweisbar fundiert.

Der Unterschied zwischen Vector RAG und GraphRAG ist keine schrittweise Verbesserung — es ist der Unterschied zwischen dem Raten, welches Buch relevant ist, und dem tatsächlichen Lesen der Fußnoten.

Wir kombinieren das mit Multi-Agenten-Orchestrierung. Statt dass ein einziges Modell alles macht — Recherche, Verifikation, Schreiben — setzen wir spezialisierte Agenten ein. Ein Research-Agent ruft die Rohinformationen ab. Ein Verification-Agent gleicht sie mit dem Wissensgraphen ab. Ein Writer-Agent erzeugt die Ausgabe ausschließlich aus verifizierten Fakten. Diese Agenten durchlaufen das, was wir Cyclic Reflection Pattern nennen, und prüfen Entwürfe iterativ auf Halluzinationen, bevor ein Mensch das Ergebnis je zu sehen bekommt.

Das ist langsamer als ein Wrapper. Es kostet mehr im Aufbau. Und es ist die einzige Architektur, der ich eine Entscheidung anvertrauen würde, die am Ende vor einer Aufsichtsbehörde landen könnte.

Das Problem der Datensouveränität, über das niemand sprechen will

Es gibt noch eine weitere Dimension, die in der Debatte über AI-Washing meist ignoriert wird: wo die Daten liegen.

Ein Kunde aus dem Gesundheitswesen fragte mich einmal ganz direkt: „Wenn wir Ihr System nutzen — wohin gehen unsere Patientendaten?“ Als ich ihm sagte, dass sie seine Infrastruktur nie verlassen, wirkte er erleichtert. Dann erzählte er mir, dass sein früherer Anbieter — ein bekanntes KI-Unternehmen — diese Frage nicht klar beantworten konnte. Die Daten gingen in die Cloud des Anbieters, wurden auf geteilter Infrastruktur verarbeitet, und die Nutzungsbedingungen des Anbieters erlaubten es technisch, sie zur Verbesserung seiner Modelle zu verwenden.

Für ein Unternehmen, das Daten verarbeitet, die HIPAA, der DSGVO oder dem CCPA unterliegen, ist das keine Grauzone. Das ist ein Verstoß.

Wir deployen auf souveräner Infrastruktur — vollständig selbst gehostet in den Räumlichkeiten des Kunden oder innerhalb dessen eigener Private Cloud (VPC), wo die KI-Instanzen vom öffentlichen Internet isoliert sind. Das erfordert höhere Anfangsinvestitionen. Der Kunde braucht GPUs und spezialisierte Infrastruktur. Aber er bekommt etwas, das keine öffentliche API bieten kann: null Datenabfluss und vollständige Auditierbarkeit. Jede Anfrage, jede Antwort, jede Modellversion — alles innerhalb seines eigenen Governance-Rahmens.

Für die vollständige technische Architektur, wie wir das bauen — einschließlich des Wissensgraph-Schemas, des Multi-Agenten-Orchestrierungs-Frameworks und unseres Ansatzes für souveräne Bereitstellung — siehe unsere technische Tiefenanalyse.

Wie steuert man KI wirklich, ohne in Compliance zu ertrinken?

Ich habe in Vorstandssitzungen gesessen, in denen Führungskräfte KI-Governance wie eine Checkbox-Übung behandeln. Framework aussuchen, Formulare ausfüllen, weitermachen. Mit diesem Ansatz kassieren Sie eine Geldstrafe.

Zwei Frameworks haben sich als Branchenstandards herausgebildet, und sie dienen unterschiedlichen Zwecken. Das NIST AI Risk Management Framework ist ein freiwilliger taktischer Leitfaden — es hilft Ihnen, Risiken zu identifizieren, zu messen und interne Prozesse aufzubauen. Es lässt sich schnell umsetzen und eignet sich hervorragend, um in Ihrer Organisation das aufzubauen, was ich „KI-Risikomuskeln“ nenne. Aber es beruht auf Selbstauskunft. Niemand überprüft, ob Sie tatsächlich getan haben, was Sie behauptet haben.

ISO/IEC 42001 ist der zertifizierbare internationale Standard. Ein externer Auditor prüft Ihr KI-Managementsystem und zertifiziert Sie — oder eben nicht. Diese Zertifizierung zählt, wenn eine Aufsichtsbehörde, ein Kunde oder ein Käufer sagt: „Beweisen Sie, dass Ihre KI-Governance echt ist.“

Der kluge Zug ist, beide zeitlich zu staffeln: Nutzen Sie NIST, um schnell agile interne Kontrollen aufzubauen, und ordnen Sie diese Kontrollen dann den Anforderungen von ISO 42001 für die formale Zertifizierung zu. Das eine gibt Ihnen Tempo, das andere den Nachweis.

Und unter beiden Frameworks entsteht eine Anforderung, von der die meisten Unternehmen noch nicht einmal gehört haben: die AI Bill of Materials (AIBOM). Stellen Sie sich das wie ein Nährwertetikett für Ihr KI-System vor. Es ist eine maschinenlesbare Aufzeichnung von allem, was in dessen Bau eingeflossen ist — Trainingsdatensätze, Basismodelle, Bibliotheken von Drittanbietern, Infrastrukturabhängigkeiten. Wenn ein Auditor fragt: „Mit welchen Daten wurde dieses Modell trainiert?“ oder „Welche PyTorch-Version lief, als diese Entscheidung getroffen wurde?“, liefert die AIBOM sofort die Antwort.

Wir erzeugen AIBOMs automatisch als Teil unserer Deployment-Pipeline. Jede Modellversion lässt sich auf exakte Code- und Datensatzversionen zurückführen. Das ist keine glamouröse Arbeit. Aber es ist der Unterschied zwischen dem Bestehen eines Audits und dem hektischen Rekonstruieren einer Dokumentation, die vom ersten Tag an hätte existieren müssen.

Der Investor, der mir sagte, ich solle „einfach GPT nehmen“

Ich muss diese Geschichte erzählen, weil sie genau die Denkweise einfängt, die die Durchsetzung gegen AI-Washing bestrafen soll.

Früh in der Geschichte von Veriprajna pitchte ich einem Investor. Ich erklärte unsere Architektur — die Wissensgraphen, die Multi-Agenten-Verifikation, das souveräne Deployment-Modell. Er hörte höflich zu und sagte dann: „Warum wrappen Sie nicht einfach GPT-4, verlangen weniger und skalieren schneller? Niemand wird das Backend auditieren.“

Ich sagte ihm, dass die SEC gerade zwei Unternehmen für genau diese Logik mit Geldstrafen belegt hatte. Er zuckte mit den Schultern.

Sechs Monate später erhielt eines seiner Portfoliounternehmen — ein „KI-gestütztes“ Fintech — eine behördliche Anfrage zu seinen Marketingaussagen. Sie konnten keine Dokumentation vorlegen, die belegte, dass ihre KI tatsächlich das tat, was ihr Pitch Deck behauptete. Zuletzt hörte ich, dass sie hektisch Compliance-Berater zu Notfalltarifen anzuheuern versuchten.

Man fragt mich immer wieder, ob sich das Durchsetzungsklima abschwächen wird — ob eine neue Regierung oder verschobene Prioritäten AI-Washing weniger riskant machen könnten. Meine ehrliche Antwort: Es spielt keine Rolle. Die SEC nutzte bestehendes Betrugsrecht. Die FTC nutzte Section 5 des FTC Act, der seit 1914 in den Gesetzbüchern steht. Die Generalstaatsanwälte der Bundesstaaten haben ihre eigenen Verbraucherschutzgesetze. Selbst wenn sich die Durchsetzungsprioritäten auf Bundesebene verschieben, ist die rechtliche Infrastruktur zur Verfolgung von KI-Täuschung dauerhaft und mehrschichtig.

AI-Washing ist keine regulatorische Modeerscheinung. Es ist Betrug im Laborkittel, und inzwischen hat jede staatliche Ebene die Werkzeuge und die Bereitschaft, ihn zu verfolgen.

Die wichtigere Frage ist, was mit dem Markt passiert. Wenn Unternehmen auf Basis erfundener KI-Fähigkeiten Erfolg haben, verzerren sie den Wettbewerb und untergraben das Vertrauen, das seriöse KI-Unternehmen brauchen, um überhaupt arbeiten zu können. Jeder Wrapper, der als „fortschrittliche KI“ verkauft wird, macht es für Unternehmen, die echtes Engineering betreiben, schwerer zu erklären, warum ihre Lösungen mehr kosten und länger in der Entwicklung dauern.

Wie sieht ein vertrauenswürdiges KI-System tatsächlich aus?

Wenn man die Frameworks und die Akronyme wegnimmt, läuft der Bau von KI, die regulatorischer Prüfung standhält, auf vier Dinge hinaus.

Determinismus einkonstruieren. Gehen Sie über probabilistische Ausgaben hinaus — hin zu Architekturen wie neuro-symbolischen Systemen, Wissensgraphen und graph-constrained Decoding, die ihre Herleitung beweisen können. Wenn Ihre KI ihren Rechenweg nicht zeigen kann, ist sie nicht bereit für regulierte Umgebungen.

Souveränität architektonisch verankern. Betreiben Sie Ihre Systeme innerhalb einer Infrastruktur, die Sie kontrollieren. Wenn die sensiblen Daten Ihres Kunden geteilte öffentliche Infrastruktur berühren, haben Sie eine Compliance-Haftung geschaffen, die kein Maß an Prompt Engineering beheben kann.

Governance standardisieren. Führen Sie zertifizierbare Frameworks ein. Pflegen Sie AI Bills of Materials. Machen Sie Dokumentation zu einem kontinuierlichen, automatisierten Prozess statt zu einer jährlichen Hetzjagd.

Kontinuierlich validieren. Führen Sie adversariales Red-Teaming durch, verfolgen Sie Halluzinationsraten und Grounding-Raten als KPIs und setzen Sie bei folgenreichen Entscheidungen auf Human-in-the-Loop. Das Modell, das beim Deployment genau war, wird driften. Überwachen Sie es so, wie Sie einen Handelsalgorithmus überwachen würden — denn die Folgen eines Fehlers sind vergleichbar.

Die 400.000 US-Dollar an Geldstrafen der SEC waren für die Finanzbranche ein Rundungsfehler. Die Botschaft hinter diesen Strafen war es nicht. Wir haben die Ära verlassen, in der man KI-Fähigkeiten vermarkten konnte, die man nicht besaß, Blackboxes in regulierte Arbeitsabläufe ausrollen und annehmen, dass niemand nachprüft. Jedes Unternehmens-KI-System arbeitet jetzt unter einer impliziten Beweislast: Können Sie nachweisen, dass es das tut, was Sie behaupten?

Ich habe Veriprajna gegründet — der Name verbindet „Veri“ (Wahrheit) und „Prajna“ (Weisheit) —, weil ich glaube, dass die Glaubwürdigkeitskrise der KI-Branche im Kern eine Krise der Architektur ist. Man kann ein Wahrheitsproblem nicht mit einem System lösen, das nie darauf ausgelegt war, sich um Wahrheit zu scheren. Man muss sie einkonstruieren — vom Wissensgraphen aufwärts, durch jeden Agenten, jede Verifikationsschleife, jede Deployment-Entscheidung.

Die Unternehmen, die das verstehen, werden KI bauen, die tatsächlich funktioniert. Die anderen werden weiter APIs umwickeln, beeindruckende Pitch Decks schreiben und hoffen, dass niemand unter die Haube schaut. Die Aufsichtsbehörden schauen jetzt hin. Und sie werden nicht damit aufhören.