Das Problem
Ein KI-Tutor sagte einem Schüler, dass 3.750 mal 7 gleich 21.690 sei. Die richtige Antwort lautet 26.250. Die KI lag nicht nur falsch – sie feierte den Fehler noch. Sie antwortete: „Gut multipliziert! Du hast das Problem gelöst und großartiges Denken gezeigt!“ Dieser Tutor, Khanmigo, läuft auf GPT-4, einem der heute fortschrittlichsten verfügbaren KI-Modelle.
Das war kein einmaliger Aussetzer. Forscher haben Fälle dokumentiert, in denen Schüler die richtige Antwort ermitteln und die KI versucht, ihnen diese auszureden. Das System beharrt darauf, dass ihre korrekte Logik fehlerhaft sei, und gaslightet die Schüler damit regelrecht, bis sie falsche Lösungen akzeptieren. Sprachlern-Apps wie Duolingo Max zeigen ähnliche Probleme. Nutzer berichten, dass die KI grammatische Regeln und mathematische Begründungen erfindet, um die eigenen Fehler wegzuerklären. Die KI erzeugt eine Schleife, in der sich selbstsicher klingender Unsinn selbst nährt.
Übertragen Sie das nun in Ihren Vorstandssaal. Wenn eine KI zwei Zahlen nicht zuverlässig multiplizieren kann, warum sollten Sie ihr dann Ihre Steuerberechnungen, Kreditgenehmigungen oder Compliance-Berichte anvertrauen? Dieselbe Technologie, die diesen Tutor antreibt, steckt genau jetzt in den KI-Tools, die Anbieter Ihren Finanz- und Rechtsteams verkaufen. Die Architektur, die eine falsche Mathe-Antwort lobte, ist dieselbe Architektur, die heute Ihre regulierten Workflows übernehmen soll.
Warum das für Ihr Unternehmen wichtig ist
Die finanziellen und regulatorischen Risiken sind hier konkret, nicht theoretisch.
Ein System, das zu 99 % richtige Antworten liefert, klingt beeindruckend. Aber bedenken Sie, was das Whitepaper eine „stochastische Tabellenkalkulation“ nennt – eines, das Ihren Umsatz zu 99 % korrekt berechnet, aber zu 1 % eine Zahl erfindet. Das ist kein Produktivitätswerkzeug. Das ist ein Generator für Haftungsrisiken. In einem Quartalsfinanzbericht mit Hunderten von Positionen bedeutet eine Fehlerquote von 1 % mehrere falsche Zahlen in jedem einzelnen Zyklus.
Und das bedeutet konkret für Ihr Unternehmen:
- Compliance-Verstöße. In einem dokumentierten Szenario genehmigten reine KI-Systeme Kredite auf Basis emotionaler Sprache in persönlichen Erklärungen und ignorierten dabei die Grenzwerte für die Debt-to-Income-Quote. Ihre Aufsichtsbehörden werden „die KI fühlte sich überzeugt“ nicht als Erklärung akzeptieren.
- Rechtliches Haftungsrisiko. KI-gestützte juristische Tools haben halluzinierte Rechtsprechung zitiert – Gerichtsfälle, die gar nicht existieren. Reicht Ihr externer Anwalt ein Schriftstück mit frei erfundenen Zitaten ein, steht der Ruf Ihres Unternehmens auf dem Spiel.
- Arithmetische Genauigkeit unter 40 %. Bei komplexen Aufgaben erreichen Standard-KI-Modelle ohne jegliche Führung eine arithmetische Genauigkeit von unter 40 %. Selbst mit Schritt-für-Schritt-Prompting pflanzen sich Fehler aus frühen Schritten durch die gesamte Berechnung fort.
- Risiko für die Datensouveränität. Werden Ihre sensiblen Finanzunterlagen, Ihr proprietärer Code oder Ihre Personaldaten über die Schnittstelle eines Start-ups an ein öffentliches KI-Modell geleitet, haben Sie eine unakzeptable Angriffsfläche für Datenlecks geschaffen.
Ihr Vorstand will wissen, dass sich KI-gesteuerte Entscheidungen auditieren lassen. Ihr General Counsel muss Compliance nachweisen können. Ihr CFO braucht Zahlen, denen er vertrauen kann. Die derzeit beliebteste KI-Architektur kann davon heute keines garantieren.
Was tatsächlich unter der Haube geschieht
Hier liegt der Grund, warum KI-Systeme bei Aufgaben scheitern, die einfach erscheinen. Large Language Models – die Technologie hinter ChatGPT, GPT-4 und den meisten Enterprise-KI-Tools – berechnen in Wahrheit nichts. Sie sagen das jeweils nächste Wort voraus.
Stellen Sie es sich so vor. Fragen Sie einen Taschenrechner, wie viel 3.750 mal 7 ergibt, führt er die Operation auf einem Chip aus, der für Mathematik gebaut ist. Stellen Sie dieselbe Frage an eine KI, tut sie etwas völlig anderes. Sie fragt sich: „Auf Basis des gesamten Textes, den ich gelesen habe – welche Wörter folgen üblicherweise auf ‚3.750 mal 7 gleich‘?“ Sie gleicht Muster ab, statt zu rechnen. Sie erzeugt Text, der aussieht wie eine Mathe-Antwort, ohne jemals Mathematik zu betreiben.
Das Whitepaper nennt dies die Diskrepanz zwischen Form und Funktion. Die KI kann Wörter wie „daher“ und „folglich“ verwenden, ohne irgendeinen tatsächlichen logischen Schluss zu ziehen. Sie imitiert die Syntax des Denkens, ohne die Arbeit des Denkens zu leisten. Der Nobelpreisträger Daniel Kahneman beschrieb zwei Modi menschlichen Denkens: System 1 (schnell, intuitiv) und System 2 (langsam, logisch). Heutige KI-Modelle sind reines System 1. Sie laufen auf Intuition und Mustererkennung. Ihr Geschäft braucht jedoch System 2 – das bedächtige, schrittweise Schließen, das Fehler abfängt, bevor sie Ihre Kunden erreichen.
Deshalb lässt sich das Problem auch nicht dadurch beheben, dass man die Modelle größer macht. Das Whitepaper beschreibt ein „Geburtstagsparadox“ für KI: Tritt ein bestimmter Datenpunkt in den Trainingsdaten der KI nur einmal auf, behandelt das Modell ihn als Rauschen. Ein größeres Modell behebt das nicht. Gerade Ihre seltenen, aber geschäftskritischen Daten – der exakte Compliance-Grenzwert, die konkrete Vertragsklausel – sind genau die Art von Fakten, bei denen diese Systeme sich irren.
Was funktioniert (und was nicht)
Beginnen wir mit dem, was dieses Problem nicht löst.
Prompt-Engineering – das Formulieren cleverer Anweisungen für die KI – ist wie das Anflüstern eines Würfels in der Hoffnung auf eine bestimmte Zahl. Es versucht, die ratende Natur des Systems mit oberflächlichen Befehlen zu überstimmen. Es ändert nichts daran, wie das System funktioniert.
„Wrapper“-Produkte – Apps, die das KI-Modell eines anderen Anbieters in eine hübschere Oberfläche packen – bringen keine echte Intelligenz hinzu. Sie verkaufen eine Fähigkeit weiter, die ihnen nicht gehört. Führt der Modellanbieter dieselbe Funktion nativ ein, wird das Wrapper-Unternehmen überflüssig. Ihre Investition ist verloren.
Größere Modelle – Hochskalieren beseitigt das Kernproblem nicht. Eine größere Musterabgleichsmaschine bleibt eine Musterabgleichsmaschine. Sie rechnet weiterhin nicht. Sie rät weiterhin.
Was tatsächlich funktioniert, ist die Trennung der Sprachfähigkeit der KI von der Logik, die Ihr Unternehmen benötigt. Veriprajna nennt dies den „Voice“-und-„Brain“-Ansatz – eine neuro-symbolische Architektur, die Constraints und Regeln erzwingt, neben der dialogischen Fähigkeit der KI.
So funktioniert es in drei Schritten:
- Übersetzung. Ihr Nutzer stellt eine Frage in natürlicher Sprache. Die KI wandelt diese Frage in wirklich ausführbaren Code um – keine Textantwort. Eine Frage zu Darlehenszinsen wird beispielsweise zu einer echten Formel:
principal * (1 + rate) ** years. - Ausführung. Dieser Code läuft auf einer deterministischen Engine – einem System, das rechnet wie ein Taschenrechner. Für das Darlehensbeispiel (50.000 $ bei 5 %, jährlich verzinst, über 3 Jahre) liefert die Engine exakt 57.881,25 $ zurück. Jedes Mal. Ohne Raten.
- Antwort. Die KI nimmt dieses verifizierte Ergebnis und schreibt eine klare, gut lesbare Antwort für Ihren Nutzer.
Für regulierte Branchen wie Finanzdienstleistungengibt es eine zusätzliche Ebene. Harte Regeln – etwa „Wenn der Antragsteller in New York unter 21 Jahren alt ist, dürfen Sie keinen gewerblichen Kredit genehmigen“ – sind als logische Constraints kodiert. Verstößt der Antwortvorschlag der KI gegen eine Regel, legt das System ein Veto gegen die Ausgabe ein, bevor sie irgendjemanden erreicht. Das System wird physisch unfähig, eine nicht konforme Entscheidung zu genehmigen – ganz gleich, wie überzeugend die Eingabe ist.
Der entscheidende Vorteil für Ihr Compliance-Team: Jeder Schritt wird protokolliert. Der von der KI erzeugte Code, die Tool-Ausgabe und die Logikspur schaffen einen unveränderlichen Audit-Trail. Ihre Compliance-Beauftragten können exakt nachvollziehen, warum die KI eine bestimmte Entscheidung getroffen hat. Das ist der Unterschied zwischen einem System, das für kontinuierliche Überwachung und Audit-Trails gebaut wurde, und einer Blackbox, der Sie blind vertrauen müssen.
Dieser Ansatz erreichte in einer Kreditverarbeitungs-Implementierung eine 100%ige Einhaltung der regulatorischen Kreditvergabekriterien. In der juristischen Recherche erzeugte er null halluzinierte Zitate in Produktionsentwürfen. Diese Ergebnisse sind keine Magie. Sie entstehen, weil jede faktische Aussage durch ein Verifikationssystem geleitet wird, das nicht rät.
Sie können das zugrunde liegende KI-Modell austauschen – von einem Anbieter zum anderen wechseln –, ohne Ihre Logikschicht neu aufzubauen. Ihre Investition in Regeln, Workflows und Domänenwissen bleibt erhalten. Genau das macht diesen Ansatz dort dauerhaft, wo Wrapper-Produkte zerbrechlich sind.
Lesen Sie die vollständige technische Analyse für die detaillierte Architektur oder erkunden Sie die interaktive Version für einen geführten Durchlauf.
Wichtigste Erkenntnisse
- KI-Modelle sagen Wörter voraus, keine Antworten – ohne externe Rechentools erreichen sie bei komplexer Arithmetik weniger als 40 %.
- Ein dokumentierter KI-Tutor bestätigte 3.750×7=21.690 (um 4.560 daneben) und lobte den Schüler für die falsche Antwort.
- Wrapper-KI-Produkte besitzen ihre Kerntechnologie nicht und werden jedes Mal überflüssig, wenn der zugrunde liegende Modellanbieter ein Update ausliefert.
- Die Trennung der Sprachfähigkeit der KI von einer deterministischen Logik-Engine erreicht in getesteten Kreditverarbeitungsszenarien eine 100%ige Einhaltung regulatorischer Vorgaben.
- Jede KI-Entscheidung in einem neuro-symbolischen System erzeugt einen vollständigen Audit-Trail – Code, Berechnung und Logik –, damit Compliance-Teams exakt nachvollziehen können, warum eine Entscheidung getroffen wurde.
Fazit
KI, die rät statt zu rechnen, ist in jedem regulierten Geschäft ein Haftungsrisiko. Die Lösung sind nicht bessere Prompts – sondern eine Architektur, die Sprachgenerierung von der Logikausführung trennt und für jede Entscheidung einen vollständigen Audit-Trail liefert. Fragen Sie Ihren KI-Anbieter: Wenn Ihr System eine Zahl berechnet oder eine Compliance-Regel prüft, kann es mir dann den exakten Code und das deterministische Ergebnis zeigen – oder sagt es nur vorher, was die Antwort wahrscheinlich ist?