Meine Knowledge-Tracing-KI wollte einen Lernenden zertifizieren, der den Kurs ausgetrickst hatte. Der Code, den ich schrieb, lehnte ab.
Zwei Mitarbeitende, zwei identische grüne Häkchen – und eines davon ist eine Lüge
Als ich die beiden Datensätze zum ersten Mal nebeneinander legte, sahen die Häkchen identisch aus – und genau das war das ganze Problem. Eine erfahrene BSA-Analystin mit acht Jahren in der Rolle und ein Filialleiter sechs Monate nach dem Wechsel hatten gerade beide dieselbe vierstündige AML-Rezertifizierung „abgeschlossen“. Ihr LMS meldete für beide dasselbe: ein grünes Häkchen, „SCORM Completed“, erledigt. Eine von ihnen könnte eine Untersuchung verdächtiger Aktivitäten im Schlaf führen. Der andere hatte echte Lücken genau in den Konzepten, die einen Regulierer interessieren. Das System, das sie für Compliance-Arbeit zertifizieren sollte, konnte sie nicht unterscheiden, weil es nie gemessen hat, was sie wussten. Es hat gemessen, ob das Video zu Ende abgespielt wurde.
Diese Lücke ist nicht akademisch, und der Bau dieser Demo zwang mich, die Einsätze im Blick zu behalten. US-Unternehmen geben rund 102,8 Milliarden Dollar jährlich für Unternehmensschulungen aus, etwa 874 Dollar pro Lernendem (Training Magazine, 2025), und ein volles Viertel der L&D-Führungskräfte sagt, sie können nicht messen, ob irgendetwas davon gewirkt hat. In regulierter Arbeit hat die Lücke einen Preis in der öffentlichen Akte. TD Bank kassierte eine AML-Strafe von 3,1 Milliarden Dollar, die teilweise an ein unzureichendes Schulungsprogramm gebunden war. Ab dem 2. August 2026 beginnt Artikel 4 des EU AI Act, rollenbasierte KI-Kompetenz durchzusetzen, mit Strafen bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes. In jedem dieser Fälle ist der „Completed“-Eintrag als Nachweis wertlos, weil Abschluss nie Kompetenz war.
Das System hat nicht gemessen, ob sie gelernt haben. Es hat gemessen, ob das Video zu Ende abgespielt wurde.
Ich habe eine Demo namens Attest gebaut, um zu sehen, ob ich diese Lücke ehrlich schließen kann. Sie können sie starten unter veriprajna.com/de/demos/attest-adaptive-learning-ki-die-kompetenz-zertifiziert-nicht-abschluss. Dieser Essay handelt von dem Teil des Baus, der mich wirklich überrascht hat – und das war nicht das Modell.
Was ich tatsächlich bauen wollte, war ein Modell, das wusste, was jede Person wusste
Ich fing dort an, wo jedes „adaptives Lernen“-Pitch beginnt – und warf das meiste dann weg. Die meisten Produkte, die sich adaptiv nennen, laufen darunter mit kollaborativem Filtern: „Leute wie Sie haben als Nächstes Kurs X belegt.“ Das ist eine Empfehlungs-Engine im Talar. Sie weiß, was ähnliche Lernende getan haben. Sie hat keine Ahnung, was Sie konkret verstehen. Cornerstone hat im März 2026 einen „Adaptive Learning Agent“ ausgeliefert, der immer noch so funktioniert. Ich wollte keinen besseren Empfehlungsdienst. Ich wollte ein Modell, das den rohen Interaktionsstrom einer einzelnen Person liest und Konzept für Konzept ableitet, was sie tatsächlich beherrscht.
Das ist ein reales und altes Forschungsproblem namens Knowledge Tracing, und die ehrliche Version davon ist ein Transformer, kein Quiz-Durchschnitt. Ich habe ein selbst-attentives Knowledge-Tracing-Modell trainiert, SAKT, etwa 119.809 Parameter, klein genug, dass es in neunzig Sekunden auf einer CPU trainiert und danach gecacht wird. Es spielt die Interaktionssequenz jedes Lernenden ab und gibt für jedes der achtzehn Konzepte im Kurs eine Beherrschungswahrscheinlichkeit aus. Auf unserem geseedeten synthetischen Knowledge-Tracing-Benchmark erreichte es eine Hold-out-AUC von 0.8315, bei einer Next-Step-Genauigkeit von 0.771. Die Benchmark-Daten werden von einer völlig anderen Modellfamilie erzeugt (Performance Factors Analysis, ein klassisches logistisches Modell), sodass der Transformer nicht seine eigenen Annahmen benotet. Zur Einordnung: veröffentlichte SAKT-Ergebnisse auf dem öffentlichen ASSISTments-Datensatz liegen bei etwa 0.80 (Pandey und Karypis, 2019). Meines lag in derselben Nachbarschaft.
Ich war stolz auf diese Zahl. Ich dachte, die Zahl sei das Produkt. Es brauchte genau einen Lernenden, um mir zu zeigen, dass sie es nicht war.
Dann fütterte ich es mit jemandem, der den gesamten Kurs ausgetrickst hatte
Der Lernende, der mein Vertrauen zerstörte, war der dritte in der Kohorte, ein Operations Associate, der einen KI-Assistenten genutzt hatte, um das ganze Modul automatisch zu beantworten. Schauen Sie, was mein Modell mit ihm machte. Konzept für Konzept kam die SAKT-Inferenz hoch zurück: 0.927 bei der Identifikation von SAR-Warnsignalen, 0.95 bei handelsbasierter Geldwäsche, 0.992 bei Korrespondenzbanken-Risiko, 0.994 bei Enhanced-Due-Diligence-Triggern. Überall nahezu perfekt. Hätte ich dem Modell vertraut, hätte ich alle achtzehn Konzepte zertifiziert und dieser Person einen sauberen, unterschriebenen Compliance-Nachweis ausgehändigt.
Das Problem ist: Die Beherrschung war gefälscht. Die Antworten waren schnell und perfekt über achtzehn unabhängige Konzepte hinweg, eine Antwortzeit-Verteilung, die mit echter Erinnerung unvereinbar ist. Eine echte Expertin ist bei manchem schnell und bei anderem langsam. Dieses Muster war flach und überall unmöglich schnell – die Signatur eines Antwortschlüssels, nicht eines Gedächtnisses. Mein sorgfältiges 0.83-AUC-Modell sah einen Antwortschlüssel und erkannte einen Musterschüler.
Mein Modell hat das Gaming nicht bloß verpasst. Es war genau dort am selbstsichersten, wo es am falschsten lag.
Das war der Moment, in dem dieser Essay für mich wahr wurde. Ein besseres Modell hätte mich hier nicht gerettet. Ein genauerer Transformer, trainiert auf saubereren Daten, hätte dieselben schnell-perfekten Antworten angesehen und wäre noch sicherer gewesen, dass diese Person alles beherrscht. Das Versagen war kein Mangel an Genauigkeit. Es war, dass ich ein probabilistisches Modell eine Entscheidung hatte treffen lassen, die ein Modell allein nie treffen dürfen sollte.
Warum das Modell nicht einfach darauf trainieren, es zu erkennen?
Mein erster Instinkt war der falsche, und ich will ehrlich sein über den Tag, den ich daran verloren habe. Ich versuchte, das Modell selbst robust gegen Gaming zu machen. Antwortzeit-Features hinzufügen, es darauf trainieren, unplausibel schnelle Sequenzen zu misstrauen, dem Transformer Misstrauen beibringen. Es ist ein verführerischer Plan, weil er alles in einem eleganten System hält, und ich mag elegante Systeme. Er funktioniert auch nicht, aus einem Grund, dessen Akzeptanz länger dauerte, als sie hätte. Alles, was Sie einem Modell beibringen zu erkennen, haben Sie ihm auch beigebracht, in den Fällen, die Sie nicht vorhergesehen haben, selbstsicher falsch zu liegen. Die ganze Aufgabe eines Modells ist zu generalisieren und zu glätten. Eine Governance-Entscheidung braucht das Gegenteil: Sie muss genau an der richtigen Stelle spröde sein und ablehnen.
Also stoppte ich und nahm die Entscheidung vollständig aus dem Modell heraus. Das Modell berät. Schlichter deterministischer Code entscheidet. Nach dem Lauf der SAKT-Inferenz trifft ein Stück Pure-Python-Logik, das ich das Kompetenz-Gate nenne, die Zertifizieren-oder-nicht-Entscheidung, und das Modell kann sie nicht überstimmen. Das Gate zertifiziert ein Konzept nur, wenn drei Dinge zugleich wahr sind: die Beherrschung liegt bei oder über 0.747, dahinter stehen mindestens drei echte Interaktionen als Evidenz, und das Antwortmuster ist nicht anomal. Scheitert eines der drei, wird das Konzept nicht zertifiziert. Es wird als „needs proof“ markiert, und der Lernende bekommt eine Verifizierungsaufgabe statt eines Häkchens.
Als das Gate den Operations Associate betrachtete, tat es das, was mein Modell nicht konnte. Es flaggte die Evidenz als anomal, lehnte jedes Konzept ab und zertifizierte null von achtzehn. Sitzzeit zurückgehalten, Verifizierung ausstehend.
Ich will vorsichtig sein, wie ich das einrahme, denn das Briefing, das ich mir selbst geschrieben habe, ist vorsichtig damit. Das ist kein Betrugsdetektor mit einer Trefferquote, und ich präsentiere es nie als einen. Es ist ein Governance-Ergebnis an einem illustrativen Lernenden: Konzepte zurückgehalten, weil die Evidenz nicht gut genug war zum Zertifizieren. Der Punkt ist nicht „erwischt, Sie haben geschummelt“. Der Punkt ist, dass Attest nur zertifiziert, was es beweisen kann, und beim Rest ehrlich bleibt.
Agenten beraten, Code entscheidet – und diese Linie erwies sich als tragend
Ich kehre immer wieder zu dieser Arbeitsteilung zurück, weil sie am Ende die gesamte Architektur war und kein Slogan. Es gibt in Attest genau zwei Stellen, an denen etwas Intelligentes und Probabilistisches läuft, und beide beraten nur. Ein LLM-Agent (gebaut auf Pydantic AI, standardmäßig claude-opus-4-8) macht das Konzept-Tagging und zerlegt einen flachen „AML Training“-Kurs in eine Achtzehn-Konzept-Taxonomie: CDD, SAR-Narrativ, Erkennung strukturierter Transaktionen, OFAC-Screening und der Rest. Dieser Tagging-Schritt ist das, was das Feld Ihnen als den größten einzelnen Grund nennen wird, warum Adaptive-Learning-Projekte sterben, und er ist wirklich schwer – aber er ist beratend. Das SAKT-Modell inferiert Beherrschung, ebenfalls beratend. Jede Entscheidung, die tatsächlich zählt – welchen Pfad ein Lernender geht und was zertifiziert wird –, trifft deterministischer Code, an dem kein Modell vorbeireden kann.
Der Sequencer ist die andere Hälfte dieses Codes, und dort steckt das Geld. Pro Konzept: liegt die Beherrschung bei oder über 0.67, überspringt der Lernende oder verifiziert nur; zwischen 0.38 und 0.67 bleibt er in der Flow-Zone; unter 0.38 bekommt er Scaffolding. Diese Schnittpunkte habe ich nicht nach Gefühl gewählt. Sie sind gegen die gelabelte Kohorte kreuzvalidiert, und das Repo liefert einen Fünf-Fold-A/B-Test, der zeigt, dass sie den handgesetzten Fallback schlagen und die Bedeutungsentscheidung unverändert lassen. Lassen Sie diese Logik über die erfahrene Analystin laufen, und sie überspringt fast alles, was sie schon weiß: sechzehn von achtzehn Konzepten zertifiziert, Sitzzeit von 240 Minuten auf 47.3 fallend, eine Reduktion um 80.3 %. Lassen Sie denselben Code über den Filialleiter mit echten Lücken laufen, und er weigert sich, ihm denselben Rabatt zu geben: zehn von achtzehn zertifiziert, nur 38.9 % gespart, weil er die Schulung wirklich braucht.
Derselbe Code gibt der Expertin einen 47-Minuten-Kurs und dem Novizen einen echten. Keiner von beiden kann dagegen argumentieren.
Diese Asymmetrie ist der gesamte Punkt. Ein System, das allen dieselbe Zeit spart, ist nur ein kürzerer Kurs mit besserem Branding. Ein System, das Zeit strikt proportional zu dem spart, was jede Person nachweislich weiß, betreibt Knowledge Tracing – und zwar in Code, den ich Zeile für Zeile lesen kann.
Was Sie einem Regulierer statt eines Häkchens übergeben
Das Artefakt, auf das ich am stolzesten bin, ist das, das ein grünes Häkchen nie erzeugen kann. Wenn das Gate fertig ist, exportiert Attest ein signiertes Kompetenzzertifikat, und ich behalte zwei echte Samples auf dem Datenträger. Für die erfahrene Analystin listet es alle achtzehn Konzepte, jeweils mit Beherrschungswahrscheinlichkeit, der Anzahl der Interaktionen hinter dieser Schätzung, dem Status zertifizieren-oder-needs-proof und der konkreten Vorschrift, auf die es abbildet (31 CFR 1020.220, FATF Rec. 12, 31 USC 5318 und der Rest). Es erfasst den Modellnamen, seine Version und die Benchmark-AUC. Es trägt eine ehrliche Limitationen-Fußzeile, die festhält, dass die AUC Next-Item-Vorhersage misst und nicht langfristige Retention, weil eine Beherrschungswahrscheinlichkeit Evidenz ist, keine Garantie. Und das ganze Dokument ist mit einer HMAC-SHA256-Signatur signiert, sodass es hinterher nicht stillschweigend editiert werden kann.
Das ist die dauerhafte Antwort auf die echte Frage des Prüfers, die nie lautet „haben sie fertiggestellt?“ Sondern „beweisen Sie, welche Interaktionen welche Beherrschungsbehauptung gestützt haben.“ Ein Häkchen kann das nicht beantworten. Auch kein besseres Basismodell, egal wie gut es wird, denn Genauigkeit ist keine Provenienz. Ein genaueres Modell kann einem Prüfer immer noch nicht die Evidenzspur hinter einer Entscheidung zeigen, die es getroffen hat. Diese Spur muss absichtlich als Artefakt außerhalb des Modells gebaut werden. Das ist das Zertifikat, und genau das brachte mich dazu, aufzuhören, das Modell als das Produkt zu denken.
Genauigkeit ist keine Provenienz. Ein besseres Modell kann immer noch nicht beweisen, welche Interaktionen welche Behauptung gestützt haben.
Sie können all das in der laufenden Demo prüfen unter veriprajna.com/de/demos/attest-adaptive-learning-ki-die-kompetenz-zertifiziert-nicht-abschluss, einschließlich der zwei Konzepte, die das Zertifikat für die Analystin nicht zertifiziert, wo ihre Beherrschung ehrlich unter der 0.747-Linie liegt.
Der Teil, der ein besseres Modell überlebt
Ich habe das gebaut und erwartet, dass das Modell der schwere Teil sei – und falsch zu liegen hat verändert, wie ich über die ganze Kategorie denke. Das Modell war der handhabbare Teil: neunzig Sekunden auf einer CPU und eine respektable AUC. Der schwere Teil, der Teil, der die Ausgabe tatsächlich vertrauenswürdig macht, war alles, was ich um das Modell herumlegte, damit es keine Entscheidungen trifft, die ihm nicht zustanden: das deterministische Gate, die Evidenz-Suffizienz-Regel, die Anomalie-Ablehnung, die signierte Spur.
Das ist auch der Teil, der nicht veraltet. Wenn ich die Kohortenzahlen zeige (etwa 51.9 % Sitzzeit-Reduktion über eine simulierte 500-Personen-Rezertifizierungskohorte, rund 77.872 Dollar zurückgewonnen auf diesem einen Modul, eine annualisierte Zahl nahe 389.362 Dollar, die die App auf dem Bildschirm als Projektion kennzeichnet), ist die Headline absichtlich nicht die AUC. Die AUC beweist nur, dass es ein echtes Knowledge-Tracing-Modell ist und kein Notenbuch. Die Headline ist der Prozentsatz gesparter Sitzzeit und der Prozentsatz automatisch zertifizierter versus zum Nachweis geleiteter Konzepte – und beides hält, egal wie gut das zugrunde liegende Modell wird. Ein klügerer Transformer nächstes Jahr ändert nicht die Tatsache, dass die Entscheidung und die Quittung in Code leben, den Sie prüfen können.
Und wenn Sie es lieber sehen, als mich es beschreiben zu hören: Hier läuft das Ganze End-to-End.
Hier also die Frage, die mich beschäftigt, und die ich jedem stellen würde, der in diesem Raum baut. Wenn der wichtigste Output Ihres Systems eine Entscheidung ist, auf die sich ein Regulierer stützen wird – wollen Sie, dass diese Entscheidung von dem Modell getroffen wird, oder von etwas, das das Modell nur beraten darf? Einen Tag lang hatte ich es verkehrt herum. Dann kam ein gefälschter Musterschüler herein, schnell und perfekt bei achtzehn Dingen, die er nicht wusste, und brachte mich auf den richtigen Weg.
