私の知識トレーシングAIは、コースを攻略した学習者を認定したがった。私が書いたコードは拒否した。
2人の従業員、2つの同一の緑のチェックマーク、そしてそのうち1つは嘘だ
初めて2つの記録を並べたとき、チェックマークはまったく同じに見え、それこそが問題のすべてだった。その職務に8年就くベテランのBSAアナリストと、異動から6か月の支店長が、同じ4時間のマネーロンダリング対策（AML）再認定をちょうど「完了」したところだった。彼らのLMSは、どちらについても同じことを報告していた——緑のチェック、「SCORM Completed」、完了。一方は疑わしい取引の調査を寝ていてもこなせる。もう一方は、規制当局がまさに気にする概念に、本物のギャップを抱えていた。コンプライアンス業務の認定を担うはずのシステムは、二人を区別できなかった。なぜなら、それは彼らが何を知っているかを測っていなかったからだ。測っていたのは、動画が最後まで再生されたかどうかだった。
そのギャップは机上の空論ではなく、このデモを作ることで、私は常にその賭け金を眼前に置かざるを得なかった。米国企業は企業研修に年間約1,028億ドル、学習者1人あたりおよそ874ドルを費やしている（Training Magazine、2025年）。そしてL&Dリーダーのちょうど4分の1が、そのどれかが効いたかどうかを測れないと答えている。規制対象の業務では、そのギャップには公の記録に載る代償がある。TD Bankは、不十分な研修プログラムにも一部起因する31億ドルのAML制裁金を吸収した。2026年8月2日から、EU AI法の第4条は役割ベースのAIリテラシーの執行を始め、制裁金は最大3,500万ユーロまたは全世界売上高の7%に及ぶ。いずれのケースでも、「Completed」の記録は証拠としての価値がゼロだ。なぜなら、完了は決して能力（コンピテンス）ではなかった。
システムは、彼らが学んだかどうかを測っていなかった。測っていたのは、動画が最後まで再生されたかどうかだった。
そのギャップを正直に埋められるかを見るため、私はAttestというデモを作った。ここで実行できる——veriprajna.com/ja/demos/adaptive-learning-ai。このエッセイは、それを作る過程で本当に私を驚かせた部分についてであり、それはモデルではなかった。
私が本当に作ろうとしたのは、各人が何を知っているかを知るモデルだった
私はあらゆる「適応学習」の売り込みが始まる場所から始め、それからその大半を捨てた。自らを適応型と呼ぶ製品の大半は、下層で協調フィルタリングを動かしている——「あなたのような人は次にコースXを受講した」。それは学位服を着た推薦エンジンだ。 似た学習者が何をしたかは知っている。あなたが具体的に何を理解しているかについては、まったく見当がつかない。Cornerstoneは2026年3月に「Adaptive Learning Agent」を出荷したが、依然としてこの方式だ。私はより良い推薦器が欲しかったのではない。一人の生のインタラクション・ストリームを読み取り、概念ごとに、実際に何を習得したかを推論するモデルが欲しかった。
それは知識トレーシングと呼ばれる、本物の、そして古い研究課題であり、その誠実な姿はクイズ平均ではなくトランスフォーマーだ。私は自己アテンション型の知識トレーシングモデル、SAKTを訓練した——約119,809パラメータ、CPU上で90秒で訓練でき、その後はキャッシュするほど小さい。各学習者のインタラクション系列を再生し、コース内18概念のそれぞれについて習熟確率を出力する。シードした合成知識トレーシング・ベンチマークでは、ホールドアウトAUC 0.8315に達し、次ステップ精度は0.771だった。ベンチマークデータはまったく別のモデル族（Performance Factors Analysis、古典的なロジスティックモデル）が生成するので、トランスフォーマーは自らの前提を採点しているわけではない。外部の文脈としては、公開ASSISTmentsデータセット上の公表されたSAKT結果はおおよそ0.80前後に着地する（Pandey and Karypis、2019年）。私のものは同じ近傍にあった。
私はその数字を誇りに思っていた。 数字こそが製品だと思っていた。 それが違うと教えてくれたのは、学習者たった一人で十分だった。
それから、コース全体を攻略した誰かを食わせた
私の自信を打ち砕いた学習者は、コホートの3人目——モジュール全体をAIアシスタントで自動解答したオペレーションズ・アソシエイトだった。私のモデルが彼に何をしたか見てほしい。概念から概念へ、SAKTの推論は高い値を返してきた——SARの危険信号識別で0.927、貿易ベースのマネーロンダリングで0.95、コルレス銀行リスクで0.992、強化デューデリジェンスのトリガーで0.994。どこもほぼ完璧。モデルを信じていれば、18概念すべてを認定し、この人物にきれいで署名済みのコンプライアンス記録を手渡していただろう。
問題は、習熟が偽物だったことだ。解答は18の無関係な概念にわたって速く完璧で、本物の想起とは矛盾する応答時間分布だった。本物の専門家は、あることでは速く、別のことでは遅い。このパターンはどこも平坦で、ありえないほど速く、記憶ではなく解答キーの署名だった。私の丹念な0.83-AUCモデルは、解答キーを見て優等生だと判断した。
私のモデルは攻略を見逃しただけではない。最も間違っているまさにそのところで、最も自信を持っていた。
その瞬間、このエッセイは私にとって真実になった。より良いモデルがここで私を救うことはなかっただろう。よりきれいなデータで訓練した、より正確なトランスフォーマーでも、同じ速くて完璧な解答を見て、この人がすべてを習得したとさらに確信していただろう。失敗は精度の不足ではなかった。確率的モデルに、モデル単独では決して許されるべきでない決定を委ねてしまったことだった。
なぜモデルに検知を学習させないのか？
私の最初の直感は間違っており、それに負けた一日について正直に話したい。私はモデル自体を攻略に対して頑健にしようとした。応答時間の特徴量を追加し、ありえないほど速い系列を不信するよう訓練し、トランスフォーマーに疑うことを教えようとした。すべてを一つの優雅なシステムの内側に保てるので魅惑的な計画であり、私は優雅なシステムが好きだ。だがそれはうまくいかない——受け入れるのに必要以上に時間がかかった理由がある。モデルに検知を教えたものは何であれ、想定しなかったケースでは自信満々に間違うことも同時に教えたことになる。 モデルの仕事全体は、一般化して平滑化することだ。ガバナンス上の決定が必要とするのはその逆——まさに正しいところで脆くなり、拒否することだ。
だから私は立ち止まり、決定をモデルから完全に外に移した。モデルは助言する。単純な決定論的コードが決める。SAKT推論の実行後、私がコンピテンスゲートと呼ぶ純粋Pythonのロジックが認定するか否かの呼び出しを行い、モデルはそれを上書きできない。ゲートがある概念を認定するのは、次の3つが同時にすべて真のときだけだ——習熟が0.747以上、その背後に少なくとも3回の本物のインタラクション証拠がある、応答パターンが異常でない。3つのうち1つでも失敗すれば、その概念は認定されない。「NEEDS PROOF」とマークされ、学習者はチェックマークではなく検証チャレンジを受ける。
ゲートがオペレーションズ・アソシエイトを見たとき、それは私のモデルにはできなかったことをした。証拠を異常としてフラグし、すべての概念を拒否し、認定したのは18のうちゼロ。受講時間は保留され、検証待ちとなった。
その枠組みの言い方には慎重でありたい。自分用に書いたブリーフも慎重だからだ。これは的中率付きの不正検出器ではなく、私はそれをそう提示したこともない。それは一人の例示的学習者に対するガバナンス上の帰結——証拠が認定に足りないため概念が保留された、ということだ。ポイントは「やったな、不正を見つけた」ではない。ポイントは、Attestは証明できるものだけを認定し、残りについては正直でいる、ということだ。
エージェントは助言し、コードが決める——その境界線が構造を支えるものだとわかった
私はその分業に何度も立ち返る。仕上げた頃には、スローガンではなくアーキテクチャ全体になっていたからだ。Attestで知的かつ確率的な何かが動く場所は正確に2つあり、どちらも助言するだけだ。LLMエージェント（Pydantic AI上に構築、既定はclaude-opus-4-8）が概念タグ付けを行い、平坦な「AML Training」コース1本を18概念のタクソノミー——CDD、SARナラティブ、仕組み取引の検知、OFACスクリーニング、その他——に分解する。そのタグ付けステップこそ、適応学習プロジェクトが死ぬ最大の単一理由だと現場が言うものであり、本当に難しいが、助言的だ。SAKTモデルは習熟を推論し、これも助言的だ。実際に重要なあらゆる決定——学習者がどの経路を歩き、何が認定されるか——は、どのモデルも口車で乗り越えられない決定論的コードが行う。
シーケンサーはそのコードのもう半分であり、金が隠れる場所でもある。概念ごと——習熟が0.67以上なら学習者はスキップするか、ただ検証する。0.38と0.67の間ならフローゾーンに留まる。0.38未満なら足場（スキャフォールド）を得る。それらのカットポイントは勘で選んだ数字ではない。ラベル付きコホートに対して交差検証されており、リポジトリは5分割のA/Bテストを同梱し、手設定のフォールバックを上回りつつ決定の意味は変えないことを示している。そのロジックをベテランのアナリストに走らせると、彼女はすでに知っていることのほぼすべてをスキップする——18概念中16が認定され、受講時間は240分から47.3分へ落ち、80.3%の削減。 本物のギャップがある支店長に同一のコードを走らせると、同じ割引は拒否される——18中10が認定、節約はわずか38.9%、彼には本当にその研修が必要だからだ。
同じコードが専門家には47分のコースを、初心者には本物のコースを渡す。どちらもそれに反論できない。
その非対称性こそがポイントのすべてだ。全員から同じ時間を節約するシステムは、ブランディングが良いだけの短いコースにすぎない。各人が証明できる知識に厳密に比例して時間を節約するシステムは、知識トレーシングを行っており、しかも行ごとに読めるコードの中でそれを行っている。
チェックマークの代わりに規制当局へ渡すもの
私が最も誇りに思う成果物は、緑のチェックマークでは決して生み出せないものだ。ゲートが終わると、Attestは署名付きのCompetence Certificate（能力証明書）を書き出し、私は本物のサンプルを2つディスクに保管している。ベテランのアナリスト向けには18概念すべてが列挙され、それぞれに習熟確率、その推定の背後にあるインタラクション数、認定かneeds-proofかのステータス、対応する具体的な規制（31 CFR 1020.220、FATF勧告12、31 USC 5318、その他）が付く。モデル名、バージョン、ベンチマークAUCも記録する。AUCは長期定着ではなく次項目予測を測るものである旨を記す、誠実な限界フッターも付く——習熟確率は保証ではなく証拠だからだ。そして文書全体はHMAC-SHA256署名で署名されているため、事後に静かに編集することはできない。
これが監査人の本当の問いに対する耐久性のある答えだ。問いは決して「終えたか？」ではない。「どのインタラクションがどの習熟主張を裏付けたかを証明せよ」だ。チェックマークはそれに答えられない。より良いベースモデルも、どれほど良くなっても答えられない——精度は来歴ではないからだ。より正確なモデルでも、自ら下した決定の背後にある証拠の軌跡を監査人に示すことはできない。 その軌跡は、意図的に、モデルの外で成果物として作られなければならない。それこそが証明書であり、モデルを製品だと思うのをやめさせたものだ。
精度は来歴ではない。より良いモデルでも、どのインタラクションがどの主張を裏付けたかを証明することはできない。
稼働中のデモですべてを確認できる——veriprajna.com/ja/demos/adaptive-learning-ai。アナリスト向けに証明書が認定を拒否する2概念も含み、彼女の習熟は正直に0.747ライン未満にある。
より良いモデルでも残る部分
私はモデルが難しい部分だと思ってこれを作り、それが間違っていたことで、カテゴリー全体への考え方が変わった。モデルは扱いやすい部分だった——CPU上で90秒と、まずまずのAUC。難しい部分、実際に出力を信頼できるものにしたのは、モデルが本来下すべきでない決定を下さないよう、私が周囲にモデルを置いたものすべてだった——決定論的ゲート、証拠十分性のルール、異常の拒否、署名付き証跡。
それもまた、古びない部分だ。コホートの数字を示すとき（シミュレートした500人の再認定コホート全体で受講時間約51.9%削減、このモジュール1本でおよそ77,872ドルを回収、年換算で約389,362ドル——アプリは画面上で予測値とラベル付けする）、見出しは意図的にAUCではない。AUCが証明するのは、それが成績簿ではなく本物の知識トレーシング・モデルだということだけだ。見出しは節約された受講時間の割合と、自動認定された概念対証明へ回された概念の割合であり、そのどちらも、下層モデルがどれほど良くなっても持ちこたえる。来年のより賢いトランスフォーマーでも、決定とレシートが監査可能なコードの中にあるという事実は変わらない。
読んで私の説明を聞くより見たいなら、ここですべてが端から端まで動いている。
だから、私がずっと抱えてきた問い——この領域で構築する誰にでも投げかけたい問い——はこうだ。システムの最も重要な出力が、規制当局が依拠する決定であるなら、その決定を下すのをによってモデルに任せたいですか、それともモデルが助言することしか許されていない何かに任せたいですか？ 私は一日だけ、これを逆に考えていた。それから、自分が知らない18のことについて速く完璧な偽の優等生が現れ、私を正してくれた。
