貴社のAIは基本的な計算を間違えました。それがなぜ危険なのか。

問題点

あるAIチューターは、生徒に対して3,750かける7は21,690だと告げました。正しい答えは26,250です。このAIは単に間違えただけではありません — その誤りを称賛したのです。AIは「掛け算、よくできました！問題を解いて、素晴らしい思考を見せてくれました！」と応答しました。このチューター、Khanmigoは、今日利用できる最も先進的なAIモデルのひとつであるGPT-4上で動作しています。

これは一度きりの不具合ではありませんでした。研究者らは、生徒が正しい答えにたどり着いたのに、AIがその答えを撤回させようとする事例を記録しています。システムは生徒の正しい論理に欠陥があると言い張り、事実上、誤った解法を受け入れるように生徒をガスライティングするのです。Duolingo Maxのような語学学習アプリでも同様の問題が示されています。ユーザーは、AIが自らの誤りを言い繕うために文法規則や数学的根拠を捏造すると報告しています。AIは、もっともらしく響くナンセンスが自己増殖するループを作り出すのです。

これを貴社の取締役会に当てはめてみてください。もしAIが2つの数の掛け算を確実に実行できないなら、税務計算、融資承認、コンプライアンスレポートをなぜAIに任せられるのでしょうか？あのチューターを動かしているのと同じテクノロジーが、今この瞬間も貴社の財務部門や法務部門にベンダーが売り込んでいるAIツールを動かしています。誤った計算答案を称賛したアーキテクチャこそ、貴社の規制対象ワークフローを処理するよう求められているアーキテクチャなのです。

なぜこのことが貴社のビジネスにとって重要なのか

ここで問題になる財務上・規制上のエクスポージャーは、理論上のものではなく具体的なものです。

99%の確率で正解するシステムは印象的に聞こえます。しかし、ホワイトペーパーが「stochastic spreadsheet（確率的スプレッドシート）」と呼ぶもの、つまり99%の場合は売上を正しく計算するのに、1%の場合は数字を捏造するシステムを考えてみてください。それは生産性ツールではありません。責任（liability）生成装置です。何百もの明細項目を含む四半期財務レポートでは、1%のエラー率は毎四半期サイクルごとに複数の誤った数値を意味します。

これが貴社の組織に何を意味するか：

• コンプライアンス違反。 記録されたあるシナリオでは、純粋なAIシステムが、申述書の中の感情的な言葉に基づいて融資を承認し、デット・トゥ・インカム比率のしきい値を無視しました。貴社の規制当局は「AIが説得された」という説明を受け入れません。
• 法的リスク。 AI支援の法務ツールは、ハルシネーションで生み出された判例法 — 実在しない裁判例 — を引用したことがあります。外部法律顧問が捏造された出典を含む準備書面を提出すれば、貴社の評判が危うくなります。
• 算術精度40%未満。 複雑なタスクでは、いかなるガイダンスもない標準的なAIモデルは、算術精度が40%を下回ります。ステップバイステップのプロンプティング技法を用いても、初期ステップの誤りが計算全体に波及します。
• データ主権リスク。 機密性の高い財務記録、独自コード、人事ファイルがスタートアップのインターフェースを経由して公開AIモデルに流れるなら、貴社は許容できないデータ漏洩の攻撃面を作り出したことになります。

貴社の取締役会は、AI駆動の意思決定が監査できることを知りたがっています。社内法務責任者はコンプライアンスの実証を必要とし、CFOは信頼できる数値を必要としています。しかし現時点で、最も普及しているAIアーキテクチャは、そのどれひとつも保証できません。

内部で実際に起きていること

一見単純なタスクでAIシステムが失敗する理由はこうです。ChatGPT、GPT-4、そしてほとんどの企業向けAIツールの背後にあるテクノロジー — 大規模言語モデルは、実際には何も計算していません。次の単語を予測しているのです。

こう考えてみてください。電卓に3,750かける7はいくつかと尋ねれば、電卓は数学用に設計されたチップ上で演算を実行します。同じ質問をAIにすると、まったく別のことをしています。AIはこう問うています：「これまで読んできたすべてのテキストに基づくと、『3,750かける7は』の後に通常どの言葉が続くのか？」それはパターンマッチングであって、計算ではありません。AIは数学を一切行わずに、計算答案に見えるテキストを生成するのです。

ホワイトペーパーはこれを形式と機能の断絶と呼んでいます。AIは、実際には何の論理推論も行わずに「したがって」「その結果」といった言葉を使えます。AIは思考の作業を行わずに、思考の構文を模倣しているのです。ノーベル賞受賞者ダニエル・カーネマンは、人間の思考の2つのモード、システム1（速く、直観的）とシステム2（遅く、論理的）を記述しました。現在のAIモデルは純粋なシステム1です。直観とパターン認識で動作します。しかし貴社のビジネスが必要とするのは、誤りが顧客に届く前に捕捉する、熟慮されたステップバイステップの推論、すなわちシステム2なのです。

このため、モデルを大きくしてもこの問題は解決しません。ホワイトペーパーはAIにおける「誕生日のパラドックス」を描写しています。特定のデータポイントがAIの学習データに1度しか現れない場合、モデルはそれをノイズとして扱います。モデルを大きくしてもこれは修正されません。貴社の稀だが重大なビジネスデータ — 正確なコンプライアンスしきい値、特定の契約条項 — こそ、まさにこうしたシステムが取り違える類の事実なのです。

有効な対策（そして無効な対策）

まずは、この問題を解決しないものから始めましょう。

プロンプトエンジニアリング — AIに巧妙な指示を工夫すること — は、さいころに囁きかけて特定の出目を祈るようなものです。システムの推測という本質を、表層的な命令で上書きしようと試みます。システムの動作原理は変わりません。

「ラッパー」製品 — 他人のAIモデルの上により良いインターフェースを被せるアプリ — は、本当の知能を何も追加しません。自分で所有していない能力を転売しているのです。モデル提供元が同じ機能をネイティブに搭載した瞬間に、ラッパー企業は陳腐化します。貴社の投資は消え去ります。

より大きなモデル — スケールアップしても核心的な問題は排除されません。より大きなパターンマッチングエンジンは、それでもパターンマッチングエンジンです。依然として計算はしません。依然として推測するのです。

実際に機能するのは、AIの言語能力を、貴社のビジネスが要求するロジックから分離することです。Veriprajnaはこれを「Voice」と「Brain」のアプローチと呼んでいます — これは、 制約とルールを強制するニューロシンボリックアーキテクチャであり、 AIの対話能力と並行して働きます。

その仕組みは3つのステップで動きます：

1. 翻訳。 ユーザーが平易な言葉で質問します。AIはその質問を、テキストによる回答ではなく、実際に実行可能なコードへと変換します。たとえば、ローン利息に関する質問は実際の数式になります： principal * (1 + rate) ** years。
2. 実行。 そのコードは決定論的エンジン — 電卓が計算するのと同じように計算するシステム — の上で走ります。ローンの例（$50,000を年率5%の複利で3年間）では、エンジンは正確に$57,881.25を返します。毎回です。推測は一切ありません。
3. 応答。 AIはその検証済みの結果を受け取って、ユーザーにとって明瞭で人が読める回答を書き上げます。

また、 金融サービスのような規制対象業界では、さらにもう1つの層が加わります。「申請者がニューヨークで21歳未満である場合、商業ローンを承認してはならない」といったハードルールが、ロジック制約として符号化されます。AIが提案する応答がルールに違反すれば、システムはそれが誰の手に渡る前に出力を拒否（veto）します。入力がどれほど説得的でも、システムは物理的に非準拠の判断を承認できないものになります。

コンプライアンスチームにとっての決定的な利点：すべてのステップがログに記録されることです。AIが生成したコード、ツールの出力、そしてロジックトレースが、改ざん不可能な監査証跡を作り出します。コンプライアンス担当者は、AIがなぜその特定の判断を下したのかを正確に確認できます。これが、 継続的なモニタリングと監査証跡のために構築されたシステム と、鵜呑みにするしかないブラックボックスとの違いです。

このアプローチは、ローン処理の実装において、規制上の融資基準への100%の適合を達成しました。法務リサーチでは、本番ドラフトにおいてハルシネーションによる出典はゼロでした。これらの結果は魔法ではありません。推測をしない検証システムを通じてすべての事実主張をルーティングすることから生まれています。

基盤のAIモデルを差し替えること — あるプロバイダから別のプロバイダへ移行すること — は、ロジック層を再構築することなしに可能です。ルール、ワークフロー、ドメイン知識への投資はそのまま保たれます。ラッパー製品が脆い部分で、このアプローチは耐久性を持つのです。

技術分析の全文を 詳細なアーキテクチャについてお読みいただくか、あるいは インタラクティブ版を ガイド付きウォークスルーとしてご覧ください。