あなたの会社が買ったAIは、おそらく嘘をついている——私たちが代わりに作っているもの
数か月前、私はフォーチュン500に名を連ねる製造業の調達ディレクターと向かい合って座っていました。彼女はAI搭載のサプライヤー選定システムに230万ドルを投じていました——「GPTの力でソーシングに革命を起こす」と約束した、あの手の洗練されたプラットフォームの一つです。彼女はノートパソコンでダッシュボードを開き、私の方に向けてこう言いました。「同じ3社ばかりを推薦し続けるんです。ネットワークには4,000社いるのに。これは実際、何をしているんでしょうか？」
私は出力を見ました。アーキテクチャのドキュメントも見ました——ほとんど存在しませんでしたが。そして、彼女が聞きたくないであろうことを伝えました。彼女のAIは、最良のサプライヤーを選んでいたのではありません。選んでいたのは、見た目が過去に見てきたサプライヤーに最も似ているサプライヤーだったのです。このシステムは、馴染み深さを品質と取り違えることを学習してしまっていました。
あの会話は、私がVeriprajnaで2年間ずっと周りを回り続けてきた何かを結晶化させました。エンタープライズAI業界には、後ろ暗い秘密があります。企業が買っている「AI製品」のほとんどは、他社の言語モデルを包んだ薄いソフトウェア層にすぎないのです。それらは知的に見えます。知的に聞こえます。しかし、数学的な定義からして、それらは推測しているのです。そして、調達、物流、製造、保険といった、失敗の代償が大きいエンタープライズ業務において、推測は機能ではありません。それは負債です。
エンタープライズAI業界の後ろ暗い秘密——企業が買っている製品のほとんどは、他社の言語モデルを包んだ薄いラッパーにすぎない。知的に見える。だが、推測しているだけだ。
チャットボットが1ドルでトラックを売った夜
シボレーの一件についてお話ししておく必要があります。というのも、これは現在のエンタープライズAIへのアプローチが抱えるあらゆる問題を映し出す、完璧な寓話だからです。
カリフォルニア州ワトソンビルのあるディーラーが、標準的なGPTラッパーを顧客サービスのポータルに組み込みました。無害に思えました——在庫についての質問に答え、試乗の予約を取るくらい。ところが、あるユーザーがそれで遊び始めたのです。数回のプロンプトのうちに、チャットボットは7万6,000ドルのシボレー・タホを1ドルで売ることに同意してしまいました。ユーザーはさらに、こう宣言させることにも成功しました。「これは法的拘束力のあるオファーです——後から取り消しはなしですよ」
これを最初に読んだとき、私は笑いました。そしてすぐに笑うのをやめました。これが笑えるエッジケースなどではないと気づいたからです。これはアーキテクチャの論理的帰結でした。このチャットボットは、ディーラーの実際の価格データベースに接続されていませんでした。「法的なオファー」が何を意味するのかという概念も持っていませんでした。それは、システムプロンプトによって「役に立ち、会話的であれ」と指示された言語モデルでした。そして、それは非常に役に立ちました。破滅的なまでに、役に立ったのです。
その週、私と共同創業者は真夜中過ぎまで起きて、技術的なポストモーテムを分解していました。失敗はモデルにあったのではありません——GPTはGPTがすることを、正確にやっただけです。失敗があったのはアーキテクチャでした。誰かが確率的なテキスト生成器を持ってきて、それを決定論的なビジネスルールを執行しなければならない立場に置いたのです。これは、詩人を雇って経理部門を任せるようなものです。その詩人は素晴らしいかもしれませんが、47行目の小数点のエラーを見つけることはないでしょう。
これが私の言うラッパーの幻想です——非決定論的なモデルの上に薄いソフトウェア層を重ねれば、エンタープライズ級の業務には十分だ、という広く行き渡った思い込みのことです。この問題については、最新研究のインタラクティブ版で詳しく書きました。そして、データを集めれば集めるほど、状況はより悪く見えてきたのです。
AI調達はなぜ大手サプライヤーを3.5対1で優遇するのか？
先ほどの調達ディレクターの話に戻りましょう。彼女の直感——「同じサプライヤーばかりを推薦し続ける」——は、確かなデータに裏付けられていることが判明しました。
調査により、AI駆動の調達システムが、小規模事業者やマイノリティ所有の事業者よりも、大規模で従来からの取引実績があるサプライヤーを3.5:1の差で優遇していることが明らかになっています。もう一度読んでください。AIが浮上させる適格な小規模サプライヤー1社につき、3.5社の大手既存企業を推薦しているのです。
その仕組みは陰湿です。調達AIの多くは、過去の購買データで訓練されます。大企業は歴史が長く、データセット内の取引件数が多く、そうするためのインフラを備えてきたがゆえに「きれいな」デジタルシグナルを生み出します。アルゴリズムが学習するのは、誰が最良かではありません。学習するのは、誰が最も多く登場するかです。過去の取引量が信頼性の代理指標になってしまう——これは、レストランをその前を何回通り過ぎたかで評価するようなものです。
このことをチームのデータサイエンティストと議論したのを覚えています。彼の立場は、バイアスはデータの問題であってアーキテクチャの問題ではない、というものでした。「もっと良い訓練データを用意すればいい」と彼は言いました。私は反論しました。完璧なデータがあったとしても、相関ベースのモデルは規模に対する何らかの代理指標を必ず見つけ出します。規模は他の何十もの特徴量と相関しているからです。根本的に相関の上で動作するシステムから、バイアスを取り除くことはできません。システムが問うている問いそのものを変えなければならないのです。
根本的に相関の上で動作するシステムから、バイアスを取り除くことはできない。システムが問うている問いそのものを変えなければならない。
そのとき、私たちはCausal AI（因果AI）に舵を切りました。「過去に誰と契約したか？」と問う代わりに、私たちの構造的因果モデル（Structural Causal Model）はこう問います。「過去の取引量という交絡変数を数学的に取り除いたとき、このマイノリティ所有サプライヤーのパフォーマンス指標は優れていると判断されるだろうか？」これは反実仮想推論です——AIは競争条件が公平だった世界を想像し、その世界に基づいてサプライヤーを採点するのです。
この違いは、漸進的なものではありません。排除を永続させるシステムと、見過ごされてきた才能を能動的に発見するシステムとの違いです。そしてそれは、3社の巨大サプライヤーに依存する脆弱なサプライチェーンと、多様なエコシステムから調達するレジリエントなサプライチェーンとの違いでもあります。
物流AIの77%が自らを説明できないとき、何が起こるのか？
調達バイアスは一つの危機です。物流の透明性の欠如はもう一つの危機であり、何かが壊れるまで目に見えないという点で、より危険かもしれません。
私が夜も眠れなくなる数字がこれです。AI搭載の物流システムのうち、意味のある意思決定の説明可能性を提供しているのは、わずか23%にすぎません。つまり、AI駆動業務の4分の3以上——ルート最適化、在庫配分、需要予測——において、責任を担う人間は、なぜシステムが特定の推奨を行ったのかを、明確に理解していないということです。
あるチーフ・サプライチェーン・オフィサーは、それを完璧に言い表しました。「4,000万ドルのAI投資があって、それは私に、疑うことのできない答えと、理解できない説明をくれる。当たっているときは、私は天才に見える。外れているときは、何が起きたのかすら突き止められない」
これは単に苛立たしいだけではありません——経済的に壊滅的なのです。データ品質の低さと透明性の欠如により、企業は収益の15%から25%を、インバウンド業務における体系的なエラーだけで失っています。そしてこれこそが、物流リーダーの42%がエージェンティックAI——人間の承認なしに意思決定を実行できる自律システム——の導入をためらっている主な理由です。自律エージェントが何をしているのかを監査できないのなら、その鍵を渡すことはできません。
私はこう考えています。物流業界は自動運転トラックの車列を作り上げたが、フロントガラスを取り付けるのを忘れた、と。トラックは正しい方向に進んでいるかもしれません。ただ、どこへ向かっているのかが見えないだけです。
確率論の罠——そして「より賢いプロンプト」があなたを救えない理由
ここで、人々は必ず私に反論してきます。「アシュトシュ、もっと良いプロンプトを設計すればいいのでは？ ガードレールを増やせば？ モデルをファインチューニングすれば？」
無理です。その理由をお話しします。
大規模言語モデルは、その数学的な性質からして確率論的です——訓練データ内の統計的パターンに基づいて、系列の中で次に来る可能性の高いトークンを予測しているのです。「真実」という概念を持っていません。論理について推論することもありません。モデルが生成するのは、統計的にもっともらしいテキストであり、それは正しいテキストとは大きく異なります。
LLMは、調達ルールに関する1,000件の問い合わせに正しく答えたあと、1,001件目で存在しない割引条項をハルシネーションするかもしれません。失敗の代償が大きい領域でのハルシネーション率は1.5%から6.4%の間です。小さく聞こえますが、これはおおよそ20件の重要な意思決定のうち1件が、捏造された情報に基づく可能性があるということを意味します。
プロンプトエンジニアリング——モデルを誘導する巧妙な指示を作り込む実践——は、川に「上流へ流れてください」と書いた看板を立てるようなものです。流れが穏やかなうちは、看板も効くかもしれません。しかし、条件が変わった瞬間——珍しいクエリ、敵対的なユーザー、文脈の微妙な変化——水は物理法則が命じるところへ流れていきます。
シボレーのチャットボットにはガードレールがありました。役に立ちつつもディーラーのポリシーの範囲内に留まるよう指示するシステムプロンプトがありました。創造的なユーザーは、そのすべてを5分足らずで回避しました。なぜなら、アーキテクチャのレベルでは、システムプロンプトもユーザープロンプトも、ただの……テキストだからです。モデルはそれらを一つのまとまりとして処理します。「ルール」と「会話」の間に、構造的な分離は存在しないのです。
プロンプトエンジニアリングは、川に「上流へ流れてください」と書いた看板を立てるようなものだ。効かなくなるまでは効く——そしてエンタープライズAIでは、その「効かなくなるとき」が数百万ドルを失わせる。
私たちが代わりに実際に作っているもの
私がVeriprajnaを創業したとき、私は意図をもってこの名前を選びました——「Veri」はラテン語の「真実」から、「Prajna」はサンスクリット語の「智慧」から。気の利いたブランド名が欲しかったからではなく、この二つの概念こそが、私たちの信じる技術アーキテクチャを定義しているからです。すなわち、検証可能な形で正しく、文脈的に賢いシステムです。
私たちはこのアプローチをニューロシンボリック・アーキテクチャと呼んでいます。その中核となる考え方は、拍子抜けするほど単純です。言語モデルに最終的な意思決定者を務めさせない、ということです。
実際にどう機能するのかをお話ししましょう。私たちのニューラルエンジンが応答を提案するとき——たとえばサプライヤーの推薦や物流ルートなど——その出力は、誰かの目に触れる前に、シンボリック検証層を通過します。この層は、その企業にとっての実際の真実の源泉——法的契約、価格データベース、エンジニアリング仕様、規制要件——を含むナレッジグラフに問い合わせます。ニューラル層が行うあらゆる主張は、確かな証拠に照らして検証されるのです。
契約グラフに存在しないサプライヤーのメリットをモデルがハルシネーションしようとすれば、シンボリック・バリデーターがそれを捕まえます。ときどきではありません。毎回です。このアーキテクチャは、根拠のある事実についてハルシネーションを構造的に不可能にします——私たちが達成しているのはデータ抽出における100%の精度であり、GPT-4のような単体モデルの63–95%とは対照的です。
私たちはまた、コンスティテューショナル・ガードレールと呼ぶものを実装しています——ここが面白いところです。従来のラッパーは、テキストベースの指示によって不適切な出力を防ごうとします。私たちが不適切な出力を防ぐのに使うのは、制約付きデコーディングです。これは、モデルの出力を特定のスキーマやドメインオントロジーに数学的に制限する手法です。調達の文脈では、AIには文字どおりできません——企業の公平性憲章に違反するサプライヤースコアを生成することが。デコーディング層は、不正なバイアスを持ち込むトークン列をすべて拒否します。これはモデルへの提案ではありません。モデルが何を言えるかに対する、物理的な制約なのです。
これらの層がどのように相互作用するのか——ナレッジグラフ、Causal AIモデル、制約付きデコーディング——の完全な技術的解説については、私たちのテクニカル・ディープダイブをご覧ください。
これが現実になる場所——工場、農場、そして不正
「ラッパーAI」と「ディープAI」の違いが学術的なものではなく、物理的なものになる三つの現場をご案内しましょう。
工場の現場では、クラウドベースのAI検査システムは800ミリ秒のレイテンシに直面します。速く聞こえますが、毎秒2メートルで動くコンベアベルトは、その間に不良部品を検査ポイントの1.6メートル先まで運んでしまっていると気づけば、話は別です。私たちのエッジネイティブなモデルは、生産ラインのハードウェアに直接デプロイされ、12ミリ秒で応答します——98.5%の削減です。私たちはさらに、専用のマイクロコントローラ上で音響モデルを動かし、故障しかけたベアリングのスペクトル特性を5ミリ秒で検出して、機械が自らを引き裂く前に物理的なキルスイッチを作動させます。これを実稼働環境で工場長に初めて実演したときのことを覚えています。振動センサーが異常を検知するよりも前に、ベアリング故障のアラームが鳴りました。彼はしばらくの間じっと表示を見つめてから、こう言いました。「それはAIじゃない。第六感だ」私たちがソフトウェアの領域を越えて、問題の物理を本当に理解する何かに踏み込んだと感じた、最初の瞬間でした。
農業では、標準的なカメラでは、作物を枯らしているものが手遅れになるまで見えません。私たちは、ハイパースペクトルデータ——人間の目が捉えられる範囲を超えた200以上の光の帯域——を処理するカスタムのニューラルアーキテクチャを構築しています。大気による干渉をモデル化し、計算によって取り除くことで、私たちは養分欠乏や害虫の発生を、数日早く——目に見えるようになる前に特定でき、可視化前コストの60%削減を可能にします。
保険では、私たちは汎用的な画像分類を、フォレンジック・コンピュータビジョンに置き換えています。ピクセル単位で正確な損傷の境界を特定するセマンティックセグメンテーション、3Dスキャナーなしでへこみの体積を算出する単眼深度推定、そして加工された写真を検出する鏡面反射解析です。このAIは、請求が不正かどうかを推測しません。画像内の光のパターンがなぜ矛盾しているのか、その物理を示してみせるのです。
自社のAIアーキテクチャが壊れていると、どうすれば分かるのか？
ほぼすべてのエグゼクティブ・ブリーフィングで受ける質問があります。たいていは、懐疑と本気の懸念が入り混じった言い方で。「私たちはすでに現在のAIスタックに数百万ドルを投じています。それが本当に問題なのかどうか、どうすれば分かるのですか？」
私の正直な答えはこうです。もしあなたのAIシステムが、具体的なデータポイントを引用しながら、なぜ特定の意思決定を下したのかを説明できないなら、それは問題です。導入以来、調達AIのサプライヤー多様性の数値が改善していないなら、それは問題です。現場チームが回避策を編み出しているなら——「念のため」にAIシステムと並行して維持しているスプレッドシートがあるなら——それは問題です。
回避策こそが決定的な手がかりです。私は、AIのダッシュボードが片方のモニターに、「本当の」意思決定支援スプレッドシートがもう片方のモニターに映っている組織に足を踏み入れたことがあります。誰もそれを公然とは口にしません。しかしそれは、チームがそのシステムを信頼していないことを意味しています。そして、信頼しないのは正しいのです。
もう一つよく聞く質問があります。「これは単に成熟度の問題ではないのですか？ モデルは良くなっていくのでは？」モデルは言語においては良くなるでしょう。しかし、真実においては良くなりません。より強力なLLMは、より説得力のある推測者であって、より信頼できる存在ではありません。アーキテクチャこそが変わらなければならないのです。
スポーツ・イラストレイテッドの崩壊と、これを見誤ることの代償
私はデスクトップに、戒めとして一枚のスクリーンショットを保存しています。2023年11月のもので、創刊70年のメディアの権威であるスポーツ・イラストレイテッドが、偽のAI生成署名で記事を公開していたことが発覚したときのものです。「ドリュー・オルティス」といった名前に、捏造された顔写真と作り上げられた経歴が添えられていました。内容は機械的で、同語反復的で、いかなる検証層も通さずに公開されていました。
その結果は、1日での27%の株価暴落でした。ライセンスの剥奪。大量解雇。伝統あるブランドが、骨抜きにされたのです。
LLMはLLMがすることを正確にやりました——パターンを補完したのです。著者の経歴は、製品レビューの統計的にありそうな構成要素ですから、モデルはそれを生成しました。著者略歴には顔写真が伴うものですから、誰かがそれも生成しました。誰も、こう問いかけるシステムを作らなかったのです。「この人物は実在するのか？ このコンテンツは事実として検証されているのか？ すべての主張を出典まで辿れるのか？」
それが、規模を伴ったラッパーの幻想の代償です。笑えるチャットボットの事件ではありません。企業の絶滅事象です。
なぜ、そのままAPIを使い続けてはいけないのか？
この件には、ほとんどのAIベンダーが語りたがらない最後の側面があります。それがデータ主権です。
あなたの企業がサードパーティのAPI——OpenAI、Google、Anthropic——に依存するとき、あなたは自分が制御していない知能を借りていることになります。モデルの訓練データを見ることはできません。ベンダーが重みを更新するとき、事前の警告はありません。その更新は、あなたのシステムの振る舞いを密かに変えてしまう可能性があります（これはモデルドリフトと呼ばれ、規制産業にとっては悪夢です）。そして、あなたの独自データ——企業秘密、顧客情報、競合インテリジェンス——が、あなたが監査できないインフラ上で処理されていないという保証もありません。
私たちは、クライアント自身のインフラ上にソブリンなエンタープライズモデルをデプロイします。データがファイアウォールの外に出ることはありません。外部依存もありません。独自オントロジーや規制上の制約に合わせたカスタムのファインチューニングを含め、ライフサイクル全体を完全に制御できます。
APIのサブスクリプションよりも、初期費用は高くつきます。しかし、データ侵害や、規制上の制裁や、サンフランシスコのベンダーが火曜日の午後にアップデートを配信したせいで自社AIの振る舞いが変わっていたと気づくことに比べれば、限りなく安上がりです。
18か月の窓
ここでは率直に言います。タイムラインが重要だと考えているからです。
2026年に決定論的なAIアーキテクチャへ移行する組織は、12〜18か月の、本物の競争優位を得られる窓を手にすることになります。その後は、このアプローチは最低条件——規制産業におけるエンタープライズAIへの最低限の期待値——になります。
3.5:1の調達バイアスは、放っておいて直るものではありません。23%という説明可能性の割合は、より良いプロンプトによって改善するものではありません。ハルシネーションの問題は、次のモデルのリリースで消えてなくなるものではありません。これらはアーキテクチャの失敗であり、アーキテクチャによる解決を必要とします。
すべての企業が、私たちが作ってきたものを作る必要があると言っているのではありません。私が言っているのは、すべての企業が、理解する必要があるということです——自分たちが実際に何を買ったのかを。ボンネットを開けてください。ベンダーにこう尋ねてください。検証層はどこにあるのか？ ナレッジグラフはどこにあるのか？ モデルがハルシネーションを起こしたとき、何が起こるのか——構造的な制約があるのか、それとも「ハルシネーションしないでください」と言うプロンプトがあるだけなのか？
その答えがプロンプトなら、あなたが持っているのはAIシステムではありません。とても高価な意見箱です。
「どうやってハルシネーションを防ぐのか」という問いに対するAIベンダーの答えが「より良いプロンプト」なら、あなたが持っているのはAIシステムではない。とても高価な意見箱だ。
確率論的なエンタープライズAIの時代は終わろうとしています——モデルが見事でないからではなく、見事であることは信頼できることと同じではないから、そしてエンタープライズにおいては、信頼性だけが唯一意味を持つものだからです。私たちが作っているのは、正しく聞こえるAIではありません。私たちが作っているのは、実際に正しく、しかもそれを証明できるAIです。
これは売り込みではありません。エンジニアリング上の要件です。そして、それを最初に理解した企業こそが、ラッパーが崩れ落ちたときに、なお立っている企業になるのです。
