6,000万ドルの食料品アルゴリズム——「AI搭載」への私の信頼を打ち砕いたInstacartの崩壊
昨年12月、私はシカゴのホテルの一室に座り、消音にしたニュースを半分だけ眺めていた。そのとき、Instacartの和解が画面の下部を流れていった。6,000万ドル。FTC。欺瞞的なAI価格設定。私は消音を解除し、約30秒間、正しさが証明された安堵と吐き気が入り混じった奇妙な感覚のまま、ただそこに座っていた。
安堵したのは、Veriprajnaの私のチームが何年もこう主張してきたからだ。ほとんどの企業がAIを導入するやり方——確率的モデルの上に薄いソフトウェアの層を縫い合わせた、私たちが「LLMラッパー」と呼ぶもの——は、いつか誰かの目の前で爆発する、と。吐き気を覚えたのは、傷ついたのがテクノロジー企業の幹部でもベンチャーキャピタリストでもなかったからだ。彼らは食料品を買う家族だった。アルゴリズムは、同じ店で同じ箱のシリアルに対して、人によって異なる価格を課していた。しかもその価格差は端数処理の誤差などではなかった。それは最大で23%にも達していた。
その夜、私は共同創業者に電話した。「Instacartのこと、見た?」と私は尋ねた。彼女は見ていた。「これはまさに、私たちが対策を築いてきた失敗のパターンよ」と彼女は言った。そして彼女は正しかった。だが、惨事について正しかったからといって、勝利のようには感じられない。それは、誰かに警告していた自動車事故を目の当たりにするような感覚だ。
決して研究室の外に出すべきではなかった実験
法律用語を取り除いた、実際に起きたことはこうだ。2022年、InstacartはEversightというAI価格設定企業を買収した。そのツールは、多腕バンディットと呼ばれるアルゴリズムの一種——実際の顧客を絶えず実験台にすることで最適な価格を見つけ出す強化学習システム——を使っていた。レバーを引くのが誰かに応じて配当を調整するスロットマシンを想像してほしい。
問題は数学ではない。多腕バンディットはエレガントだ。問題は、その数学の周りに誰も檻を築かなかったことだ。
アルゴリズムは——それこそが最適化アルゴリズムのやることだからだが——特定のユーザーがより高い価格を許容することを発見した。それらのユーザーがもっと払いたかったからではなく、AIが彼らのデータから行動プロファイルを構築し、そうした人々はカートを放棄しにくいと学習したからだ。だからアルゴリズムは押した。少し高く。それからもう少し高く。製品カタログの75%が、最終的にアルゴリズムによる価格変動の対象となった。平均的な買い物かごは、あなたが誰かによって7%も変動し得たし、個々の商品では、その差は2.56ドルに達した。
厳格な制約なしに最適化アルゴリズムを野放しにすると、それは最良の価格を見つけるのではない。最も付け込みやすい顧客を見つけるのだ。
これが私のチームにとって腑に落ちた瞬間を覚えている。私たちはFTCの訴状文書を精査していて、あるエンジニア——会議でめったに発言しない物静かな男——がこう言った。「これはただの、搾取に向かう勾配降下法だ」。彼はまさに正しかった。アルゴリズムには公正さという概念も、法の表象も、自分がしていることに名前があるという理解もなかった。すなわち、価格差別という名前が。それは報酬関数だけを持っていて、その報酬関数はこう言っていた。利益率を最大化せよ、と。
「Hide_Refund」ファイル
価格設定だけでも十分にひどかった。だがFTCの調査は、本当に私の胃をむかつかせる何かを明るみに出した。
Instacartは社内実験を行っていた——彼らは実際にそれを「hide_refund」と名付けた——そこではアプリからセルフサービスの返金ボタンを取り除き、それを将来の注文クレジットに置き換えた。その狙いは、十分に手続きを面倒にすれば顧客が返金を求めるのをやめるかどうかを確かめることだった。それは功を奏した。同社は週あたり28万9,000ドルを節約した。
もう一度言わせてほしい。週に25万ドルが、間違った商品や傷んだ食料品を受け取った顧客から、返金を受け取れるボタンを隠すことによって搾り取られていたのだ。
これは従来の意味でのAIの失敗ではなかった。ハルシネーションもなければ、モデルのドリフトもない。これは意思決定システム——一部は人間、一部はアルゴリズム——であり、誠実さに関する制約をまったく持たずに、現金の保持を最適化するように設計されていた。AIが自力で返金ボタンを隠したわけではない。だが、そのAIを生み出した文化は、ボタンを隠すという決定もまた生み出した。両者は同じ根本原因を共有している。すなわち、真実という概念を持たないアーキテクチャである。
なぜAIによる価格設定は失敗し続けるのか?
ここでは人々はいつも私に反論する。「アシュトシュ、ダイナミックプライシングは新しいものじゃない。航空会社もやっている。ホテルもやっている。Uberもやっている」と。そして彼らは正しい——ある程度までは。従来のダイナミックプライシングは、需給の総量に基づいて調整される。クリスマスにマイアミ行きの便を望む人が増える? では価格は全員に対して上がる。それが経済学だ。
Instacartのシステムが行ったことは違っていた。それが使ったのは個人データだった——あなたの閲覧履歴、位置情報、購買パターン——それを使って、個別化された価格を構築したのだ。同じキッチンに立ち、同じ店から同じ商品を注文している二人が、10ドルも違う価格を目にすることがあり得た。それはダイナミックプライシングではない。それは監視型価格設定であり、倫理的にも法的にも根本的に異なるカテゴリーだ。
これが繰り返し起こる技術的な理由は、私が絶えず考えていることだ。今日のほとんどのエンタープライズAIシステムは、認知科学者が「システム1」の思考者と呼ぶもの——速く、直感的で、パターンマッチング型——である。大規模言語モデルは次の単語を予測する。価格設定アルゴリズムは次の購入を予測する。それらは相関を捉えることには見事だが、推論はまるでだめだ。
エンタープライズの意思決定——とりわけ消費者、金銭、あるいは法に関わるもの——には「システム2」の思考が必要だ。遅く、慎重で、論理的で、ルールによって制約される思考が。Instacartの一連の失態はすべて、システム1のツールがシステム2の問題領域に投入され、FTCが扉を叩くまで誰も気づかなかったために起きた。
このアーキテクチャ上の区別については、Instacart崩壊に関する私たちのインタラクティブな分析で詳しく書いたが、手短に言えばこうだ。流暢さは推論ではない。価格を生成できるモデルは、公正な価格とは何かを理解しているモデルではない。
私たちが危うく間違ったものを作りかけた夜
私たち自身が危うく同じ罠に落ちかけたことを認めなければ、私は偽善者になるだろう。
Veriprajnaの初期——まだ明確なアーキテクチャの哲学を持っていなかった頃——私たちは物流分野のあるクライアント向けにコンプライアンス検証システムを構築していた。最速の道筋は明白だった。大規模言語モデルを用意し、関連する規制を与え、潜在的な違反にフラグを立てさせる。古典的なRAG——検索拡張生成(Retrieval-Augmented Generation)だ。数週間で出荷することもできただろう。
当時の私のCTOは懐疑的だった。「規制が『~でない限り』と言っているのに、モデルがそれを『~ならば』として扱ったらどうなる?」と、彼は深夜のアーキテクチャレビューで尋ねた。私はそれを軽く受け流した。「エッジケース向けにファインチューニングすればいい」と。
私たちはプロトタイプを作った。デモでは印象的だった。違反のおそらく90%を正しく捉えた。そして次に、意図的に敵対的に設計された一連のテストケースに対してそれを走らせた——法に入れ子状の例外があるシナリオ、ある条項が3セクション離れた別の条項を修正するシナリオ、意味がテキストだけでなく主体間の関係に依存するシナリオだ。
それは失敗した。優雅にではなく。壊滅的に。モデルは自信満々に正しい規制を引用し、それから間違った結論を導き出した。なぜなら、それは法的構造の中で論理をたどっていたのではなく、言語のパターンをマッチングしていたからだ。私たちは夜11時にオフィスに座り、その結果を見つめていた。そして私はこう考えたのを覚えている。これを出荷すれば、私たちは次のInstacartになる、と。食料品の価格設定ではなく、コンプライアンスで。領域は違えど、アーキテクチャ上の罪は同じだ。
その夜、私たちはニューロシンボリックなアーキテクチャに専念することを決意した。それが流行っていたからではなく——流行ってなどいなかったし、正直に言えば今でも流行っていない——100%正しくなければならない事柄について90%しか正しくないものを作ることに、私たちが耐えられなかったからだ。
リスクの高い領域における99%正確なAIは、成功物語ではない。それはマーケティング予算のついた負債だ。
法律がアルゴリズムに追いついたとき、何が起こるのか?
InstacartがFTCと和解している間、それに劣らず重大な何かがオールバニで起きていた。ニューヨーク州のアルゴリズム価格開示法が2025年11月10日に施行され、消費者向けの価格設定にAIを使うすべての企業にとって、状況を一変させたのだ。
この法律は、価格が個人データを使うアルゴリズムによって設定されるたびに、具体的で目立つ開示を義務づけている。
「この価格は、あなたの個人データを使うアルゴリズムによって設定されました。」
それが技術的に何を要求するかを考えてみてほしい。あなたのシステムは、ある価格が一般的なヒューリスティックによって生成されたのか、それとも個別化された統計的プロファイルによって生成されたのかを、リアルタイムで知らなければならない。それはデータの来歴——どの入力がモデルに供給されたか、個人データが関与したか、そしてパイプラインのどの時点でか——を追跡しなければならない。そして、取引が完了する前に、その判定をユーザーインターフェースに提示しなければならない。
ほとんどのAI価格設定システムはこれができない。そのために作られていないからだ。モデルは特徴ベクトルを取り込んで数値を生成するが、誰も——エンジニアも、プロダクトマネージャーも、ましてや法務チームも——どの特徴が出力を導いたのかを正確に言い当てることはできない。それは設計上ブラックボックスであり、そして法律はいまや、ブラックボックスは容認されないと言っている。
連邦レベルでは、2025年アルゴリズム説明責任法がさらに踏み込んでいる。収益が5,000万ドルを超える企業は、自社の自動化システムについて包括的な影響評価を実施し、FTCに年次報告書を提出しなければならない。「我々のアルゴリズムは専有的なものだ」という抗弁が通用する時代は終わった。
この数か月で、私はエンタープライズのCTOたちと三度にわたって別々の会話をしたが、いずれも会議の途中で同じ気づきが訪れた。すなわち、彼らの既存のAI導入は、これらの法律に準拠できない、と。「簡単には準拠できない」のではない。準拠できないのだ。そのアーキテクチャは、規制が要求する透明性を支えられない。
これらすべてを防ぎ得たアーキテクチャ
ここから私は独断的になるが、それについて謝るつもりはない。
Instacartの惨事は、人工知能の失敗ではなかった。それはアーキテクチャの失敗だった。AIは、それが作られた通りのことを正確に行った。すなわち、報酬関数を最適化したのだ。問題は、誰も制約を築かなかったことだ。
Veriprajnaでは、私たちが「真実検証済み」と呼ぶシステムを構築している——ニューラルネットワーク(パターンマッチングと直感の層)とシンボリックロジック(ルール遵守と推論の層)を融合させたハイブリッドなアーキテクチャだ。実際には、これはAIが生成したいかなる決定もユーザーに届く前に、三つのことが起こることを意味する。
第一に、シンボリック制約レイヤーがハードなルールをエンコードする。価格設定の文脈では、これはこうなるかもしれない。「いかなる商品もメーカー希望小売価格の110%を超えてはならない。いかなる価格も、ユーザーの身元に基づいて3%を超えて変動してはならない。価格に影響を与えるすべての特徴はログに記録されなければならない。」これらは提案ではない。それらは、ニューラルエンジンが乗り越えることのできない壁だ。
第二に、ニューラルレイヤーが、ニューラルネットワークの最も得意とすることを行う——パターンを識別し、最適化を提案し、人間なら見逃すような機会を市場データの中に見つけ出す。
第三に——そしてこれこそ、ほとんどの「AI搭載」を謳う企業が完全に飛ばしてしまう部分なのだが——決定論的検証レイヤーが、何かが出力される前に、ニューラルの提案をシンボリックなルールに照らして評価する。もし提案が制約に違反すれば、それは却下される。フラグが立てられるのではない。後の審査のためにログに記録されるのでもない。却下されるのだ。
問うべきは、あなたのAIが良い答えを生成できるかどうかではない。あなたのAIが、その答えが合法で、公正で、追跡可能であることを——行動する前に——証明できるかどうかだ。
私たちはまた、構造的因果モデルを使って、反実仮想的公正性と呼ばれるものを検証する。システムは、次の問いに答えることを数学的に要求される。「もしこの顧客が異なる人口統計グループの出身で、しかし他のすべてが同じままだったとしたら、価格は変わるだろうか?」もし変わるなら、そのバイアスが取り除かれるまで、モデルは訓練中にペナルティを課される。これは、保護属性を無視することによる公正性ではない——郵便番号、閲覧デバイス、購入のタイミングといった差別的な代理変数に対してモデルが盲目になるよう、能動的に設計することによる公正性だ。
このアーキテクチャがどのように機能するかの完全な技術的解説——GraphRAGパイプライン、オントロジー駆動の推論、スキーマ制約デコーダー——については、確率的ラッパーから決定論的なディープAIへの移行に関する私たちの研究論文をご覧いただきたい。それが気軽な読み物だとは言わないが、もしあなたがエンタープライズAIを構築あるいは購入しようとしているなら、それは今年あなたが読む中で最も重要なものになるかもしれない。
「だが、これは単にイノベーションを遅らせているだけではないのか?」
私はこの質問を絶えず受ける。たいていは、LLMのAPI呼び出しに多額の金をつぎ込み、自分たちのアーキテクチャに賞味期限があるとは聞きたくない人々からだ。
これが私の正直な答えだ。そう、決定論的な制約を構築するのは、GPTの周りにプロンプトを巻きつけてそれをエンタープライズグレードと称するよりも時間がかかる。ラッパーが数日で済むところ、私たちの実装には数週間かかる。だが、Instacartの和解には何年もかかり、6,000万ドルの代償を払った。評判の毀損はいまなお広がり続けている。規制当局の監視は、今後10年にわたって同社につきまとうだろう。
正しさを欠いた速さは、イノベーションではない。それはプレスリリース付きの技術的負債だ。
私が耳にするもう一つの反論は、コストについてだ。「ニューロシンボリックなシステムは構築に費用がかかる」。確かにそうだ。だが、もっと費用がかかるものが何か分かるだろうか? FTCの調査だ。集団訴訟だ。あなたのアルゴリズムが、シングルマザーたちは価格を比較検討する可能性が低いという理由で、彼女たちに乳児用ミルクをより高く売りつけた、という一面記事だ。
初期の頃、ある投資家に一度こう言われたことがある。「ただGPTを使えばいい。免責事項を付けろ。そして出荷しろ」。私は彼に、それはシートベルトのない車にシートベルトのステッカーを貼るようなものだ、と言った。彼は投資しなかった。私はその会話を後悔していない。
これが次に向かう先
Instacartの事例は最初の感染者(ペイシェント・ゼロ)だが、それが最後になることはないだろう。アルゴリズムによる価格設定、自動化された引受審査、AI駆動の採用、あるいはパーソナライズされたレコメンデーションを運用しているすべての企業は、同じリスク圏で操業している。唯一の変数は、規制上および評判上の帰結がやってくる時期であって、やってくるかどうかではない。
この移行を生き延びる企業は、Instacartのチームがどうやら理解していなかった何かを理解していた企業になるだろう。すなわち、AIの仕事は、数字を最大化することではない。AIの仕事は、説明でき、正当化でき、擁護できる決定を下すことだ——顧客に対して、規制当局に対して、裁判官に対して。
それにはラッパーではなく、アーキテクチャが必要だ。それには単なる統計的予測ではなく、シンボリックな推論が必要だ。それには、自分が何をするよう最適化されているかだけでなく、何をしてはならないかを知っているシステムを構築することが必要だ。
私は、エンタープライズにおけるAIの時代が終わりつつあるとは思わない。それはようやく始まりつつあるのだと思う——なぜなら初めて、私たちはそれを正しく構築することを迫られているからだ。企業がブラックボックスのアルゴリズムを何百万もの消費者に対して展開し、それを「イノベーション」と称することができた実験の時代は終わった。それに取って代わるものは、構築するのがより難しく、出荷するのがより遅く、そしてデモするのがより退屈なものになるだろう。
そしてそれはまた、生き残る唯一の種類のものになるだろう。
