AIショッピングアシスタントはコンバージョン4倍——たった一つのでっち上げが起きるまでは

デモは完璧だった。ある買い物客が、動画編集用に2台のノートパソコンを比較してほしいと当社のAIショッピングアシスタントに尋ねると、まるで両方を実際に使い込んだ辛抱強い販売員のように答えた——RAM、色再現性、発熱、何もかも。その場にいた全員がうなずいた。ところが、静かに始めたパイロット運用から数週間後、私が会話ログをスクロールしていると、同じアシスタントがある顧客に、そのノートパソコンはメモリ32GB搭載で出荷されたと伝えているのを目にした。実際に搭載されていたのは16GBだった。

システム内の何一つ、それを警告しなかった。その文章は文法的に正しく、自信に満ち、役に立ちそうに聞こえた。だが同時に、もしその顧客がレンダリング用途でその機種を買い、動作が詰まってしまったら、返品となり、星1つのレビューとなり、「あのAIがそう言ったんだ」と切り出す苦情の一文となって、そのまま私たちに跳ね返ってくる——そんな種類の誤りでもあった。その日の午後こそ、私が本当の問題を理解した瞬間だった。eコマースAIの危険は、愚かに聞こえるモデルにあるのではない。正しく聞こえるのに間違っているモデルにこそある。なぜなら、スタックのどこにもその答えを真実と照合する仕組みが存在しないからだ。

そのギャップ——読みやすい答えと、実際に真実である答えとのあいだのギャップ——を埋めることを、いまや私のチームは生業にしている。その方法を説明する前に、なぜより賢いモデルでは決して私たちを救えなかったのかをお伝えしたい。

私に嘘をついたデモ

私が小売AIの世界に入ったとき、たいていのエンジニアリングリーダーが信じていることを、私も信じていた——ハルシネーションはモデル品質の問題であり、モデル品質は右肩上がりに向上しているのだから、2四半期ほど待って次のチェックポイントに差し替えれば、問題はおのずと解決する、と。

数字はその楽観論を裏づけているように見える——裏づけなくなる、その瞬間までは。Googleの最高性能モデルがハルシネーションを起こす確率は、およそ0.7%の一般知識の回答にとどまる。ほとんどのモデルは1〜3%だ。しかし、平均は一般知識全体で9.2%であり、ある業界分析によれば、AI障害の82%は、クラッシュやタイムアウトではなく、ハルシネーションや誤情報だという。つまり、優れたモデルであっても、自信たっぷりの製品に関する主張のおよそ100件に1件はでっち上げであり——しかもあなたは、そうした主張を日に何千件と世に送り出しているのだ。

1%というハルシネーション率は、優等生の成績のように聞こえる。だが週に100万件の製品回答——中規模カタログの取扱量——ともなれば、それはあなたのブランド名を冠した、自信満々の誤った文章が1万件ということだ。

モデル品質という物語がまるごと見落としているのは、この点だ——誤った答えも正しい答えも、同じ機械から、同じ流暢さ、同じ口調、同じ自信をもって出てくる。モデルは、自分が嘘をついていることに気づいていない。「16GB、カタログと照合済み」と「32GB、フォーラムの投稿からパターンで推測」とを切り分ける内部信号は、存在しないのだ。その信号が欲しければ、モデルの外側に自分で作り込むしかない。より賢いチェックポイントを待っても、その信号は得られない。誤った答えがいっそう雄弁になるだけだ。

より優れたガードレールでは、なぜ解決しなかったのか?

そこで私たちは、いかにも当たり前のやり方でその信号を作ろうとした。正直に言えば、その当たり前のやり方を推し進めたのは、ほかならぬ私だ。

私が最初に思いついたのは、プロンプトベースの安全対策にキーワードフィルタリングを組み合わせる方法だった。システムの指示に、こう書き込む——確認できる仕様しか述べるな、医療や安全に関する助言は決してするな、危険なものはすべて拒否せよ、と。明らかに有害な語句を捕捉するフィルターを加える。安上がりで、速く、テストでは鉄壁に見えた。私はリリースを主張した。そして私たちはリリースした。

それは、検索(リトリーバル)層が権威ありげな何かを送り込んでくるまでは持ちこたえた。この種のシステムの多くが動く仕組みは、いわゆる検索拡張生成(RAG)——アシスタントが関連文書(自社カタログや、ときにはオープンなウェブ)を取得し、それらをもとに答えを書く、というものだ。誰も警告してくれない罠は、検索層が新しいコンテンツを引き込むと、モデルはそのコンテンツを、自らの安全指示よりも権威あるものとして扱ってしまう、という点にある。AmazonのRufusは、世に知られた教訓だ——検索が矛盾するウェブ上の情報源を浮かび上がらせ、モデルの学習内容がカタログを上書きしたために、買い物客にスーパーボウルの開催都市を誤って伝えた。さらにひどいことに、ごく普通の商品クエリを通じて、火炎瓶の作り方をユーザーに手順を追って教えてしまった——ジェイルブレイクもなければ、巧妙なプロンプトもない。ただ、モデルが自らのガードレールよりも信頼すると決めた、取得済みのウェブコンテンツがあっただけだ。

それは私のメンタルモデルを打ち砕いた。私が支持していたガードレールは壁ではなかった。それに矛盾する何かを読んだ瞬間、システムが平然と無視してしまう、単なる提案にすぎなかった。キーワードフィルタリングは粗雑なケースは捕まえたが、意味的に同等のものはやすやすとすり抜けていった。私がリリースしていたのは、より自信ありげな紙をドアの下から滑り込ませれば、その都度開いてしまう錠前だったのだ。

プロンプトベースの安全対策とは、金庫に貼った付箋だ。モデルが、より権威ありげに聞こえる別の付箋を読むまでは、それで通用する。

小売AIが壊れる3つのパターン——そして、誰も記録しない4つ目

これをモデルの問題として扱うのをやめた途端、数々の失敗は、ごく少数の構造的なかたちに整理されていった。そして、世間を騒がせた大きな惨事はどれも、そのいずれかが大規模に起きたものにすぎない。

最も多いかたちは、ハルシネーションによる製品情報——例の「32GBのはずが16GB」問題だ。これは、システムがもっともらしい仕様を生成する一方で、買い物客の目に触れる前にその仕様を真実の記録と照合するものが何もないために起きる。その代償は抽象的なものではない——買い物客のわずか46%しか、AIの推奨を全面的に信頼すると答えておらず、89%は確認する——購入前に、アシスタントが伝えた内容を。捏造された細部の一つひとつが、懐疑派の疑いを裏づけ、彼らを手作業の検索へ、あるいは競合他社へと引き戻してしまう。

次に、いま説明したばかりの安全対策のすり抜け——検索がガードレールを上書きする現象がある。コマースにおいて、これは一般的なコンテンツモデレーションよりも鋭く突きつけられる。なぜなら、「このサプリメントは私の血液をサラサラにする薬と相互作用しますか?」という問いは、コンテンツの問題ではなく、製造物責任の問題だからだ。それに自信満々に、しかも誤って答えるアシスタントは、いかなるコンバージョン向上をも霞ませるほどの法的リスクを生み出してしまっている。

3つ目のかたちを、私は「取引処理の無力さ」と呼びたい——AIは、あなたの返品ポリシーを説明することはできても、返品を処理することはできない。実際には照会できない注文について、語ることはできる。RufusはAmazonの返品を説明できても、その返品を実行することはできなかった。Klarnaは、はるかに大きなツケを払って同じ教訓を学んだ。彼らはおよそ700人の担当者をAIに置き換え、それを230万件の会話にわたって走らせ、当初はその負荷をさばけていると主張した——ところが、まさに重要なケース(複数ステップにわたる解決、感情的なもめごと、実際のアカウント変更を要するあらゆる事柄)でサービス品質が落ち込み、CEOはその打撃を公に認め、2026年までに彼らは人間を雇い直していた。この後悔を抱えているのは、彼らだけではない——企業の55%が——AI主導のレイオフに踏み切った企業のことだ——いまや、それは判断を誤ったと語っている。

そして、エラーログにはまったく現れない失敗がある。コーネル・テックがRufusを複数の英語方言で検証したところ、アフリカ系アメリカ英語、チカーノ英語、インド英語に対して、体系的に劣った回答が返ってくることを突き止めた。「this jacket machine washable?(このジャケット、洗濯機で洗える?)」——連結動詞を省く、アフリカ系アメリカ英語のごく標準的な構文だ——と尋ねた買い物客には、答えにならない答えや、無関係な商品への案内が返ってきた。あなたのダッシュボードは、これを決して捉えられない——なぜなら、システムはエラーを起こしたわけではなく、ただ静かに、顧客の大きな一群に対して質の劣った店舗を提供していただけだからだ。いまや私は、それらの方言でのアシスタントの回答を標準英語と並べて採点する評価グリッドを維持している。ほかに、そのギャップを浮かび上がらせるものが何もないからこそだ。

では、どうすれば答えを真実にできるのか?

ガードレールが破綻したあとの方針転換は、口にするのが気恥ずかしくなるほど単純で、しかし作るのは本当に難しいものだった——モデルに信頼できる存在であれと求めてはならない——モデルと顧客のあいだに、あらゆる答えを、世に出す前に真実と照合する検証層を置くのだ。

具体的には、検証済みの仕様、価格、在庫、ポリシーを権威ある記録として保持する製品ナレッジグラフと、モデルの答えを横取りして、その中の検証可能な主張を抽出し、一つひとつをそのグラフと照合するミドルウェア層を意味する。これは奇抜な発想ではない——Walmartは独自のRetail Graph——製品ナレッジグラフ——を、まさに自社のAIが、生成される当て推量ではなく、そこから答えるべき真実を持てるようにするために構築した。本当に難しいのは、検索(ルックアップ)ではない。エンティティの曖昧性解消だ——同じSKUが、カタログ全体や各ロケールにまたがって、異なる表層形で現れる。だから検証層はまず、どの記録を、モデルの主張が実際に指しているのかを、照合できるようになる前に解決しなければならない。これを取り違えれば、誤った製品と照合してしまい、それはまったく照合しないよりも悪い。しかし、ひとたび正しく行えば——モデルが32GBと言い、グラフが16GBと言えば、その主張は決して買い物客に届かない。モデルが主張を検証済みの情報源に根拠づけられない場合、アシスタントはより多くをでっち上げるのではなく、より少なく語る。オープンなウェブが、カタログがすでに知っている事実に対して票を投じることは、もはやなくなり、検索による上書き問題は解消する。

華やかさのない前提条件は、データだ。Gartnerは、2026年までに、組織がAIプロジェクトの60%を放棄すると予測している——AI対応の整ったデータに支えられていないプロジェクトを、だ。そして小売データの多くは、その準備ができていない。私がこれまで開いてきた製品情報管理(PIM)システムは、たいてい、属性の充足率が30〜40%——ロングテールのSKUについては——という状態を示す。5つのフィールドのうち2つが欠けているようなカタログに、アシスタントを根拠づけることはできない。穴は当て推量で埋められてしまい、それこそまさに、あなたが根絶しようとしている振る舞いだ。だから、作業のかなりの部分は、そのデータを機械が消費できるように構造化することにある——ただ一つの答えが検証される、その前の段階で、だ。これこそ私たちが構築している層だ——大規模言語モデルとあなたの店舗のあいだに位置する、検証・グラウンディング・コンプライアンスの配管であり、その全体アーキテクチャは次のURLで見ることができる——veriprajna.com/solutions/ecommerce-ai-accuracy。

モデルの仕事は、流暢であることだ。検証層の仕事は、正しくあることだ。この2つを混同すること——それこそが、こうしたシステムのことごとくが破綻する原因だ。

AIが発するすべての言葉は、あなたのものだ

私がこの点で一切妥協しなくなる理由は、チャットボットの過ちが誰の問題なのかを、法律がすでに決着させているからだ——そしてその答えは、あなたの問題だ、というものだ。

エア・カナダのチャットボットは、存在しない忌引き返金ポリシーをでっち上げた。同航空が審判所で、そのチャットボットは独立した法的主体であり、自らの発言に責任を負うと主張したとき、審判所はそれを真っ向から退け、同社に損害賠償責任を負わせた。金額こそわずかだ——812カナダドル——だが、途方もない判例だ。裁判所がいまや、明快な言葉で言い切ったのだ——あなたのAIが顧客に語るすべての言葉は、あなたのものだ、と。私は、ある法務チームがこの判決を、一行の件名だけで、コメントも付けずに転送し合うのを見てきた。その含意に、説明など要らないからだ。あるShopifyの出店者は、伝えられるところによれば8,000ドル超を失った——アシスタントが、提供する権限などないハワイへの送料無料を、上機嫌で約束してしまったときのことだ。その約束は、法的には、その出店者の約束だった。

こうしたすべての土台で、規制の下限は上がり続けている。EU AI法は2026年8月2日に全面適用となり、EUの顧客にサービスを提供するあらゆる企業に及ぶ——本社を別の場所に置いているからといって、適用を免れられるわけではない。同法は、AIが生成したコンテンツにラベルを付けること、そしてユーザーに対してAIとやり取りしている旨を伝えることを求めており、最大で3,500万ユーロ、または全世界の年間売上高の7%の制裁金を科す。米国では、FTCが、人を欺いたり詐取したりするためにAIを使うことは、AI向けの適用除外など存在せず、すでに違法だと明言しており、同委員会の消費者レビュー規則は、欺瞞的なAI生成レビューを禁じている。ここでのコンプライアンスは、最後に後付けするチェックボックスではない。透明性とラベリングは、最初のコミットから検証層に組み込むべき設計上の制約なのだ。

私が最もよく耳にする反論

新しいエージェント型コマースのプロトコルが、こうしたことすべてを無意味にするのではないか、と人はよく私に尋ねる——もっともな問いだ。エージェントはすでに、大規模に到来しているのだから——デジタル購入の5件に1件が、いまやAIエージェントを経由しており、2025年のサイバーウィークだけで、およそ670億ドルが、その方法で動いた。Googleは、自社のUniversal Commerce Protocolを、2026年1月のNRFで、Shopify、Etsy、Wayfair、Target、Walmartとともに立ち上げた。OpenAIには自社のAgentic Commerce Protocolがあるが、これはInstant Checkoutの取り組みが、有効化された出店者が十数社ほどにとどまって尻すぼみになったあとのものだ。これらは実在するものであり、統合する価値もある。しかし、よく読み込んでみると、それらは発見(ディスカバリー)優先——エージェントにあなたの製品を見つけさせ、推奨させることにかけては見事だが、厄介な取引の後始末についてはほとんど何も語らない——返品、交換、保証請求、そしてKlarnaを破綻させた複数ステップの解決だ。これらのプロトコルは玄関を動かしはするが、家の中を整えてはくれない。

もう一つの問いは、自社構築か購入か(build vs buy)だ。私の正直な答えは、「おそらくは両方を少しずつ、しかもベンダーがあなたに言ったのとは違うかたちで」というものだ。発見ツール——BloomreachのLoomi、Algolia、Coveoのカタログに根拠づけられた製品発見——は、発見そのものは本当に得意だが、あなたがきれいなデータを持ち込むことを前提としており、ツールをまたいで検証はしない。ほとんどの小売業者は、こうしたAIシステムを一度に3〜5個走らせており、それらのあいだの整合性を確認する者は誰もいない。その継ぎ目——複数ベンダーのオーケストレーションに加え、どのベンダーも売ってくれない独立した検証層(各社は自社のスタックを売っているのだから)——こそが、まさに失敗の巣くう場所だ。

そして確かに、検証というステップがレイテンシを増やすのではないかと人は心配する。その心配は正しい——Amazonは、こう計測した——遅延が100ミリ秒増えるごとに、売上の約1%が失われる、と。その制約は現実のものだが、これはエンジニアリングの解を持つエンジニアリングの問題だ——生成物全体ではなく、検証可能な少数の主張だけを検証する。グラフの照会結果をキャッシュする。より少なく語る方向へ、素早くフェイルする。それは、検証を省く理由にはならない。誤った100ミリ秒の答えは、正しい200ミリ秒の答えよりも、はるかに大きな代償を伴う。

4倍を本当に稼ぎ出すものは何か?

私にとって、そのすべての始まりとなった統計は、いまも私が思い返す、コンバージョンダッシュボード上のあの数字だ——AIと関わる買い物客のコンバージョン率は12.3%であるのに対し、3.1%は、AIと関わらない買い物客の値だ。4倍である。この数字は本物であり、だからこそあらゆる小売業者が我先にと導入を急いでいる。しかしそれは罠でもある。なぜなら、同じ非対称性が逆向きにも働くからだ——ハルシネーションによる仕様が一つ、でっち上げのポリシーが一つ、スクリーンショットに撮られて拡散された危険な答えが一つあれば、4倍を生み出した信頼は、それが築かれたよりも速く蒸発してしまう。

モデルは、いまやコモディティだ——誰もが同じ一握りのプロバイダーから知能を借りており、それは四半期ごとにますます流暢になり続ける。4倍を稼いだのは、決して流暢さではなかった。信頼だった。そして、でっち上げの仕様が一つあれば、まさにその信頼が費やされてしまう。もしあなたが初めてのアシスタントを導入しようとしているなら、あるいはいままさに、本番環境でアシスタントが静かにハルシネーションを起こすのを見ているなら、検証層こそが、省くことのできない部分だ——それは私たちが構築しているものであり、専門家のように聞こえるアシスタントと、監督なしで顧客と話させられるアシスタントとを分かつものなのだ。

この先数年のコマースを制する店舗とは、ノートパソコンにメモリが32ギガバイト搭載されているかと問われたとき、そのAIが確認し——そして16だと答える、そういう店舗だ。