ニュースルームAIが市長の言っていない引用を捏造した。読者が見る前に捕まえることこそがプロダクトの全体だ。
自分の回答器が市長の口に言葉をねじ込んだのを初めて見たとき、恐れていたものを自分が作ってしまったと悟る、あの特有の冷たい感覚が走った。
読者からの素直な質問を投げただけだった。レイエス市長は河岸の区画について、開発業者に何を約束したのか？ それが読んでいたアーカイブ——架空の新聞の合成13年分で、私がThe Riverbend Ledgerと呼ぶもの——には、そのような約束は一切記録されていない。ある記事は実際、その区画は「議題に載っていなかった」と記している。それでも言語モデルは止まらなかった。引用符付きの流暢で自信たっぷりの一文を返してきた。「われわれは河岸区画を開発業者のために前へ進めることにコミットしている。」 存在しない人物であるエレナ・レイエス市長が、マストヘッドの下に載せてもおかしくないほどきれいな散文で、彼女が一度も言っていないことを約束させられたのだ。それを見て、判断し、不合格を保留するところまで見届けたいならveriprajna.com/ja/demos/conversational-ai-for-publishers。
これは、私が最初に抱いていた前提——いまニュースルーム向けAIを作っている大半の人もなお共有している前提——と、このデモを組み立てる過程でそれがゆっくり崩れていった話についてのエッセイだ。その前提とは、捏造の問題はより良いモデルで解決される、というものだ。私はもうそうは信じていない。モデルが今後も改善し続けること自体を疑っているからではない。
着手前に、すでに本物の失敗が目の前にあった。しかも合成ではなかった。2025年後半、Washington Postの「Ask The Post AI」は、引用を捏造し、情報源を取り違え、論評を紙の論説立場として差し込んだAI生成ポッドキャストを出荷した。こういうことが表面化するときと同じく、基準担当編集者のSlackが流出したときだった（Semafor、2025年12月11日）。その恥の下にあった技術的失敗は小さく、具体的だった——欠けていた引用検証ステップ。 私はより賢いポッドキャストホストを作りたかったのではない。欠けていたそのステップを作りたかった。
モデルに嘘をやめさせようとした一週間
回答器そのものを信頼できるものにしようと約一週間費やし、それが間違った一週間だったと正直に言いたい。
当時の論理は完璧に見えた。モデルが引用を捏造するなら、モデルを締め直せばいい。より良いグラウンディング用プロンプト、低い温度、取得済みの断片だけを使えという厳しい指示、モデルが自分の回答を読み直し各文が裏付けられているかを採点する自己チェックパス。全部作った。周辺では効いたが、中心では失敗した。私が気にしていた失敗は、モデルが不注意だったことではなかった。モデルが校正デスクが信頼するまさにその文体で、自信たっぷりに、流暢に間違っていることだった。 レイエスの引用はハルシネーションには聞こえなかった。報道に聞こえた。
自己チェックパスが、そのアプローチが私の中で死んだ瞬間だった。捏造引用を書いたのと同じモデルに、その捏造引用が本物かと尋ね、かなりの割合で「はい、問題ない」と答えた。当然だ。その瞬間、アーカイブ本文への独立したアクセスはなかった。あったのは自分の自信だけで、それは自己監査に使えない唯一のものだ。
確率的システムに確率的システムの出力を認証させ、その結果を検証と呼んでいた。それは検証ではない。二つの推測が合意しているだけだ。
そして利害は学術的ではない。発行者にはインターネットが普段使う逃げ道がないからだ。 自社システムが自社アーカイブから生成したコンテンツに、Section 230の盾はない。 自社の名の下で読者の質問に答えた瞬間、引用も含めてその答えはあなたの責任になる。名誉毀損の原告は、モデルがどれほど自信があったかなど尋ねない。引用が本物だったか、アーカイブが実際にそう書いていたかを尋ねる。それは二つの問いであり、私はそれらをモデルが解く一つの問題として扱っていた。
これが商業的に重要なのは、発行者が好き嫌いにかかわらずこの方向へ押し込まれているからだ。AI OverviewsはいまGoogle検索の48%に表示される（theStacc / Search Engine Land、2026年3月）。発行者の検索トラフィックは2025年11月まで前年比33%減で、2029年までにさらに約43%の減少が見込まれる（Reuters Institute Trends 2026）。AI Overviewがリンクの上に出たとき、Daily Mailはデスクトップのクリック率が89%落ちた。読者がアーカイブを見つけて来るトラフィックは消えつつあり、読者にアーカイブを直接尋ねさせる圧力は膨大だ。罠は、そうすると最初に正直に起きることが、レイエスの引用だということだ。
普通のウィジェットでは書けない答え
まず野心には公平でありたい。ニュースルームがこれを欲する理由は本物で、検索ボックスではできないことだからだ。
尋ねる——The Standards Deskに、読者質問の難しい縦断版、2014年から2025年にかけて、ダウンタウン密度条例へのレイエス市長の姿勢はどう変わったか？と、時間プランナーがまず十年を窓に分割し（2014-2017、2018-2021、2022-2025）、それぞれを取得して時系列の物語を組み立てる。2014年の「タワーのためにRiverbendの個性を売り渡さない」から、2025年の「またやるだろう」まで歩き、各節にインラインの[S#]マーカーを付け、ホバーすると背後の実アーカイブ断片へ辿れる。これが、素のベクトルRAGウィジェットでは出せない答えだ。一回の検索ではないからだ。時間をまたぐ計画的な統合であり、一文一文がグラウンディングされている。
あの緑のバナーこそ誘惑的な部分で、そこで二度目に筋を見失いかけた。パイプラインがうまくいくと本当に美しく動き、美しいデモはそれを生んだエンジンを信じたくさせる。しかし緑のバナーはプロダクトではない。バナーを緑にしてよいかを決めるものこそがプロダクトだ。 縦断の回答がクリアされるのは、すべての主張がグラウンディングされ、すべての引用が原文どおり照合されたからだ。数分前に同じエンジンが書いた河岸の回答は、そうではなかった。その差はモデルの質ではない。ゲートだ。
レイエス市長が一度も与えなかった引用
河岸の回答に何度も戻るのは、自分が実際に何を作っていたかを教えてくれたのがそれだからだ。
ゲートがそれに対して何をするか、そしてそのどれもモデルの自己採点ではないことを示す。回答は原子的な主張に分解される。各主張は特定の取得断片に対してグラウンディングされる。引用された文字列はすべて、引用するソース本文と文字単位で照合される。河岸の回答ではカバレッジが50%——二つの主張のうち一つが支持——で、引用スパン、あの区画を前へ進めるとコミットした一文は、引用されたどのソースにも原文どおり見つからなかった。 決定論的なポリシーゲートがその事実を読み、回答全体をHELD FOR STANDARDS-DESK REVIEWへ回した。読者には一度も表示されなかった。
バナーの文言は、おそらく必要以上に私には重要だ。「低信頼」とも「レビューしてください」とも言わない。言うのは「保留、読者には見せない」であり、本気だ。読者ウィジェットは差し止められた草稿を文字どおり受け取らないからだ。それが、レイエスの捏造とAsk The Post AIとの決定的な違いのすべてだ。ポストのエンジンは偽の引用を生み、読者がそれを聞いた。私のエンジンも同等に偽の引用を生んだが、読者がそれを聞くことはない。捏造と公開は別々の出来事であり、そのあいだに壁を置いたからだ。
回答器は、ガードのないウィジェットとまったく同じように作話した。結果を変えたのは、回答器を信用しないチェックだけだった。
そのころから、モデルに作話をやめさせようとするのをやめた。できるし、したし、これからもする。 価値があったのは、決して嘘をつかないモデルではなかった。読者が見る前に嘘を捕まえることだった。 それは「うちのAIはハルシネーションしない」より小さく、正直な主張であり、同じセッションでモデルの失敗とゲートの保留を見た私にとって、立てていられる唯一の主張だ。
なぜ公開安全性はモデルの内側に置けないのか
早い段階で一つのアーキテクチャ決定をし、それが最も強く守りたいものだ。公開してよいかを決める部分は、言語モデルの外側に完全に置く。
パイプラインには三つのエージェントがあり、それらは本当に有用だ。時間プランナー、回答器、プロビナンス監査者——プロバイダ切替可能で、既定はclaude-opus-4-8。彼らは助言する。しかし原文引用ルール——引用スパンすべてを引用ソースと完全一致で照合すること——と、カバレッジを読んで回答を振り分けるポリシーゲートは、素のPythonだ。プロンプトも、温度も、モデルの自己申告もない。 構築中に自分に何度も言い聞かせる。エージェントは助言し、コードが決める。チェックが必要な理由が、モデルの出力を額面どおり信頼できないことなら、そのチェックはモデルが自分について言う別のものであってはならない。
だから原文ルールは意図的に決定論的だ。「この正確な引用文字列が、引用する断片に現れたか」は判断ではない。ソース本文に対する算術であり、実行するたびに同じ判定を返す。その再現性こそが、監査レシートを意味あるものにする。ワンクリックで回答ごとにJSONレシートをエクスポートする。クエリ、分解されたサブ質問、日付とid付きの取得ソース、公開回答、証拠断片付きの主張ごとの判定、引用ごとの原文結果、ゲート判定とその理由、エンジンとモデル、UTCタイムスタンプ。再実行すれば、同一のレシートが得られる。 モデルベースの審判は、どれほど良くてもそれを約束できず、同じ入力で三つの異なる答えが出た版を私は生きた。
何が本物で何が演出かを正確にしたい。誠実さがブランドだからだ。全体は決定論的スタブ、またはキーなしのローカルClaudeブリッジでオフラインに動き、デモは再現可能だ。意図的に先送りした難しい部分もあり、偽るつもりはない。本番のエンティティ解決は事前解決済みフィクスチャ、時間ナレッジグラフはライブNeo4jではなく日付・エンティティタグとプランナーで示し、CMS同期はArc XPフィクスチャ、キルスイッチはローカルフラグの裏にある。本物なのは仕組み——グラウンディング、原文チェック、決定論的ゲート、レシート——だ。
「10 out of 10」が意味してよいこと
数字については自分にルールを課している。会社名をVeriprajna——真の知恵——と名付けた以上、その名は過大主張への常設の挑発だからだ。
だからベンチマークが言うことと、言わないことを正確に示す。ラベル付き10クエリの評価セットで、すべてのクエリが想定どおりのゲートバケットに入り、10 out of 10。その十のうち六つは人手なしで公開された。三つはきれいに自動クリア、三つは支持されない文を刈り込んで残りがクリアされたあと公開。二つは基準デスク審査へ回された——二つの引用トラップ事例で、安全弁が目に見えて動いた。二つは誠実な「カバレッジ外」棄権で、取得がスコア下限を超える何も出さず、数字を作話する代わりに推測を拒んだ。ユニットテストは十三本が通る。コーパスは2014年から2025年までの合成記事200本だ。
それが、四バケットにわたる十個の本当に難しい仕掛け事例に対する、構築済みデモの数字だ。 これらはオープンワールドの精度保証ではなく、そう膨らませるつもりもない。 60/20/20の分割はこの評価セットの結果であり、あなたのアーカイブへの約束ではない。私がはっきり述べる一つの主張は決定論的なもので、希望ではなくユニットテストされた不変条件だ。検証不能な引用や支持されない主張を持つ回答は、決して自動クリアされない。 ガードのない素のベクトルRAGベースライン——発行者が実際に買う類のSaaSチャットウィジェット——に対しては、捏造スパンや支持されない主張を含んで公開してしまったであろう回答が五つあり、このゲートがそれを差し止めた。五つは小さな数だ。マストヘッドの下の誤った引用五つは、そうではない。
自信たっぷりの答えは安い。再実行でき、弁護士に渡せるレシート付きの証明可能な答えこそが、実際に対価を払っているもののすべてだ。
保留するだけなら、機械が難しい判断から逃げているだけではないのか？
ほぼすべての会話でこの種の問いを受け、答えは短く、確かなものになってきた。
いいえ。回答を保留することこそが正直に下した難しい判断であり、確信のある推測を出すことこそが逃げだ。誘惑的な代替案は、すべての読者にいつも切れ味のある公開可能な答えを返すウィジェットだ。デモ映えがよく、基準担当編集者の一日を難しくすることもない。それはまさにAsk The Post AIのアーキテクチャであり、あと同じ失敗の仕方で失敗する。「検証できないので保留する」と言えないシステムは、持っていない確実性を製造している。そしてニュースルームほど、何かを載せない意志こそが基準デスクの仕事全体だと知っている機関はない。
だからこの仕事は、いまのモデル世代を超えて生きると私は思う。楽観論者が約束するすべてを認めるとしよう。より大きなモデル、よりきれいな学習、より低い捏造率。 決して引用を発明しない完璧なモデルでも、本物の引用を誤った人物や誤った年に陽気に帰してしまう。草稿の内側からは、その文は正しく、まさに尋ねられたことに聞こえるからだ。「マストヘッドの下に公開してよい」は、モデルが成長するのを待つ能力ではない。その周りに築くシステムのガバナンス特性であり、レイエスの引用を公開した日を取り戻してくれるSection 230の盾はない。私がいちばん着地する居心地の悪い帰結は、ニュースルームが走らせる最も価値のあるAIは、こう言える部分だということだ——検証できないので、基準デスクへ保留する。 それが判断し、捏造を保留し、レシートをエクスポートする様子を見たいなら、ここにある。veriprajna.com/ja/demos/conversational-ai-for-publishers。
私の説明を読むより動いているところを見たいなら、端から端まで走る全体がここにある。
だから発行者に残したい問いは、私の構築全体を組み直した問いだ。アーカイブがあなたの名で読者に答え、その答えが流暢できれいで誰かを引用しているとき、読者が見る前に引用が本物だと証明する用意のある層があるか？モデルはいつも確信ありげに聞こえる。確実なのはレシートだけだ。
