為什麼 AI 外拓敗在真實論述上,而不只是幻覺;以及我打造確定性查證層時學到了什麼。
Artificial IntelligenceSalesStartup

那則論述是真的。我還是砍掉了它。

Ashutosh SinghalAshutosh Singhal2026年6月22日15 min

我第一封拒絕寄出的郵件,內容完全正確。

我記得那句話,因為我大概讀了四十遍:「我注意到貴公司近期已將 One-Way Truckload 車隊擴增至 2,735 輛卡車。」每一個字都是真的。Werner Enterprises 確實在向 SEC 提交的 Form 10-K 中自行報告了那個車隊規模。而我坐在正在打造的 demo 前,還是砍掉了這則論述。

那個決定大約讓我難受了一天。然後我覺得,這正是整件事的核心。

Veracity Engine 證據面板顯示真實的 Werner 10-K 論述——關於將 One-Way Truckload 車隊擴增至 2,735 輛卡車——因所引申報文件已有 842 天而被標為過時,在草稿郵件中被劃掉並標記為已剔除。
我砍掉的那則論述。這句 2,735 輛卡車的句子引用了真實的 Werner 10-K,但該申報文件相對於 365 天的時效窗口已有 842 天,「近期」因此不成立,寄出前該行被剔除。做這個決定的是程式碼,不是語言模型。

我開始這個專案時相信——就像現在幾乎所有在打造 AI 銷售的人一樣——敵人是幻覺。模型憑空捏造了某件事,假東西進了郵件,潛在客戶發現了,你的可信度就完了。抓住捏造就能贏。這套框架很乾淨、展示效果好,而我現在認為,它默默造成了大量寄件網域被燒毀。那句 Werner 的句子裡沒有半點捏造。它仍是我絕不會讓離開這棟樓的論述。

這篇文章談的是什麼改變了我的想法,照著它實際發生的方式來講——也就是緩慢,中間還有一個尷尬的一週。若你想看我最後打造出來的東西,它在這裡:veriprajna.com/zh-Hant/demos/ai-sales-intelligence。但產品本身是無聊的部分。有意思的是:為什麼一句真的句子並不是一句安全的句子,以及為什麼我不再信任模型來分辨兩者的差別。

我試圖讓模型批改自己作業的那一週

我花了大約一週,試圖讓語言模型自己抓出過時的引用,而我想誠實地說:它沒用。

紙面上的設定很合理。研究代理拉取事實。撰稿代理起草郵件,並被限制只能使用那些事實。然後事實查核代理對照來源閱讀草稿,並標記任何站不住腳的內容。三個代理、一條整齊的流水線,那種會在設計審查裡得到點頭的架構。我真心以為事實查核會是簡單的部分。

壞掉的正是這一部分。不是大聲地壞。那才是問題。事實查核代理會讀 Werner 的草稿,看到一句關於 2,735 輛卡車的句子,找到一個說有 2,735 輛卡車的來源,然後自信地核准。若唯一的問題是「是否有來源支持這個數字」,這是正確的。模型沒有持久的感知去知道:來源已超過兩年,而句子卻寫了「近期」。當我逼它推論日期時,它有時會抓到過時,有時又會放行,而我無法預測是哪一種。你無法預測的查核器,就不是查核器。它只是第二個意見。

真正落地的那一刻,是某個深夜,我把同一份草稿連續丟進事實查核三次,得到兩次核准、一次拒絕,輸入卻毫無改變。我盯著那個結果看了好一會兒。我是在要求一個機率系統,去當另一個機率系統的確定性閘門。

我是在要求一個 LLM 去當另一個 LLM 的可信裁判,還把結果叫做「查證」。

那不是查證。那是兩個模型達成一致,那是另一件弱得多的事。如果你需要查核器的整個理由,是模型的輸出不能照面值信任,那麼第二個模型的輸出就不能是你拿來信任、用來查它的東西。我建了一座鏡子迷宮,還貼上一張合規貼紙。

哪個更糟:捏造的事實,還是真實的事實?

打造過程中最讓我意外的是,我意識到捏造從來不是最可怕的失敗。真正可怕的是真實卻被誤用的論述。

想想當 AI SDR 幻覺出某公司細節時,實際會發生什麼。它常常是胡話、明顯不對,潛在客戶一看就刪。丟臉,沒錯。但真正讓你陷入大麻煩的論述,是那種可查核、正確,卻在脈絡上仍是錯的。它會安然通過每一道「這是不是捏造」的過濾器,正因為它不是捏造。文法完美。數字真實。而它是對現在式的謊言。

我開始把這叫做脈絡誤用,一旦有了名字,我在正在組裝的 demo 裡到處都看得到它。它有不只一種形態,但每一種都共享那個讓它危險的性質:每一則都是真陳述。

教我最多的那種形態是過時來源,而 Werner 是我第一次清楚看見它的地方。「近期擴增至 2,735 輛卡車」引用了真實的 10-K,但那份申報在 2024-02-26 落地,對照 demo 的工作日期已遠超過兩年。那個數字並未停止為真。「近期」這個詞已停止為真。那不是同一個事實,而來源比對查核卻把它們當成相同。

我用一個合成潛在客戶——一家叫 Northwind 的中型物流公司——又建了一次同樣的形態,這樣我就能展示這個模式,而不必假裝某家真實公司說過它沒說過的話。草稿聲稱 Northwind「近期擴展至亞太地區」。它有一個看起來真實的來源。來源日期是 2019 年 3 月,在 demo 裡大約是 2,652 天前,超過七年。論述與來源之間的依據吻合度是乾淨的 100%。實體吻合。而它仍是那種會讓潛在客戶覺得,你自上屆世界盃以來就沒看過他們的句子。

Northwind 亞太論述的證據面板:依據吻合度 100% 與實體比對皆通過,時效有效性因超過 365 天上限達 2,652 天而失敗,裁決為過時來源,論述被劃掉並剔除。
同樣的形態套在合成潛在客戶上,因此沒有真實公司被誤引。依據吻合度 100%、實體 OK,時效檢查仍在 2,652 天失敗。一個騎在 2019 年來源上的真實事實。
一個騎在過時來源上的真實事實,仍是對現在的謊言。日期是論述的一部分,無論句子是否承認。

另一種形態是同名碰撞,我也把它留成合成案例。「Northwind Logistics 剛完成 4,000 萬美元的 B 輪融資」背後有真實來源。來源談的是Northwind Inc.,一家奧斯汀的網路安全新創,一家碰巧同名的完全不同公司。每一個字對某一家 Northwind 都準確。沒有任何一句對這家準確。

證據面板顯示 4,000 萬美元 B 輪融資論述因實體比對檢查失敗——所引來源談的是 Northwind Inc. 而非 Northwind Logistics——裁決為實體不符,論述被劃掉並剔除。
同名碰撞。每一個字對 Northwind Inc.(一家奧斯汀的網路安全新創)都是真的,對 Northwind Logistics 卻沒有一句是真的。實體檢查會抓住單純來源比對永遠抓不到的東西。

請注意這三個例子的共通點。它們沒有一個是幻覺。如果你把整套安全故事都建立在抓住捏造上,這三個你全都會放行。這就是大家常引用、卻很少真正講清楚的 AI-SDR 崩盤背後的失敗模式。單次生成工具確實會幻覺出可量化比例的潛在客戶專屬論述,依某份產業統計約在 12% 到 18%(AI SDR Industry Report, 2026),但捏造至少是你能想像怎麼抓的失敗。真的但過時、真的但實體錯誤的論述,才是看起來像成功、直到讓你付出代價為止的那些。

是什麼讓我不再信任模型,而開始信任日期相減

最後真正管用的東西幾乎簡單到侮辱人,而我抗拒它的時間比我該抗拒的還久。

若 Werner 論述的問題是「近期」指向一個超出合理時效窗口的來源,那麼這道檢查就不是推理任務。它是算術。取來源日期,取工作日期,相減。若論述使用了時效語言,且差距大於 365 天,則該論述屬過時,且不會被寄出。來源年齡 2652 天大於時效論述上的 365 天,因此失敗。沒有提示詞、沒有溫度、沒有「作為一個 AI 語言模型」。只有一個數字與一個門檻。

一旦我允許自己寫下那個,其餘的檢查也都想變成程式碼。論述是否真的由來源片段蘊含——以內容詞的 token 重疊來衡量,並排除公司自己的名稱,以免句子只靠重複「Werner、Werner、Werner」就拿高分?程式碼。來源談的是這個實體,而非同名的另一家?程式碼。語言模型仍是作者,而且它是真正優秀的作者。它只是不當法官。

我最後把原則講成兩種我現在常說的說法。一種是「代理建議,程式碼裁決。」另一種是「不是 LLM 在裁判 LLM。」神經網路負責神經網路擅長的事,也就是寫出流暢、像人寫的草稿。確定性的純 Python 查證器負責程式碼擅長的事,也就是每一次都以相同方式套用相同規則。神經寫作,符號查證。產業對這種配對的用語是神經符號,不過我在乎標籤,不如在乎它買到的性質。

更好的模型會寫出更好的句子。它們不會讓一份兩年前的申報變成近期。那不是能力缺口。那是範疇錯誤。

而它買到的性質是可重現性。當我在同一輸入上跑查證器,我每一次都得到相同裁決。這聽起來像小工程便利。它其實是整場比賽,因為可重現性才讓一項決定變得可認證。我可以把軌跡交給你。來源年齡 2652 天,大於 365,存在時效用語,裁決過時,論述剔除。你可以重跑並得到完全相同的結果。一個 LLM 法官,即使很好,也無法向你保證這一點。我親身經歷過那三跑兩裁決的夜晚。我不會在那上面堆合規故事。

已簽署的 JSON 稽核收據,帶有下載 JSON 按鈕,列出每一則論述的裁決、所引事實與來源、發布日期與時效天數,以及每一項檢查結果,包括來源解析、依據吻合、句子忠實度、實體比對與時效有效性。
查證器為每封郵件寫下的收據。每一則論述、其裁決、所引來源、日期,以及精確的檢查結果,匯出為你可下載並重跑的 JSON。可重現性才讓它變得可認證。

這不就是偽裝成另一種樣子的幻覺問題嗎?

幾乎每次對話都有人問我某種版本的這個問題,通常是技術背景的人,而我的答案隨著時間變得更短。不是。而它之所以不是,正是我認為這份工作能活過當前模型世代的原因。

幻覺框架悄悄假設:修復就是更好的模型。更大的上下文、更乾淨的訓練、更低的捏造率,最終問題縮到沒有。對純捏造來說,或許如此。它對我真正在乎的失敗什麼也做不了。一個完美的模型——從不發明任何一項事實——仍會愉快地在 2024 年的申報上寫「近期」,因為從草稿內部看,那句子是真的、流暢的,也正是你所要求的。模型對日曆沒有義務。「擴增至 2,735 輛卡車」與「近期擴增至 2,735 輛卡車」之間的落差,不是規模能彌合的落差。

市場正用最艱難的方式反覆教這課。AI-SDR 類別為了量能與基於訊號的個人化大力優化,卻大多跳過了那一步:用當前、實體正確的來源重新查證產出的論述。經濟面並不仁慈。企業 AI-SDR 年流失率大約落在 50% 到 70%(UserGems, 2026)。最常被引用的警示故事 11x.ai,募得 7,400 萬美元,卻在 2025 年崩解,流失率據報在 70% 到 80%(TechCrunch)。你不會因為模型偶爾幻覺就交出那些數字。你交出它們,是因為輸出看起來個人化卻不可信,而買家最終會感覺到差異,即使他們叫不出名字。

所以我不斷回到的論點很直白。個人化不是查證。你的 AI SDR 主要不是有幻覺問題。它有查證問題,而更好的基礎模型修不好它,因為查證與溯源不是模型能力。它們是你包在模型外圍的系統性質。

個人化不是查證。查證與溯源不是模型能力。它們是你圍繞模型打造的系統性質。

「100%」實際被允許意味著什麼

我想在這裡謹慎一點,因為這正是創辦人容易過度宣稱的地方,而我正在打造的公司,名字取自相反的本能。

demo 裡有兩個數字,它們不是同一個數字。第一個是Veracity Score,也就是受支持論述除以草稿中事實論述總數。它回答的是「AI 寫的內容有多少結果為真」,而在真實草稿上它往往遠低於 100,這正是它誠實且有用的地方。Werner 郵件失去了頭條論述。Northwind 郵件失去了兩則。那是系統在運作,不是失敗。

第二個數字是寄出完整性,且它依建構即為 100%,只要還有任何東西存活,因為政策閘門會在郵件被允許寄出前剔除每一則不受支持的論述。保證不是「AI 總是對的」。保證是「寄出去的郵件只含有來源支撐的論述」。那是非常不同的承諾,而我看過有人把它們混成一個大得多、也假得多的承諾。

還有一個基準,而這是我拒絕縮短的句子:在一組固定、人工標註的 25 個案例黃金集上,確定性查證器拿到 25 中之 25 的正確裁決。那是該標註基準上的 100%。它不是對開放世界的斷言,不是對你收件匣的承諾,也絕不是「零幻覺」——我認為任何誠實的人都不該說這句話。模型仍在起草。草稿仍含未證實的論述。重點是未證實的會被抓住並剔除,而這次抓住夠確定性,足以認證。任何人向你兜售零幻覺保證,賣的都是我花了一週卻沒建成的東西。

我也會直說,因為我對自己的準則要求如此:demo 的連接器是模擬的。EDGAR 拉取、新聞檢索、CRM 回寫、實際寄送,全部做成 stub。真實的是機制:檢查、閘門、稽核軌跡,以及 Werner 10-K 摘錄——那些是真實的公開紀錄。我向你展示的是引擎如何裁決,不是一條裝著你資料的生產流水線。若你想看它裁決,它再一次在這裡:veriprajna.com/zh-Hant/demos/ai-sales-intelligence

我留下的問題

我發現這次打造在我身上改變的最後一件事,比論點還小,卻黏得最久。

demo 裡還有第三個潛在客戶,一家合成的 FINRA 受監管經紀自營商,它的草稿出來完全乾淨。每一則論述都受支持,沒有任何剔除,完美的 Veracity Score。而政策閘門仍把它轉給人審,因為它受監管、是高階主管、又是大單,規則說不管草稿多乾淨,那些都要人看。第一次看著一封完美郵件被攔下審查時,我的本能是系統搞錯了。它沒有。我只是在不知不覺中假設:正確與安全是同一種性質。

它們不是。一則論述可以為真卻不安全。一份草稿可以乾淨,卻仍需要人。整份工作最後變成把這些概念分開,並同時為兩者而打造,而不是把它們壓成一個適合當標題的數字。

所以我想留給你的問題,是我現在在任何 AI 寫成的東西離開我手之前都會問的。不是「這是不是真的」——那個我通常答得出,而且通常不夠。更難的那個:我現在能否證明,哪一份當前來源支撐這則精確論述,而那份證明能否經得起一個想讓它失敗的人?

若答案是否定的,模型變得多好都無關。這句話還沒準備好寄出。

相關研究

同步發佈於

自信打造您的 AI。

與一支在打造新世代企業級 AI 方面擁有深厚經驗的團隊攜手合作。讓我們協助您設計、建置並部署值得信賴的 AI 策略。

Veriprajna 深度科技顧問公司 專精於為醫療、金融及法規監管領域打造攸關安全的 AI 系統。我們的架構均依循既定規範進行驗證,並備有完整的合規文件。