我們在 AI 上砸了 350 億美元，幾乎什麼都沒換回來
電話是在一個週二晚上打來的。一家中型醫療保健公司——我們一直在為他們提供諮詢——剛剛終止了他們的旗艦 AI 專案。九個月的工作。六位數的支出。那位技術長聽起來筋疲力盡，而不是憤怒。「在展示時它運作得完美無缺，」他告訴我。「每一次都是。然後我們把它接上真實的病患資料，它就開始憑空捏造保險代碼。」
我不知道該說什麼，因為光是那一季，我就聽過這個故事的十幾種版本。在會議室裡令人驚豔、卻在生產環境中土崩瓦解的 AI。第一個月激起興奮、第六個月引來預算檢討的試點專案。生成式 AI 所承諾的，與它所交付的，這兩者在真實企業內部的落差，正是此刻科技領域最具定義性的張力。
而現在，我們有數據可以證明這一點。MIT 的 NANDA 計畫在 2025 年年中發布了一份研究，其衝擊如同一枚手榴彈：在企業投入生成式 AI 的估計 300 億至 400 億美元中，大約95% 的試點專案未能為損益表帶來可衡量的影響。麥肯錫自家的 2025 年調查也呼應了這一點——88% 的組織表示他們在某個環節使用了 AI，但只有 39% 能指出任何 EBIT 上的影響。
我經營 Veriprajna，我們為企業打造深度 AI 系統。我在這件事上不是中立的觀察者。但我離殘骸——以及那些罕見的成功案例——夠近，足以清楚看見究竟哪裡出了錯。而且，那和多數人以為的並不一樣。
展示看起來很棒。然後現實登場了。
那位醫療保健技術長的經歷並不罕見。它幾乎就是中位數的結果。
MIT 的資料勾勒出一個殘酷的漏斗：80% 的組織會探索生成式 AI 工具。只有 20% 走到試點階段。而真正帶著可衡量的商業成果進入生產環境的，僅有 5%。研究人員稱之為「學習落差」，這是一種客氣的說法，意思是多數公司並不了解自己買了什麼。
我記得讀完整份 MIT 報告後坐在我們辦公室裡，和我的共同創辦人爭論 95% 這個數字是不是太戲劇化了。並沒有。真要說的話，它反而低估了問題，因為那 5% 的「成功」中，有許多其實是把成功的定義往下修——他們衡量的是採用率或使用者滿意度，而不是真正的營收影響。
我不斷看到的模式是這樣的：一個團隊用某個主流 LLM 做出概念驗證。它把十個範例查詢處理得很漂亮。管理層興奮起來。預算獲得批准。然後系統遇上真實世界——混亂的資料、邊緣案例、模稜兩可的輸入、以及「差不多就好」等於一場官司的法規要求——接著它就崩潰了。
展示就緒的 AI 與生產就緒的 AI 之間，並不是一道落差。那是一道峽谷，而多數公司直到已經縱身一躍，才發現自己站錯了邊。
在 MIT 的研究中，60% 的使用者回報模型無法隨時間從回饋中學習。55% 說他們得為每一個提示投入過多心力提供脈絡。40% 說模型碰到非標準輸入時就直接「壞掉」。這些並不是什麼稀奇古怪的失效模式。這些就是每個星期二的日常。
為什麼企業要把系統蓋在流沙上？
企業市場現在稱之為「AI 產品」的東西，多數其實是包裝層——薄薄一層使用者介面，底下就是對 GPT-4、Claude 或 Gemini 的一次 API 呼叫。你輸入內容，它送到模型，模型回應，包裝層再把結果排版得漂漂亮亮。
我對某次提案會議有著極為鮮明的記憶，一位潛在客戶向我展示他們的「AI 驅動法遵引擎」。我問，當底層模型在供應商更新後行為改變時會發生什麼事。整個房間安靜下來。他們沒想過這件事。他們的整個產品就是一個提示範本加上一個漂亮的儀表板。他們販售的「智慧」，完全是租來的。
這就是包裝層謬誤，而且到處都是。這種做法通常依賴業界所謂的「超級提示」（mega-prompt）——你把規則、資料、脈絡和指令全部塞進一次龐大的互動裡，然後期待模型自己理清楚。我在我們研究的互動版本中更深入地寫過這個架構問題，但簡短版本是：超級提示會製造三個致命問題：
你無法稽核它們。沒有任何辦法可以驗證模型是否按照正確的順序遵循了指令。對法遵密集的產業而言，這根本行不通。
它們在經濟上很脆弱。長脈絡視窗與重試會燒掉大量 token。而這裡有一個我第一次看到時大為震驚的數字：高效與低效的 tokenizer 之間的差異，對同一份工作負載可能代表450% 的成本差異。一家每天處理 100,000 筆客戶詢問的企業，光是為多語言使用情境選錯了模型，年度成本就可能從 36,500 美元跳升到超過 164,000 美元。
它們很脆弱。在提示裡改動三個字，你就會得到完全不同的輸出。試著在這種基礎上建立 SLA 看看。
經濟上的陷阱甚至比技術上的更糟。當 OpenAI 或 Anthropic 調降他們的 API 價格時——而他們會持續調降——包裝層公司會眼睜睜看著自己的利潤蒸發。他們不擁有資料。他們不擁有工作流程。他們是在轉售別人的智慧並加上一筆價差，而當房東為所有人降租的那一刻，二房東就沒有生意了。
「深度 AI」到底是什麼意思？
我來告訴你這個概念是在哪一刻對我豁然開朗的。
我們當時在為一家物流客戶開發文件處理系統。最初的做法很直接：把運送文件送進 LLM，請它擷取相關欄位，回傳結果。在標準表單上它運作良好。然後我們碰上一份來自東南亞港口的貨櫃艙單，上面有混合語言的註記、手寫的更正，還有一種訓練資料裡完全沒有的格式。模型自信滿滿地回傳了一堆垃圾。
我的首席工程師在花了一週做提示工程、卻不斷產生新的失效模式後，終於說出：「我們是在要求一顆大腦做七份工作。如果我們把每一份工作交給一位專家呢？」
那就是深度 AI 的一句話定義。與其把 LLM 當成一個包辦一切的神諭，你把它視為更大系統中的一個元件。你把問題拆解。一個代理負責理解查詢。另一個從結構化資料庫取回資料。第三個依據已知規則驗證輸出。第四個負責格式化回應。每個代理都有明確界定的職責，而它們之間的工作流程是確定性的——意思是你掌控順序、邏輯與檢查點。
深度 AI 把語言模型當成一位天賦異稟的實習生，而不是執行長。你在受治理的結構中交付它具體的任務，而不是把整棟大樓的鑰匙給它。
讓這一切成立的代理式設計模式並非理論。它們現在就已經在部署：
一種反思模式，讓代理在把輸出送給使用者之前先批判自己的產出。一種工具使用模式，讓代理呼叫外部計算器、API 或資料庫，而不是試圖憑記憶算出答案。一種規劃模式，把複雜的目標拆解成連續的步驟。以及一種編排模式，由一個監督代理管理整個工作流程，把任務路由給正確的專家。
當我們用多代理編排重建那套物流系統時，非標準文件的擷取準確率從大約 60% 提升到超過 95%。更重要的是，當它確實失敗時，我們能精確看出是在哪裡、為什麼失敗——因為這套系統不再是黑盒子。它是一條具備可觀察、可稽核步驟的流水線。
為什麼 Token 成本會扼殺企業 AI 的 ROI？
這是沒有得到足夠關注的部分。
每個人都在談模型準確率。幾乎沒有人談這些系統大規模運行時的單位經濟效益。但我親眼看著 token 成本悄悄地謀殺了那些原本運作得完美無缺的 AI 專案的商業論證。
這筆帳算起來很直接，卻很殘酷。不同模型對文字的斷詞方式不同——尤其是非英語文字與複雜的書寫系統。同一個查詢在某個模型上可能耗費 800 個 token，在另一個模型上卻要 4,500 個。把這個數字乘上每天數十萬次互動，你面對的成本差距足以抹掉 AI 原本應該帶來的任何效率收益。
當我們為一家以坦米爾語和英語營運的客戶做斷詞分析時，我有過一次真正的警覺時刻。他們目前使用的模型與一個更高效的替代方案之間，成本差距是 4.5 倍。他們在每一次互動上都在失血，卻在預算裡把它歸因於「基礎設施成本」。沒有人想到要去看 tokenizer。
深度 AI 系統的解方，是在何時動用昂貴的 LLM token 這件事上極為外科手術式地精準。高流量、低複雜度的任務交給較小的模型或確定性邏輯處理。昂貴的推理能力則保留給真正需要它的步驟。這就好比：是要請一位資深顧問接每一通電話，還是讓他專注在那些需要判斷力的決策上。
沒有人遵守的 10-20-70 法則
當我和高階主管談到他們的 AI 專案為何停滯時，他們幾乎總是指向技術。模型不夠好。資料不夠乾淨。整合太複雜。
他們說的這些都沒錯。但他們漏掉了真正的比例。那些真正看見 EBIT 影響的公司——而麥肯錫說，只有 6% 的公司從 AI 獲得超過總 EBIT 5% 的貢獻——遵循的是一套會讓多數技術人員感到意外的資源配置：
10% 的心力用於挑選與調校演算法。20%用於建置資料與技術基礎設施。70%用於管理人員、流程與文化轉型。
百分之七十。不是花在技術上。而是花在讓人改變工作方式上。
我抗拒這個想法的時間，比我應該抗拒的更久。我骨子裡是個工程師。我想相信，只要我們造出更好的系統，採用自然會跟上。是一個痛苦的專案讓我終於把「技術才是簡單的那部分」這件事內化——那次我們交付了一套技術上極為出色的解決方案，卻因為沒有人重新設計圍繞它的工作流程，而閒置了三個月。
遵循 10-20-70 原則的中型企業，會在 24 個月內把 EBITDA 提升 160 到 280 個基點。而那些把 70% 花在技術、10% 花在變革管理上的公司，得到的是昂貴的閒置軟體。
這些勝利並不光鮮。營收週期管理。現金入帳自動化。雲端成本最佳化。沒有人會為了減少「已出院但尚未完成最終帳單」的理賠積壓而在 LinkedIn 上寫下激動人心的貼文。但 Inova Health System 把那份積壓砍掉了 50%，每年省下 130 萬美元。OSF HealthCare 的 AI 虛擬助理省下 120 萬美元，同時還增加了另外 120 萬美元的營收。UPS 透過 AI 路線規劃每年節省 4 億美元。
這些不是試點的成果。這些是大規模運行的生產系統，建立在包裝層碰都碰不到的那種深度整合之上。
當 AI 代理開始自行採取行動，會發生什麼事？
從回答問題的 AI 轉向採取行動的 AI，這樣的轉變徹底改變了整個安全的考量方式。
我一直在思考這件事，部分原因是我們在測試期間曾有一次驚險的擦身而過。我們當時在打造一套代理式系統，它需要存取客戶的 ERP 以取得庫存資料。在一次測試執行中，那個代理——沿著一條技術上合乎邏輯、但在情境上完全錯誤的推理鏈——試圖去修改一張採購單，而不只是讀取它。我們有防護機制在位。它沒有真的執行成功。但事後我坐在辦公桌前，想著如果我們當初不那麼小心，會發生什麼事。
這正是為什麼像 Model Context Protocol（MCP）與 NANDA 框架這樣的標準如此重要。MCP——由 Anthropic 開發——扮演 AI 代理與企業資料來源之間的標準化整合層。人們稱它為「AI 的 USB-C」，這個比喻很貼切：意思是你不需要為每一條連線打造客製、脆弱的整合。NANDA 則提供治理層——可用密碼學驗證的能力證明（意思是你能證明一個代理被允許與不被允許做什麼）、延伸到自主代理的零信任存取控管，以及集中式的稽核軌跡。
關於這些架構模式的完整技術剖析，以及它們如何彼此契合，請參見我們的研究論文。
重點不是代理式 AI 很危險、我們應該放慢腳步。重點是：當模型能夠採取真實世界的行動時，包裝層那套做法——你對模型正在做什麼、又為什麼這麼做幾乎沒有可見度——就變得真正地魯莽。具備可觀察、受治理工作流程的深度 AI 系統，不只是更好的工程。它們是在企業中部署自主代理唯一負責任的方式。
「直接用 GPT 就好」以及其他昂貴的建議
人們總是問我，他們是不是應該乾脆等模型變得更好。「GPT-5 會解決這個問題，」我聽過一位投資人在晚宴上這麼說。「既然下一個模型版本原生就能處理，為什麼還要建這一大堆基礎設施？」
我理解這個論點的吸引力。它很乾淨。它不需要任何辛苦的工作。而它是錯的。
更好的模型不會修好包裝層的問題。它們會讓問題更糟。在超級提示架構裡放一個更強大的模型，就像把一具 Formula 1 引擎裝進一輛沒有方向盤的車。你只是朝著錯誤的方向跑得更快。那些扼殺企業 AI 的問題——缺乏可稽核性、脆弱的提示、沒有回饋迴路、缺少業務脈絡、失控的成本——都是架構問題，不是能力問題。
影子 AI 經濟證明了這一點。超過 90% 的員工早已偷偷使用個人的 ChatGPT 或 Claude 帳號處理工作，因為公司官方的 AI 工具太過僵化。模型的能力已經足夠。圍繞它們的系統則不然。
更好的模型救不了糟糕的架構。它們只會更快、更自信地產生幻覺。
我常被問到的另一個問題是關於時程。「這實際上要花多久？」誠實的答案是 12 到 18 個月，才能從零散的實驗走到真正撼動損益表的 AI。前三個月是探索——找出 AI 能在不製造法規曝險的前提下創造價值的地方。第三到第六個月是資料整備，而這正是 58% 的 CXO 說他們卡住的地方。第六到第十二個月是建置與迭代多代理原型——我指的是針對真實世界資料進行 30 次以上的迭代循環，而不是三場精美的展示。最後階段是具備完整營運支援的生產部署：漂移偵測、偏誤監控、成本治理。
這不快。這不容易。但真正做到的公司，就是那些出現在麥肯錫那 6%、擁有真實 EBIT 影響的公司。
這道鴻溝是一個選擇
MIT 指認出的「生成式 AI 鴻溝」並不是技術落差。它是決策落差。
一邊是：把生成式 AI 當成一項要買的產品、一個要部署的包裝層、一場給董事會看的展示的公司。他們就是那 95%。他們花了真金白銀，換來新聞稿。
另一邊是：把 AI 當成一項架構挑戰的公司——一項需要拆解問題、治理工作流程、重新設計流程，並且願意做那些不光鮮的工作，把模型接上企業資料那團混亂現實的挑戰。他們就是那 5%。他們花了差不多的錢，換來 EBIT 影響。
我有時候會想起那位醫療保健技術長。那位在某個週二打電話給我、筋疲力盡、剛剛終止了他的 AI 專案的人。四個月後他又打來了。他的團隊用多代理的做法重建了那套系統——資料擷取、代碼驗證與法遵檢查各有獨立的代理，彼此之間以確定性的方式交接。它不像原本那場展示那麼優雅。它蓋起來比較慢。它需要在工作流程設計與失效模式上投入更多前期的思考。
它成功了。不是完美——沒有東西是完美的——但可靠到足以部署、稽核與改進。可靠到足以出現在損益表上。
把 AI 當成魔術把戲的時代結束了。接下來的東西更難、更慢、也更不上相。它同時也是唯一真正有用的東西。
