GenAI 鴻溝：從 LLM 包裝層轉向深度 AI 系統，以實現可衡量的企業報酬

2020 年代中期的全球企業版圖已來到關鍵轉折點，特徵是人工智慧領域資本支出與已實現價值之間的深刻落差。2025 年 7 月，MIT NANDA 計畫發布里程碑研究，題為 "The GenAI Divide: State of AI in Business 2025"，對第一波生成式 AI 採納作出直白判決。儘管企業投資估計達 $30 billion 至 $40 billion，約 95% 的 AI 試點未能對損益表（P&L）產生可衡量影響。¹ 此一幻滅進一步由 McKinsey 2025 年全球調查量化：雖有 88% 的組織回報至少在一項業務職能中使用 AI，卻僅有 39% 能將任何層級的企業整體息前稅前盈餘（EBIT）影響歸因於這些計畫。⁴

機構無法從 AI 萃取價值，並非底層大型語言模型（LLM）本身的失敗，而是實施策略、架構深度，以及天真依賴「包裝層」應用的失敗。對尋求跨越此一鴻溝的組織而言，從 API 包裝層的消費者，轉變為深度 AI 方案的架構師，才是通往可持續競爭優勢的唯一可行路徑。¹

試點煉獄的解剖：分析 95% 失敗率

MIT NANDA 報告凸顯一條陡峭的「失敗漏斗」，在抵達生產之前吞噬絕大多數企業 AI 努力。在探索生成式 AI 工具的 80% 組織中，僅 20% 進入試點階段，而能以可衡量業務成果達到全面生產的僅剩微乎其微的 5%。² 此流失主要由研究人員所定義的「學習落差」驅動，而非基礎設施或人才的不足。²

AI 採納成熟度階段	組織參與度（%）	可衡量 ROI 實現（%）
探索階段（工具使用）	80%	< 1%
企業級系統評估	60%	2%
試點／概念驗證（POC）實施	20%	3%
全面生產部署	5%	95%（針對活躍的 5%）

問題核心在於「示範就緒」AI 與「生產就緒」企業方案之間的區別。試點常在受控環境中成功，因為它們操作於策展資料集與狹窄提示；但一旦暴露於企業資料的凌亂現實、邊緣案例，以及確定性任務要求 100% 精確時，便告失敗。²

隨機陷阱與脈絡失敗

多數生成式 AI 計畫失敗，是因為它們試圖將隨機（機率式）系統套用到確定性業務問題。LLM 被設計來產生變異與創意輸出，這使它們在財務報導、法規遵循，或「差不多」的答案即構成負債的任務關鍵客戶服務中，本質上不可靠。⁸ 此外，缺乏業務特定脈絡是失敗的主要驅動因素。通用 LLM 缺乏對公司獨特業務定義的「最後一哩」理解，例如「活躍帳戶」如何計算，或內部歷史規則的特定細微之處。¹⁰

MIT 研究中的使用者回報對這些限制的顯著挫折，並列出數項反覆出現、阻礙營運層採納的技術障礙：

• 模型無法隨時間從回饋中學習（60% 的使用者）。²
• 每次提示都需投入過多人工來提供脈絡（55% 的使用者）。⁹
• 模型在遭遇邊緣案例或非標準輸入時傾向「崩潰」（40% 的使用者）。⁹

這催生了「影子 AI 經濟」：超過 90% 的員工私下使用個人帳戶（ChatGPT、Claude、Gemini）處理工作任務，因為官方企業工具過於僵化，或無法處理專業化工作流。¹ 雖然這推動個人生產力，卻無法提供企業層級 EBIT 影響所需的結構化、彙總資料。

LLM 包裝層謬誤：為何表面層 AI 無法擴展

當前市場充斥「包裝層」——在底層 LLM API 呼叫之上提供一層薄使用者介面的應用。這些工具雖能快速上市，卻根本上建於「流沙」之上。⁷ 它們缺乏專有資料、獨特業務邏輯，以及在轉向代理式 AI 時生存所需的深度整合。⁷

巨型提示的技術債

「包裝層」做法通常仰賴俗稱的「巨型提示」，把規則、資料與指令全部塞進單一次互動。⁸ 此方法為企業製造數項關鍵負債：

1. 缺乏可稽核性： 沒有可驗證的方式確保 LLM 依正確順序遵循指令，而這對高度合規產業至關重要。⁸
2. 不可預測的延遲與成本： 長脈絡視窗與反覆重試膨脹 token 消耗，使方案的單位經濟在規模上難以持續。⁸
3. 提示脆弱性： 措辭的微小變更可導致截然不同的結果，使穩定的服務水準協議（SLA）無法建立。⁸

包裝層模型的經濟現實同樣有缺陷。當 OpenAI 或 Anthropic 等 LLM 供應商降低 API 成本，包裝層新創的毛利便崩塌。若不擁有資料或工作流，這些公司只是在「租用智能」，輕易被已具備通路與領域專長的既有業者取代。⁷

Token 消耗：隱藏的 EBIT 殺手

AI ROI 中常被忽略的因素是模型 tokenization 的效率。Token 定價看似直觀，但不同模型 tokenizer 之間的落差，可導致總擁有成本相差 450%。¹³

語言／複雜度	高效 Tokenizer（Tokens）	低效 Tokenizer（Tokens）	成本變異
英語（標準查詢）	800	1,360	1.7x
西班牙語（技術支援）	900	1,530	1.7x
泰米爾語／複雜文字系統	1,000	4,500	4.5x

對每日處理 100,000 筆客戶查詢的企業而言，從高效模型改用低效模型，可使相同工作負載的年度成本從 $36,500 攀升至逾 $164,000。¹³ 深度 AI 方案透過使用較小、任務特定的模型或確定性邏輯處理高量、低複雜度任務來緩解此問題，僅在真正創造價值的推理步驟保留昂貴的 LLM token。

深度 AI 方案：轉向代理式系統與多代理編排

包裝層模型的替代方案是「深度 AI」做法，將 LLM 視為更廣大多代理系統（MAS）中的單一元件。深度 AI 方案不要求單一模型「做所有事」，而是使用具明確職責的專業化代理，並由確定性工作流引導。⁸

多代理設計模式

在多代理系統中，架構映照專業組織。一個代理可處理查詢分解，另一個從向量資料庫擷取資料（RAG），第三個執行合規驗證，第四個為終端使用者摘要輸出。⁸

此模式的成功奠基於五種基礎代理式工作流結構：

• 反思模式： 代理批判自身工作，在輸出抵達使用者前捕捉錯誤並迭代品質。¹⁶
• 規劃模式： 系統將複雜目標分解為步驟序列，確保每一階段完成後才進入下一階段。¹⁶
• 工具使用模式： 代理呼叫外部 API、計算器或資料庫以擷取真實世界資料，防止幻覺。¹⁶
• ReAct 模式： 推理與行動的結合：系統採取一步、觀察結果，並即時調整策略。¹⁶
• 編排／監督者模式： 中央「大腦」管理任務分配，確保子任務指派給最適當的代理或工具。¹⁷

這些模式讓企業得以超越 LLM 包裝層的「黑箱」，建構 95% 確定性的系統，節省 token，並提供生產環境所需的可觀察性。⁸

模型上下文協定（MCP）與 NANDA：2026 年的新架構

下一代深度 AI 將建立在標準化協定之上，使模型與企業資料來源之間無縫互操作。由 Anthropic 開發的模型上下文協定（MCP），作為標準化整合層——常被稱為「AI 的 USB-C」。¹⁹ 它讓 AI 代理能連接到證據基礎內容、安全內部資料庫，以及第三方 SaaS 工具，而無須客製、一次性的整合。¹⁹

與其互補的是 NANDA（去中心化架構中的網路化 AI 代理）框架，為安全、大規模自主代理部署提供基礎設施。²²

NANDA 框架元件	功能	企業效益
全域代理發現	識別可用代理與工具	消除重複的內部努力
AgentFacts	可密碼學驗證的能力證明	確保信任並防止「幻覺」權限
零信任代理存取（ZTAA）	將安全原則延伸至自主代理	防止資料外洩與冒充攻擊
代理可見度與控制（AVC）	集中治理層	維持法規遵循與稽核軌跡

透過採納這些標準，Veriprajna 等公司從撰寫呼叫 API 的程式碼，轉向建構能安全、自主地導航複雜企業生態系的「代理網格」。²²

EBIT 落差：為何多數公司無法帶來實質改變

McKinsey 2025 年報告揭示「高績效者」落差正在擴大。僅 6% 的組織從 AI 投資看到顯著 EBIT 影響（定義為總 EBIT 的 >5%）。⁶ 這些高績效者不只是在「使用」AI；他們正圍繞 AI 重新設計整個營運模型。

成功的 10-20-70 原則

領先組織理解 AI 成功不是技術問題。他們遵循稱為 10-20-70 原則的資源配置策略：

• 10% 心力： 選擇並調校正確的演算法。²⁶
• 20% 心力： 建構資料與技術基礎設施（例如 RAG、MCP 伺服器）。²⁶
• 70% 心力： 管理人、流程與文化轉型，將 AI 整合進日常工作流。²⁶

遵循此原則的中型市場企業，已證明能在 24 個月內將 EBITDA 提升 160 至 280 個基點。²⁶ 這是透過聚焦「不性感」但高影響領域達成的，例如營收週期管理、現金核銷，以及自動化雲端成本最佳化，而非追逐華麗、由頭條驅動的行銷實驗。⁹

ROI 案例研究：價值真正所在之處

雖然企業整體勝利罕見，特定職能用例在以深度 AI 原則實施時，正交付巨大報酬。

醫療保健：從示範到病患成果

在醫療保健領域，AI 實施的平均 ROI 達 451%。²⁷

• 聯絡中心最佳化： OSF HealthCare 運用與 EHR 平台整合的 AI 虛擬助理，節省 $1.2 million 成本，同時將年度營收提高 $1.2 million。²⁷
• 營收週期管理： Inova Health System 將「已出院但未完成最終計費」（DNFB）理賠積壓減少 50%，帶來 $1.3 million 年度節省。²⁷
• 營運容量： Stanford Health Care 使用「FURM」（公平、有用、可靠模型）框架，確保 AI 方案在容量最佳化與減輕臨床醫師負擔上提供全系統價值。²⁸

供應鏈與物流：自主編排

從線性供應鏈轉向網路化、自主模型，預期可在全球降低 3-4% 職能成本，價值機會超過 $290 billion。²⁹

• 路線最佳化： UPS 透過基於 AI 的路線代理回報年度節省 $400 million。³¹
• 文件處理： DHL 透過深度 AI 文件處理代理，從複雜、非結構化物流表單擷取資料，將人工文書減少 80%。³¹
• 庫存韌性： Walmart 運用 AI 代理在假期高峰期間重新導向庫存，有效感知需求波動並即時形塑供應。³¹

將深度 AI 營運化：從 MLOps 轉向 LLMOps

為維持長期 ROI，企業必須實施管理生成式模型生命週期的專門學科：LLMOps。³³

營運鴻溝

與聚焦結構化資料與預測建模的傳統 MLOps 不同，LLMOps 為非結構化文字的動態、脈絡感知世界而建。³³

指標類別	傳統 MLOps	企業 LLMOps
主要輸入	結構化／表格紀錄	非結構化脈絡（電子郵件、文件）
績效指標	統計準確度／F1 分數	有用性／相關性／幻覺率
成本模型	可預測（以運算為基礎）	可變（以 Token 為基礎）
人為監督	批次驗證	即時「Human-in-the-Loop」閘門
評估	靜態測試集	「LLM-as-a-Judge」／行為指標

深度 AI 方案中 LLMOps 的核心是「脈絡保留層」。此系統確保 AI 不把每一次互動視為孤立事件，而是建立組織特定知識與使用者回饋的長期記憶。²

代理時代的安全與治理

當 AI 代理獲得自主行動能力——導航瀏覽器介面並執行 API 呼叫——安全版圖便根本改變。「氛圍編碼」（vibe coding，以自然語言提示建立軟體）可導致非確定性程式碼，在 DevSecOps 中創造新漏洞。³⁷

深度 AI 供應商必須實施：

1. 工作階段層級監控： 即時記錄並阻擋非預期的代理行動。³⁸
2. 最小權限強制執行： 確保代理僅能存取單一任務所需的特定資料，而非完整系統存取。³⁸
3. 可稽核軌跡： 代理發出的每一項請求都必須記錄以符合法規，此功能由標準化 MCP 伺服器提供。¹⁹

邁向 2026 的策略路線圖：從試點到損益表影響

對 Veriprajna 這類顧問機構而言，目標是引導企業走過結構化的 12 至 18 個月路線圖，將 AI 從一系列零散實驗轉化為核心業務能力。⁴⁰

第一階段：發現與策略需求（第 1–3 個月）

焦點必須是「業務優先」，而非「技術優先」。這涉及識別高價值、低風險用例，其失敗不會造成法規暴露。成功的領導者及早建立 AI 卓越中心（CoE），使業務領域專家與 AI 工程師對齊。²³

第二階段：資料就緒與基礎設施基礎（第 3–6 個月）

資料品質是 58% 的 CXO 的頭號阻礙。⁴² 此階段涉及實施智慧文件處理（IDP），以擷取困在電子郵件與合約中的脈絡，並將其納入統一資料架構。⁴³

第三階段：試點原型與編排（第 6–12 個月）

從薄包裝層轉向多代理原型。這包括建構客製 MCP 伺服器，將 AI 連接到既有 ERP 與 CRM 系統。²⁰ 此階段以快速迭代定義——30 個週期或更多——以真實世界資料最佳化模型行為。¹⁰

第四階段：生產、規模與持續最佳化（第 12–18 個月）

最後階段涉及部署到具備完整 LLMOps 支援的生產系統。這包括漂移偵測、偏誤監控與成本治理。⁴⁰ 到此階段，AI 系統不只是在回答問題；它們正在自主執行端到端業務流程。²³

結論：重奪 AI 價值敘事

「GenAI 鴻溝」是優先速度而非實質、優先包裝層而非工作流的組織自傷之創。MIT NANDA 研究的 95% 失敗率是一則警告：沒有企業級系統的「架構」，模型的「智能」毫無意義。¹

對 Veriprajna 而言，前進之路是擔任這些深度系統的架構師。透過整合多代理編排、採納 MCP 等標準化協定，並透過工作流重新設計不懈聚焦可衡量的 EBIT 影響，目前看到 EBIT 影響的 39% 公司可以成長為多數。從「使用 AI」轉向「以 AI 轉型」，是確保投注於生成式智能的數十億從沉沒成本變為損益表主要驅動因素的唯一策略。⁶

包裝層時代已經結束。深度 AI 代理式企業的時代已經開始。2026 年的成功，將由那些停止追問 AI 能 說 什麼、開始工程化 AI 能在現代企業複雜、安全且受治理的邊界內 做 什麼的人所定義。

參考文獻

1. MIT Report Finds 95% of AI Pilots Fail to Deliver ROI, Exposing ...，2026年2月9日存取， https://www.legal.io/articles/5719519/MIT-Report-Finds-95-of-AI-Pilots-Fail-to-Deliver-ROI-Exposing-GenAI-Divide
2. Most GenAI Investments Fail, MIT Warns: 95% of Enterprises See No ROI - Pure AI，2026年2月9日存取， https://pureai.com/articles/2025/09/23/most-genai-investments-fail.aspx
3. Why 95% of enterprise AI projects fail to deliver ROI: A data analysis，2026年2月9日存取， https://www.mountainadvocate.com/premium/stacker/stories/why-95-of-enterprise-ai-projects-fail-to-deliver-roi-a-data-analysis,50385
4. Why 2026 Will Be the Year Supply Chain Leaders Stop Building Their Own AI，2026年2月9日存取， https://www.supplychainbrain.com/blogs/1-think-tank/post/43374-why-2026-will-be-the-year-supply-chain-leaders-stop-building-their-own-ai
5. McKinsey 2025 AI Report : 88% of Companies Are Failing at AI | by ...，2026年2月9日存取， https://medium.com/ai-analytics-diaries/mckinsey-2025-ai-report-88-of-companies-are-failing-at-ai-053f1ac746d3
6. McKinsey's State of AI Report: 88% Adoption, But Only 6% Are Actually Winning，2026年2月9日存取， https://winsomemarketing.com/ai-in-marketing/mckinseys-state-of-ai-report-88-adoption-but-only-6-are-actually-winning
7. The AI Wrapper Problem: Why 80% of "AI Startups" Will Disappear by 2026 - Medium，2026年2月9日存取， https://medium.com/@Binoykumarbalan/the-ai-wrapper-problem-why-80-of-ai-startups-will-disappear-by-2026-6b4a873b0ad3
8. The great AI debate: Wrappers vs. Multi-Agent Systems in enterprise AI - Moveo.AI，2026年2月9日存取， https://moveo.ai/blog/wrappers-vs-multi-agent-systems
9. MIT Study Says 95% of AI Projects Fail. Here's How to Be The 5% Who Succeed. - Loris.ai，2026年2月9日存取， https://loris.ai/blog/mit-study-95-of-ai-projects-fail/
10. Why 95% of Enterprise AI Projects Fail: The Field Lessons MIT's ...，2026年2月9日存取， https://answerrocket.com/why-95-of-enterprise-ai-projects-fail-the-field-lessons-mits-study-missed/
11. 6 biggest LLM challenges and possible solutions - nexos.ai，2026年2月9日存取， https://nexos.ai/blog/llm-challenges/
12. AI Wrapper Applications: What They Are and Why Companies Develop Their Own，2026年2月9日存取， https://www.npgroup.net/blog/ai-wrapper-applications-development-explained/
13. How scaling enterprise AI with the wrong LLM could cost you - RWS，2026年2月9日存取， https://www.rws.com/blog/scaling-enterprise-ai/
14. Agentic AI vs Deterministic Workflows with LLM Components : r/ExperiencedDevs - Reddit，2026年2月9日存取， https://www.reddit.com/r/ExperiencedDevs/comments/1nqlm09/agentic_ai_vs_deterministic_workflows_with_llm/
15. The Myth of "Unfundable" LLM Wrapper Startups，2026年2月9日存取， https://1m1m.sramanamitra.com/virtual-accelerator/no-equity/the-myth-of-unfundable-llm-wrapper-startups/
16. Agent Factory: The new era of agentic AI—common use cases and design patterns，2026年2月9日存取， https://azure.microsoft.com/en-us/blog/agent-factory-the-new-era-of-agentic-ai-common-use-cases-and-design-patterns/
17. The Essential Agentic Workflow Patterns for Enterprise AI - QAT Global，2026年2月9日存取， https://qat.com/essential-agentic-workflow-patterns-enterprises/
18. Agentic AI Workflows & Design Patterns: Building Autonomous, Smarter AI Systems，2026年2月9日存取， https://medium.com/@Shamimw/agentic-ai-workflows-design-patterns-building-autonomous-smarter-ai-systems-4d9db51fa1a0
19. Exploring MCP: How Model Context Protocol supports the future of agentic healthcare，2026年2月9日存取， https://www.wolterskluwer.com/en/expert-insights/exploring-mcp-how-model-context-protocol-supports-the-future-of-agentic-healthcare
20. What is Model Context Protocol (MCP)? The key to agentic AI explained - Wrike，2026年2月9日存取， https://www.wrike.com/blog/what-is-model-context-protocol/
21. Model Context Protocol for Agentic AI: Enabling Contextual Interoperability Across Systems，2026年2月9日存取， https://www.researchgate.net/publication/395045803_Model_Context_Protocol_for_Agentic_AI_Enabling_Contextual_Interoperability_Across_Systems
22. Using the NANDA Index Architecture in Practice: An Enterprise Perspective - arXiv，2026年2月9日存取， https://arxiv.org/html/2508.03101v1
23. Seizing the agentic AI advantage - McKinsey，2026年2月9日存取， https://www.mckinsey.com/capabilities/quantumblack/our-insights/seizing-the-agentic-ai-advantage
24. Is AI helping corporates or taking your job? 6 key takeaways from McKinsey's 2025 AI report，2026年2月9日存取， https://m.economictimes.com/news/international/us/is-ai-helping-corporates-or-taking-your-job-6-key-takeaways-from-mckinseys-2025-ai-report/articleshow/125233938.cms
25. The State of AI: Global Survey 2025 | McKinsey，2026年2月9日存取， https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
26. How AI Improves EBIT for Mid-Market Firms，2026年2月9日存取， https://hrbrain.ai/blog/ai-improves-ebit-mid-market-firms/
27. AI in Healthcare: ROI Case Studies - Lead Receipt - Your Caring Experts for AI Receptionists and Automation，2026年2月9日存取， https://www.leadreceipt.com/blog/ai-in-healthcare-roi-case-studies
28. From hype to value: aligning healthcare AI initiatives and ROI - Vizient Inc.，2026年2月9日存取， https://www.vizientinc.com/insights/blogs/2025/from-hype-to-value-aligning-healthcare-ai-initiatives-and-roi
29. Transform Supply Chain Logistics with Agentic AI | AWS for Industries，2026年2月9日存取， https://aws.amazon.com/blogs/industries/transform-supply-chain-logistics-with-agentic-ai/
30. Agentic AI In Supply Chain: 7 Trends For 2026 - Prolifics，2026年2月9日存取， https://prolifics.com/usa/resource-center/blog/agentic-ai-in-supply-chain
31. AI Agents in Supply Chain: Real-World Applications and Benefits - [x]cube LABS，2026年2月9日存取， https://www.xcubelabs.com/blog/ai-agents-in-supply-chain-real-world-applications-and-benefits/
32. Agentic AI in Supply Chain: The Future of Operations - Polestar Analytics，2026年2月9日存取， https://www.polestaranalytics.com/blog/agentic-ai-is-powering-the-next-supply-chain-revolution
33. MLOps vs LLMOps: What's the Difference? - ZenML Blog，2026年2月9日存取， https://www.zenml.io/blog/mlops-vs-llmops
34. From MLOps to LLMOps: Production GenAI Best Practices - Anaconda，2026年2月9日存取， https://www.anaconda.com/blog/scaling-gen-ai-production-best-practices-and-pitfalls
35. Why 95% of GenAI Projects Fail: LLMOps vs MLOps Guide - Nemko Digital，2026年2月9日存取， https://digital.nemko.com/insights/why-genai-projects-fail-llmops-vs-mlops-guide
36. LLMOps vs MLOps: Key differences, use cases, and success stories - N-iX，2026年2月9日存取， https://www.n-ix.com/llmops-vs-mlops/
37. My Top 10 Predictions for Agentic AI in 2026 - Cloud Security Alliance，2026年2月9日存取， https://cloudsecurityalliance.org/blog/2026/01/16/my-top-10-predictions-for-agentic-ai-in-2026
38. I tested the latest agentic browsers in 2026. The capabilities are impressive, but the risks are real - Reddit，2026年2月9日存取， https://www.reddit.com/r/AI_Agents/comments/1qjnncz/i_tested_the_latest_agentic_browsers_in_2026_the/
39. The AI Deception: Why LLM-Wrappers Fail Contact Centers -... - Teneo.Ai，2026年2月9日存取， https://www.teneo.ai/blog/why-llm-wrappers-fail-contact-centers
40. Enterprise AI Roadmap: The Complete 2026 Guide - RTS Labs，2026年2月9日存取， https://rtslabs.com/enterprise-ai-roadmap/
41. Enterprise AI in 2026: A practical guide for Microsoft customers | Rand Group，2026年2月9日存取， https://www.randgroup.com/insights/services/ai-machine-learning/enterprise-ai-in-2026-a-practical-guide-for-microsoft-customers/
42. The Agentic Enterprise in 2026 - Mayfield Fund，2026年2月9日存取， https://www.mayfield.com/the-agentic-enterprise-in-2026/
43. Enterprise AI Strategy in 2026: How CIOs Build Scalable, Impact-Driven AI Roadmaps - Techment，2026年2月9日存取， https://www.techment.com/blogs/enterprise-ai-strategy-in-2026/
44. Adopting agentic AI in 2026: 5 things you can do right now | UiPath，2026年2月9日存取， https://www.uipath.com/blog/ai/adopting-agentic-ai-2026-things-you-can-do-right-now
45. Agentic AI in the global supply chain - SAP，2026年2月9日存取， https://www.sap.com/blogs/agentic-ai-in-global-supply-chain