一張編輯風格的示意圖,呈現光鮮的 AI 行銷宣稱,與如今正嚴加審視這些宣稱的監管執法機制之間的張力。
Artificial IntelligenceTechnologyStartups

那筆 $400,000 罰款,該讓每一家 AI 公司睡不著覺——以及我選擇打造的另一條路

Ashutosh SinghalAshutosh Singhal2026年4月2日14 min

當 SEC 對 Delphia 與 Global Predictions 祭出執法行動時,我正和一位潛在的銀行業客戶通話。2024 年 3 月 18 日。這位客戶的法遵長當場打斷了我們的對話,把新聞稿大聲唸了出來。唸完之後,是一陣長長的沉默。然後她說:「所以基本上,SEC 剛剛等於告訴我們,我們現有 AI 供應商承諾過的一切,都是一場等著上門的訴訟。」

她說得沒錯。SEC 剛剛對兩家投資顧問公司開出合計 $400,000 的罰款,理由是監管機構正式稱之為AI 漂白——也就是對自身人工智慧的使用做出不實與誤導性的宣稱。其中一家公司 Delphia 自 2019 年起就告訴客戶,它運用機器學習分析客戶的消費模式與社群媒體活動,藉此「預測哪些公司與趨勢即將大放異彩」。真相呢?他們從未真正把任何這類資料整合進投資流程。一次也沒有。他們行銷的是一項根本不存在的能力。

那通電話改變了我公司的走向。並不是因為這些執法行動讓我意外——我已經觀察 AI 炒作與監管現實之間的碰撞好幾個月了。改變的是急迫性。突然之間,我談過的每一家銀行、每一個醫療體系、每一間律師事務所,問的不再是「我們該怎麼導入 AI?」他們問的是「我們要怎麼證明我們的 AI 真的做到我們所說的事?」

這個問題——如何把可證明的真相工程化地內建進一套 AI 系統——正是我此後投入全部心力、近乎執著想回答的問題。

AI 漂白究竟是什麼?你又為什麼該在意?

想想漂綠(greenwashing),只是換成了演算法。一家公司在行銷素材上貼上「AI 驅動」的標籤,看著股價上揚、客戶名單擴充,卻沒有人追問底下的技術是否真如廣告所言。SEC 是刻意借用這個詞的——欺騙的機制完全相同。

Delphia 聲稱使用由機器學習驅動的「預測性演算法模型」。SEC 對他們進行了檢查,並在 2021 年要求他們停止說謊,而他們依然照做不誤,又持續了整整兩年。這讓他們吃下 $225,000 的罰款與一紙譴責。至於 Global Predictions,則自稱是「第一家受監管的 AI 理財顧問」,並承諾提供「專家級的 AI 驅動預測」。當監管機構要求提出足以佐證這些說法的技術文件時,這家公司拿不出來。又是 $175,000 沒了。

SEC 並不需要新的 AI 專法就能起訴這些案件。他們用的是已經存在數十年的同一批反詐欺法規。如果你對自己的技術能做什麼說謊,你就是在詐欺。「AI」這個部分無關緊要。

這件事和典型的監管輕罰不同之處在於:SEC 主席 Gary Gensler 明確表示,這只是一個開始,而不是一次性的個案。而且 SEC 並非唯一。FTC 發動了「Operation AI Comply」行動,並鎖定 DoNotPay——這家把自己行銷為「全球第一位機器人律師」的公司——因為它無法證實其 AI 能取代真人律師的宣稱。司法部則宣布,將把 AI 風險管理納入企業法遵評估的一環,並對藉由濫用 AI 所助長的犯罪尋求更嚴厲的刑罰。

三個聯邦機關,全都指向同一個訊息:拿出證據,否則付出代價。

我意識到多數企業 AI 都建立在流沙之上的那一晚

我記得某個特定的夜晚——我和團隊正在對一款競爭對手的「AI 驅動法律研究工具」做基準測試,那是某位客戶正在考慮採購的產品。我們餵給它一個關於近期巡迴上訴法院判決的直白問題。這個工具回傳了一份排版精美的答案,附上三則判例引用。語氣自信。措辭專業。只有一個問題:其中一則引用完全是捏造的。那個案子根本不存在。另外兩則確實存在,但內容與工具所宣稱的正好相反。

我的共同創辦人看著我說:「這玩意兒寫起來像律師,推理起來像鸚鵡。」

這就是核心的技術問題,而它不是一個 bug——它就是架構本身。多數大型語言模型是透過「下一個 token 預測」運作的。它們計算:在先前所有內容的條件下,下一個字詞出現的機率有多高。這套數學很優雅:對模型輸出分數做 softmax 運算,選出最可能的接續。但「最可能」和「為真」是根本不同的兩回事。模型內部並沒有真相這個概念。它從來沒有讀過一部法規並真正理解它。它處理過數十億個 token,學會了哪些字詞傾向出現在哪些字詞附近。

拿來產生行銷文案或摘要會議記錄,這樣沒問題。但要告訴一家銀行某筆交易是否符合反洗錢法規,或告訴一位醫師某個藥物交互作用是否危險時,「統計上看似合理」在法律上就等同於「錯誤」。

在受監管的環境裡,「大致正確」不是一種品質等級——它是一種責任類別。

然而,現在賣給企業的絕大多數「AI 解決方案」,正是業界委婉稱之為「wrapper(套殼)」的東西。他們拿 OpenAI 或 Anthropic 的公開 API,加上一些提示工程和好看的使用者介面,就出貨了。這種套殼無從驗證自己的推理。它無法證明答案從何而來。它只是把底層模型產生的一切原封不動轉述出來,連同幻覺一起。

我在我們研究的互動版本中深入探討過這個問題——這些系統所宣稱的能力,與它們在架構上實際能夠做到的事,兩者之間的落差大得驚人。

為什麼 RAG 在高風險決策上會失靈?

當我向技術聽眾解釋這個問題時,總會有人說:「那 RAG 呢?」檢索增強生成(Retrieval-Augmented Generation)——就是讓模型能存取一個文件資料庫,好讓它去查資料,而不是憑空編造。這是業界最愛的 OK 繃。

問題在這裡。標準的向量 RAG(Vector RAG)的運作方式,是把你的問題和你的文件轉換成數學表示(向量),然後在那個抽象空間中找出「距離」你的問題最近的文件。它是一種語意相似度搜尋。對許多應用而言,它表現得還算不錯。

但在那些「資訊之間的關係」和資訊本身同樣重要的領域,「還算不錯」就徹底崩潰了。以法律研究為例。一則法院判例並不只是存在而已——它會引用其他判例、推翻其中一些、確認另外一些,並且在特定的管轄層級體系中運作。當你問一個法律 AI:「這則先例現在還是有效法律嗎?」向量搜尋可能因為字詞吻合而找出這個案子。但它無從告訴你,這個案子在六個月後就被上級法院推翻了。它無法分辨「引用」與「否定推翻」之間的差別。

我的團隊為此爭論了好幾個星期。一位工程師想繼續改良我們的向量檢索——更好的 embedding、更好的分塊策略、更精細的重排序。另一位則不斷堅持,問題不在於檢索品質,而在於檢索的架構。她認為「找出最接近的文件」這整套典範,對於那些意義承載於文件之間的關係之上的領域來說,根本就是錯的。

她是對的。而正是那場爭論,把我們推向了 GraphRAG。

當你打造出能證明自身推理過程的 AI,會發生什麼事?

一張並排的架構比較圖,呈現標準向量 RAG 如何透過模糊的語意相似度檢索資訊,對比引用強制式 GraphRAG 如何在已驗證的結構化關係上進行遍歷——讓兩者關鍵的架構差異一目了然。

GraphRAG——具體來說是我們所稱的「引用強制式 GraphRAG(Citation-Enforced GraphRAG)」——以結構化的知識圖譜取代模糊的語意搜尋。你建立的不是漂浮在抽象空間中的向量,而是一張明確標示資訊如何彼此連結的地圖。在法律知識圖譜中,一份司法意見書就是一個節點。它與其他意見書之間的關係則是一條邊——引用(CITES)、推翻(OVERRULES)、確認(AFFIRMS)、解釋(INTERPRETS)。法規連結到解釋它們的判例。管轄層級體系被直接編碼進去。

當 AI 生成回應時,它不只是找出「相似」的文字。它會在圖譜中遍歷已驗證的路徑。如果它主張案例 A 支持命題 B,圖譜中就必須存在一條真實、可稽核的連結把兩者連起來。我們使用圖約束解碼(graph-constrained decoding),從物理層面阻止模型輸出任何它無法驗證的引用。這個模型根本無法捏造引用,因為架構不允許它這麼做。

這就是我所說的確定性 AI。不是「大概正確」,而是可證明有所依據。

向量 RAG 與 GraphRAG 之間的差別不是漸進式的改良——那是「猜哪本書可能相關」與「真的把註腳讀完」之間的差別。

我們把這套架構與多代理協同(multi-agent orchestration)結合。我們不讓單一模型包辦一切——研究、驗證、撰寫——而是使用專職代理。研究代理負責檢索原始資訊。驗證代理將其與知識圖譜交叉比對。撰寫代理只使用已驗證的事實產出結果。這些代理會跑過我們所稱的「循環反思模式(Cyclic Reflection Pattern)」,在任何人看到結果之前,反覆檢視草稿是否有幻覺。

它比套殼慢。它的建置成本更高。而它是唯一一種我願意信任、能拿去面對監管機構的決策架構。

沒有人想談的資料主權問題

這件事還有另一個面向,是 AI 漂白的討論大多忽略的:資料存放在哪裡。

一位醫療業客戶曾直截了當地問我:「如果我們用你們的系統,我們的病患資料會跑到哪裡去?」當我告訴他們,資料永遠不會離開他們自己的基礎設施時,他們鬆了一口氣。接著他們告訴我,他們先前的供應商——一家知名的 AI 公司——沒辦法把這個問題講清楚。資料進了那家供應商的雲端,在共享的基礎設施上處理,而供應商的服務條款在技術上允許用這些資料來改進他們的模型。

對一家處理受 HIPAA、GDPR 或 CCPA 規範資料的公司來說,這不是灰色地帶。這就是違規。

我們部署在主權基礎設施上——完全自架在客戶的場域內,或是在他們自己的私有雲(VPC)之中,讓 AI 執行個體與公開網際網路隔離。這需要更多的前期投資。客戶需要 GPU 與專用的基礎設施。但他們換到的,是任何公開 API 都無法提供的東西:零資料外洩以及完整的可稽核性。每一次查詢、每一個回應、每一個模型版本——全都在他們自己的治理框架之內。

關於我們如何打造這一切的完整技術架構——包括知識圖譜結構、多代理協同框架,以及我們的主權部署做法——請參閱我們的技術深度剖析

如何真正治理 AI,又不被法遵工作淹沒?

一張分層治理示意圖,呈現 NIST AI RMF 與 ISO/IEC 42001 如何依序銜接——從快速的內部控制一路到正式認證——並以 AI 物料清單作為兩者底層的基礎文件層。

我坐過不少董事會會議室,看著高階主管把 AI 治理當成打勾了事的作業。挑一套框架、填完表格、繼續往下走。這種做法會讓你被罰款。

有兩套框架已經成為業界標準,而它們服務的目的不同。NIST AI 風險管理框架是一份自願性的戰術指南——它幫助你辨識風險、衡量風險,並建立內部流程。它導入速度快,非常適合在組織內鍛鍊我所謂的「AI 風險肌肉」。但它是自我聲明式的。沒有人會去查證你是否真的做到你所說的事。

ISO/IEC 42001則是可認證的國際標準。第三方稽核員會檢視你的 AI 管理系統,然後決定要不要發給你認證。當監管機構、客戶或收購方要求你「證明你的 AI 治理是真的」時,這張認證就有意義了。

聰明的做法是把兩者排序並用:先用 NIST 快速建立敏捷的內部控制,再把這些控制對應到 ISO 42001 的要求,以取得正式認證。一個給你速度,另一個給你證據。

而在這兩套框架底下,還有一項多數公司甚至還沒聽過的新興要求:AI 物料清單(AIBOM)。把它想成 AI 系統的營養標示。它是一份機器可讀的紀錄,載明建構這套系統的一切——訓練資料集、基礎模型、第三方函式庫、基礎設施相依項。當稽核員問「是哪些資料訓練了這個模型?」或「做出這項決策時跑的是哪個版本的 PyTorch?」,AIBOM 可以立刻給出答案。

我們在部署流水線中自動產生 AIBOM。每一個模型版本都能回溯到確切的程式碼與資料集版本。這不是什麼光鮮亮麗的工作。但它就是「通過稽核」與「手忙腳亂地重建本該從第一天就存在的文件」之間的差別。

那位叫我「直接用 GPT 就好」的投資人

我必須說這個故事,因為它精準捕捉了 AI 漂白執法所要懲罰的那種心態。

在 VeriPrajna 創立初期,我曾向一位投資人提案。我解釋了我們的架構——知識圖譜、多代理驗證、主權部署模式。他禮貌地聽完,然後說:「你為什麼不乾脆包一層 GPT-4,收費更低、擴張更快就好?反正沒人會去稽核後端。」

我告訴他,SEC 剛剛就是因為這種邏輯,對兩家公司開了罰單。他聳了聳肩。

六個月後,他投資組合中的一家公司——一家「AI 驅動」的金融科技公司——收到了關於其行銷宣稱的監管詢問。他們拿不出文件,證明他們的 AI 真的做到了募資簡報上所寫的事。我最後聽到的消息是,他們正以緊急費率手忙腳亂地聘請法遵顧問。

人們總問我,執法環境會不會鬆動——新政府或優先順序的轉變,會不會讓 AI 漂白的風險變小。我的誠實回答是:那不重要。SEC 動用的是現行的反詐欺法律。FTC 動用的是《FTC 法》第 5 條,這條法自 1914 年起就已載入法典。各州檢察總長則有他們自己的消費者保護法規。即使聯邦的執法優先順序改變,用來起訴 AI 欺騙行為的法律基礎設施依然是永久且多層次的。

AI 漂白不是一時的監管流行。它是披著實驗袍的詐欺,而現在各級政府都握有起訴它的工具與意願。

更重要的問題是市場會變成什麼樣。當企業靠著捏造的 AI 能力取得成功時,它們扭曲了競爭,也侵蝕了正當 AI 公司賴以營運的信任。每一個被當成「先進 AI」賣出去的套殼,都讓那些真正在做工程的公司更難解釋,為什麼他們的解決方案更貴、也更花時間建置。

值得信賴的 AI 系統,實際上長什麼樣子?

如果把那些框架和縮寫都剝掉,打造一套能經得起監管檢視的 AI,歸根結底就是四件事。

把確定性工程化。跨越機率式輸出,走向能夠證明自身推理的架構——神經符號系統、知識圖譜、圖約束解碼。如果你的 AI 無法展示它的推導過程,它就還沒準備好進入受監管的環境。

把主權設計進架構。在你能掌控的基礎設施內部署。如果你的客戶的敏感資料碰到了共享的公有基礎設施,你就製造出一個再多提示工程也修不好的法遵責任。

把治理標準化。採用可認證的框架。維護 AI 物料清單。讓文件化成為持續、自動化的流程,而不是一年一度的手忙腳亂。

持續驗證。實施對抗性紅隊演練,把幻覺率與扎根率(grounding rate)當成 KPI 追蹤,並在高風險決策中保留人為介入。部署當下準確的模型會漂移。像監控交易演算法那樣去監控它——因為失敗的後果不相上下。

SEC 開出的 $400,000 罰款,對金融業來說是個尾數誤差。但那些罰款背後的訊息不是。我們已經離開了那個你可以行銷自己並不具備的 AI 能力、把黑箱丟進受監管流程、還假設沒人會查的年代。如今每一套企業 AI 系統,都在一項隱含的舉證責任之下運作:你能證明它確實做到你所宣稱的事嗎?

我創辦了 VeriPrajna——這個名字結合了「Veri」(真相)與「Prajna」(智慧)——因為我相信,AI 產業的可信度危機,本質上是一場架構危機。你無法用一套從未被設計來在乎真相的系統,去解決真相的問題。你必須把它工程化地內建進去——從知識圖譜開始,貫穿每一個代理、每一個驗證迴圈、每一個部署決策。

理解這一點的公司,將會打造出真正可用的 AI。不理解的那些,會繼續包裝 API、寫出漂亮的募資簡報,並期待沒有人掀開引擎蓋。監管機構現在正在看。而且他們不會停下來。

相關研究

同步發佈於

自信打造您的 AI。

與一支在打造新世代企業級 AI 方面擁有深厚經驗的團隊攜手合作。讓我們協助您設計、建置並部署值得信賴的 AI 策略。

Veriprajna 深度科技顧問公司 專精於為醫療、金融及法規監管領域打造攸關安全的 AI 系統。我們的架構均依循既定規範進行驗證,並備有完整的合規文件。