AI 界最危險的數字，就是 99.999%
去年我和一位醫院資訊長通話時，他調出了一家供應商的簡報並分享了他的螢幕。第七張投影片上只有一個數字，置中顯示，用的是 72 點的字體：<0.001% 的幻覺率。 下方以較小的字體寫著：「經臨床驗證」。
他透過網路攝影機看著我，說：「Ashutosh，我該相信這個嗎？」
我告訴他我不知道——但這個數字本身應該讓他感到不安，而不是安心。一個系統要跨越數十個專科，去摘要那些雜亂、矛盾、既有手寫又有口述的臨床病歷，幻覺率卻低於十萬分之一？那不是準確性的宣稱，那是變魔術。而根據我的經驗，當有人在銷售會議上向你表演魔術時，事後你應該檢查一下自己的口袋。
幾個月後，德州檢察長把這種直覺變成了官方立場。2024 年 9 月，該州與位於達拉斯的醫療 AI 公司 Pieces Technologies 達成了一項具里程碑意義的和解，起因是檢察長指控其做出了欺騙性的準確性宣稱——包括那個確切的 0.001% 關鍵幻覺率。這是同類中首例針對醫療領域生成式 AI 公司的執法行動，而且它並不需要任何新的 AI 專屬法律。用的只是老掉牙的《德州欺騙性交易行為法》，也就是用來對付黑心汽車經銷商的同一部法規。
那項和解改變了我對我們在 Veriprajna 所建構的一切的看法。並不是因為我們做錯了什麼，而是因為它讓一件我一直難以向客戶清楚表達的事變得明確了：企業 AI 的問題不在於模型會產生幻覺，而在於整個產業圍繞著「假裝它們不會」建立了一整套上市策略。
0.001% 的幻覺率究竟意味著什麼？
讓我帶你走一遍這個數學，因為魔術正是在數學這裡露了餡。
大型語言模型是機率性系統。它們並不像資料庫那樣「知道」事情。它們是根據訓練期間學到的模式，去預測下一個字——或者更精確地說，下一個詞元（token）。任何生成輸出的機率，是序列中每一個詞元機率的乘積。每個詞元都是一次微小的賭注，而最終的輸出，就是一長串微小賭注相乘的結果。
現在，宣稱關鍵幻覺率低於 0.001%，意味著不到十萬分之一的輸出會包含嚴重到足以造成臨床傷害的錯誤。要以任何統計信心來驗證這個宣稱，你需要一個龐大、完美標註的黃金標準資料集——數以萬計的臨床摘要，每一份都經由對「何謂關鍵」有共識的領域專家審閱。這樣的資料集並不存在。Pieces Technologies 沒有，任何人都沒有。臨床病歷太過因人而異、太過因專科而異、太過依賴個別醫師的風格和病患的病史。
當有人在一項連人類專家都對「正確」長什麼樣無法達成共識的任務上，宣稱有 99.999% 的準確率時，他們並沒有解決問題。他們是把問題定義掉了。
德州檢察長的調查認定，Pieces 所使用的指標「很可能不準確」，並且可能對部署該工具的醫院造成誤導——這些醫院包括休士頓衛理公會醫院、Parkland 醫院、德州兒童健康系統，以及德州健康資源公司。四個大型系統。真實的病患。真實的臨床病歷，正被一個其準確性宣稱經不起監管審視的系統摘要著。
我不再信任基準測試的那一夜
我想跟你說一個重新接線了我在這件事上思考方式的時刻。
我們當時正在對一條臨床摘要流程進行內部評估——不是為了客戶，只是為了我們自己的研發。我的團隊建構了一套我們自認為很扎實的 RAG 系統。檢索增強生成（Retrieval-Augmented Generation），對還不熟悉的人來說，是一種技術：與其要求模型憑記憶回答，你先從知識庫中檢索出相關文件，並將它們作為脈絡餵給模型。它應該要把輸出建立在事實的基礎上。
我們的內部指標看起來很棒。忠實度分數超過 95%。檢索精確度高達 90 幾趴。我們感覺良好。然後，我們其中一位工程師——Priya，她有個令人抓狂的習慣，總是在沒人想聽的事情上是對的——建議我們做點不一樣的事。與其拿我們自己的測試集來衡量，她從一個公開資料集中抽出了五十份真實的出院摘要，並讓兩位醫師各自獨立審查 AI 生成的版本。
結果在一個星期四的晚上回來了。我記得，是因為當時我正在做晚餐，我的手機因為 Priya 傳來的一則 Slack 訊息而震動，訊息上只寫著：「你最好在明天之前看一下這個。」
醫師們標記出有問題的，是50 份摘要中的 23 份。在多數情況下並非災難性的錯誤——一個藥物劑量取自先前的住院紀錄而非當前這次、一項家族病史細節被歸到了錯誤的親屬身上、一個檢驗數值方向正確但數字有誤。但在臨床脈絡下，「方向正確但數字有誤」可能就是安全出院與再入院之間的差別。
我們的自動化指標幾乎全都漏掉了。這套系統生成的文字語言流暢，且在語義上與原始素材相似——而這正是那些指標所衡量的。但它並沒有生成臨床上安全的文字，而那才是真正重要的。
那一夜，我不再把基準測試當作品質的替代指標。而這也是為什麼 Pieces 這個案子在爆發時對我衝擊如此之大。我完全清楚，一家公司如何能看著自己的數字、真心相信它們，卻仍然危險地錯著。
為什麼德州用的是消費者保護法——而不是 AI 法？
這正是應該讓每一家 AI 供應商夜不能寐的部分。
德州檢察長並沒有等待國會通過某項 AI 法規。他沒有援引任何新穎的法律理論。他用的是《德州欺騙性交易行為—消費者保護法》——一部已在法典上存在了數十年的法規——並將它套用在 AI 準確性宣稱上，方式就跟套用在一家謊稱汽車燃油效率的公司身上一樣。
由此產生的《自願遵從保證》將 Pieces Technologies 鎖進了一段長達五年的高度透明期。該公司現在必須揭露其所宣傳的任何準確性指標背後的定義與計算方法。它必須告知客戶其產品「已知或合理可知的有害或潛在有害用途」。它必須提供關於其訓練資料與模型類型的文件。而且它必須在 30 天內回應檢察長辦公室的資訊索取要求。
這不是隔靴搔癢式的輕罰。這是一個範本。
醫療領域首例重大 AI 執法行動並不需要新的立法。既有的消費者保護法就已足夠——而每一州都有一部。
我曾與一些企業法務團隊談過，他們以為自己很安全，因為「目前還沒有 AI 法」。那個假設是錯的。如果你對你的 AI 系統效能做出宣稱，而那個宣稱具有誤導性，那麼你在現行法律下就已經暴露在風險中了。Pieces 的和解恰恰證明了這一點。
我把完整的監管意涵——包括和解協議下的具體義務——都寫在了我們研究的互動版本中。如果你身處採購、法務或合規部門，這值得你仔細閱讀。
包裝殼問題
以下是我認為在架構上實際出錯的地方——以及為什麼它的意義遠遠超出了 Pieces Technologies。
如今出貨的大多數企業 AI 產品，就是業界所稱的「包裝殼（wrapper）」。一個包裝殼接收使用者的輸入，把它發送到某個基礎模型的 API——GPT-4、Claude、Gemini——然後把回應加上一點輕量的格式、或許再栓上幾道護欄後顯示出來。它建構快、出貨快、銷售也快。但它本質上也很脆弱。
一個包裝殼並不理解你的資料。它無法在病患的縱貫性紀錄中維持脈絡。它不知道心臟科的 Ramirez 醫師寫病歷的方式跟腫瘤科的 Chen 醫師不一樣。它無法取得一位有二十年經驗的護理師腦中所承載的那種機構知識。它只是在預測詞元。
關於這一點，我曾和一位投資人爭論過一次——還是一場激烈的爭論。他看過一個以包裝殼為基礎的臨床文件工具的示範，深信它「已經夠好了」。他的原話是：「Ashutosh，就用 GPT 吧。稍微微調一下。出貨。市場不會等人的。」
我告訴他，市場不會等，但監管機構會。病患也會。訴訟也會。
他沒有投資。我不後悔那場對話。
另一種選擇——也就是我們在 Veriprajna 所建構的、以及我認為產業需要邁向的方向——是深度整合。這意味著把模型嵌入企業實際的資料結構之中。這意味著把 RAG 當作一種真正的接地機制，而不是一個打勾了事的功能，並讓檢索流程針對特定領域進行調校。這意味著在特定領域的語料庫上進行微調。這意味著多層次的人工監督，其中的人類真正握有權限與脈絡去攔截錯誤。
研究支持這一點。多項研究顯示，65% 的開發者回報 AI 在複雜任務中「丟失了相關脈絡」——而那還是在軟體工程領域，那裡的代價是一個編譯失敗的版本，而不是一個受損的病患。在醫療領域，脈絡丟失不是一個錯誤（bug）。它是一起安全事件。
真正有效的做法：對抗式 AI 與 3.7 小時問題
我要為 Pieces Technologies 記上一功：他們的架構包含了一個對抗式偵測模組（Adversarial Detection Module）。這個想法是合理的——用第二個 AI 模型來監督第一個，掃描生成的摘要，找出與來源臨床資料之間的不一致。他們的技術論文顯示，這個對抗式模組在攔截具臨床意義的幻覺方面，效果是隨機抽樣的 7.5 倍。
那是一個真實的結果。但它同樣還不夠。
原因如下。當對抗式模組標記出一個錯誤時，被標記的摘要會被送交一位取得專科認證的醫師審查。修正的中位數時間是？3.7 小時。 對於一份在輪班結束時歸檔的病程紀錄來說，也許這是可以接受的。但對於一份決定病患今天是回家還是再住一晚的出院摘要而言，3.7 小時就是永恆。而對於一個即時臨床決策支援工具——那種人人都搶著要建的東西——它根本毫無用處。
這就是我所稱的介入速度問題，而它是產業尚未解決的問題之一。你可以打造出世界上最好的幻覺偵測系統，但如果修正迴圈比臨床工作流程還慢，那麼在關鍵時刻醫師看到的，就是那個未經修正的輸出。
沒有及時修正的偵測，只不過是對失敗的記錄罷了。
在 Veriprajna，我們已經開始以分層的方式來思考這件事。並不是每個 AI 使用情境都承載相同的風險，也並不是每個使用情境都需要相同速度的人工介入。行政排程？每週稽核一次就好。臨床文件？在它進入病歷之前先審查。即時決策支援？人類必須介入迴圈，是在輸出被生成之前，而不是之後。
醫療領域正在興起的「AI 安全等級」框架把這件事對應得很好——從第 1 級（低影響的行政任務）一路到第 5 級（自主的病患互動）。我談過的大多數組織，都是用第 1 級的監督去部署第 3、4 級的工具。而那正是監管機構會持續收緊的落差。
為什麼只有 5% 的公司能從 AI 中獲得真正的價值？
有一個來自企業 AI 研究的統計數字一直縈繞在我心頭：只有 5% 的公司能在規模化的層次上從 AI 獲得可衡量的商業價值。不是 50%。不是 25%。是百分之五。
那 5% 裡的公司有一個共通的模式。他們把 70% 的實作心力花在組織轉型上——重新設計工作流程、重新定義角色、改變決策的做出方式。20% 花在技術堆疊上。10% 花在演算法本身。
其他所有人都把這個比例倒了過來。他們花好幾個月挑選正確的模型，花好幾週建構流程，然後花上大約為零的時間去思考：下游的那些人類是否真的信任、理解，或能夠有效監督這個 AI 的輸出。
這一點我親眼見過。我們曾與一個團隊合作，他們建構了一套在技術上很優雅的系統——漂亮的架構、乾淨的程式碼、亮眼的基準測試。但它所服務的那些臨床醫師卻不用它。並不是因為它不好，而是因為沒有人問過他們需要什麼。這個工具生成摘要的格式，並不符合他們既有的工作流程。它把他們早已知道的資訊呈現出來，卻把他們真正需要的資訊埋了起來。它是針對一個由工程師（而非實際做這份工作的人）所定義的問題的解決方案。
在為這次重新設計寫下任何一行程式碼之前，我們花了整整三週，只是坐在臨床人員身邊，看著他們工作。那才是重要的那 70%。
關於評估框架、對抗式偵測架構，以及區分那 5% 與 95% 的投資報酬率模式的完整技術剖析，請見我們的詳細研究論文。
企業究竟應該如何評估 AI 的準確性宣稱？
人們不斷地問我這個問題，所以讓我直說。
第一，要求定義。當一家供應商告訴你他們的幻覺率是 X% 時，要問：什麼算是一次幻覺？誰標註了測試集？它有多大？是由領域專家評估的，還是由另一個 AI 模型評估的？如果他們無法清楚回答這些問題，那個數字就毫無意義。
第二，檢視評估框架。我在醫療領域見過最好的一個是 Med-HALT——醫學領域幻覺測試（Medical Domain Hallucination Test）。它不只衡量模型是否給出正確答案。它測試模型能否抵抗給出一個自信地錯誤的答案。它其中一項子測試，即「錯誤自信測試」（False Confidence Test），會向模型呈現一個問題以及一個建議的「正確」答案（但那答案其實是錯的），然後檢查模型是否會順從它。另一項測試，稱為「以上皆非」（None of the Above），會檢查模型能否辨識出何時沒有一個所提供的選項是正確的——這是一項關鍵技能，因為在醫學中，「我不知道」往往是最安全的答案。
第三，堅持要求 FAIR-AI 框架所稱的「AI 標籤」——一種標準化的揭露，告訴終端使用者這個模型是用什麼資料訓練的、它已知的失效模式有哪些，以及目前部署的是哪個版本。把它想成 AI 版的營養標示。如果一家供應商不願意給你一個，那就問問自己他們在隱藏什麼。
問題不在於「你的 AI 有多準確？」而在於「你怎麼知道——而且你能向監管機構證明嗎？」
那項和解改變了一切。只是大多數人還沒注意到。
以下是我認為在接下來兩年會發生的事，而我是以一個建構這些將受這些規則規範的系統的人的身分在說這番話。
德州的和解將會被複製。其他州的檢察長都在觀望。聯邦貿易委員會（FTC）也在觀望。這個模式已經確立：你不需要一部 AI 法就能監管 AI 的宣稱。你只需要一部消費者保護法規，以及一家過度承諾的供應商。
企業採購將會改變。醫院系統與大型採購方將會開始要求，在簽約之前對 AI 準確性宣稱進行獨立的第三方稽核。和解協議明確允許把這作為自我揭露的替代方案，而聰明的採購方將會要求這麼做。
包裝殼模式將會死去——先是慢慢地，然後突然全面崩塌。並不是因為包裝殼對低風險應用行不通（它們行得通），而是因為在高風險環境中部署一個未接地系統的監管成本，即將變得高到令人卻步。存活下來的公司，將會是那些在深度整合還很困難時就投入其中的公司，而不是那些出貨飛快、只盼著沒人查驗的公司。
至於那個 0.001% 的宣稱？它將成為一則警世故事——企業 AI 界相當於 Theranos「一滴血」的翻版。一個完美到本應成為警訊的數字。
我有時會想起那位醫院資訊長。就是那位給我看那張印著大數字的投影片的人。他沒有買下那套系統。他後來告訴我，那個宣稱的精確度中有某種東西讓他感到困擾——它太過乾淨了、太過自信了，對於一項他明知本質上是機率性的技術而言。
他感到困擾是對的。企業 AI 中最難的事，不是打造一個能運作的系統。而是打造一個在它無法運作時會誠實告訴你的系統。那才是現在的標準。不是 99.999%。不是投影片上的一個數字。標準是：你能不能展示你的過程、為它背書，並在你出錯時承擔後果？
那正是我們正在努力邁向的目標。不是完美的 AI。而是誠實的 AI。而且我認為，那將會比任何人的幻覺率都重要得多。