自動駕駛車在撞擊前 5.6 秒就看見了她——卻始終無法判定她是什麼
我在 2023 年底坐在一間會議室裡，看著一段將永遠改變我對 AI 安全看法的影片。那段畫面來自舊金山的一輛 Cruise 無人計程車。一名行人先被一輛由人類駕駛的車撞上，甩進了那輛自動駕駛車的行進路徑，並被壓在車底。無人計程車停了下來——只停了一下——接著開始往路邊靠邊停，把那名女子在柏油路上拖行了 20 英尺。
會議室一片寂靜。我團隊裡有人說：「這輛車以為自己發生了側面撞擊。」而那句話——這輛車以為——成了我們此後在 Veriprajna 所建構的一切的種子。
因為那輛車根本沒有「想」任何事。它跑了一個分類副程式，得到錯誤答案，然後執行一個預先寫好的操作，把一場原本可以生還的事故變成遠為慘烈的結果。沒有推理。沒有覺察。沒有任何安全架構能在一個災難性的誤診釀成災難之前攔住它。
這正是我不斷試圖向投資人、客戶與同業工程師解釋的落差：一個在展示中表現良好的 AI，與一個在世界不再配合時依然能安全行事的 AI，兩者之間的距離。我開始稱它為感知-邏輯落差（Perception-Logic Gap）——自主系統所看見的，與它真正理解的，兩者之間的那片空間。而此刻，這道落差正在奪走人命。
當 AI 有將近六秒鐘卻依然失敗時，究竟發生了什麼？
2018 年 3 月發生在亞利桑那州坦佩市的 Uber ATG 撞擊事故，是我最常回頭檢視的案例，因為它最純粹地說明了一套機率式系統如何在手握所有必要資料的情況下，仍然犯下致命錯誤。
車輛的感測器最初偵測到 Elaine Herzberg——一名推著自行車橫越黑暗道路的行人——是在撞擊前約 5.6 秒。以時速 43 英里計算，那大約是 378 英尺的距離。對任何稱職的煞車系統來說，都足以讓車停下來，綽綽有餘。
但這套 AI 無法判定自己看到的是什麼。在那 5.6 秒裡，感知系統反覆重新分類 Herzberg：先是「未知物體」，接著是「車輛」，然後是「自行車」。每一次重新分類都不只是換個標籤——而是把該物體的預測軌跡完全重置。這套系統實質上每改變一次想法，就失憶一次。
我還記得第一次讀 NTSB 報告時，生理上一陣反胃。不是因為結果——儘管那個結果令人心碎——而是因為那個機制。這套 AI 一直到撞擊前 1.3 秒才判定需要緊急煞車。剩下的，物理定律已經注定。
一套能看見障礙物將近六秒、卻仍無法判定它是什麼的 AI，問題不在感測器。它的問題在架構。
更糟的是——老實說，真正讓我憤怒的是——我得知 Uber 刻意停用了 Volvo XC90 原廠內建的防撞系統。這輛車出廠時就配備了製造商的自動緊急煞車。Uber 把它關掉，以避免他們口中的「車輛行為不穩定」。他們想讓自家實驗性軟體開起來更順暢，於是移除了那唯一一層可能救人一命的確定性安全防線。
那個決定至今仍纏繞著這個產業。它是把 AI 安全當成調校問題、而非工程學科的原罪。
為什麼同樣的失敗會在不同的車上一再重演？
Uber 事故之後，我以為業界會學到教訓。具體來說，我以為各家公司會建立那種讓感知失效無法連鎖引發決策失效的架構。那種存在硬性安全邊界、任何實驗性軟體都無法凌駕的架構。
結果，我們等到的是 Cruise。
2023 年 10 月發生在舊金山的事件，細節上與 Uber 不同，架構上卻如出一轍。一輛由人類駕駛的 Nissan 撞上一名行人，把她甩進一輛 Cruise 無人計程車的行進路徑。Cruise 車輛撞上了她，然後停住。到這裡為止，系統是有在運作的——不完美，但仍在參數範圍內。
接著，撞擊後的邏輯啟動了。系統的撞擊偵測不夠精細，無法區分正面輾壓與側面撞擊。它把這起事件歸類為側面撞擊。而對側面撞擊預先寫好的反應是：靠邊停到路旁，以免阻礙交通。
車子靠邊停了。車底下還壓著一個人。它以時速約 7 英里的速度把她拖行了 20 英尺，才偵測到「過度的車輪打滑」——而它把那解讀為機械故障，不是一個人。
那起事件之後，我花了一週時間和團隊爭論正確的反應架構應該長什麼樣。我們其中一位工程師——非常出色，也非常偏向形式化方法——一直堅持這個問題可以用更好的感測器融合解決。他說：「如果系統在底盤下方有佔用偵測，它就會知道了。」
他是對的。但他也沒說到重點。更深層的失敗在於，這套系統沒有對自身診斷的不確定性這樣的概念。它對撞擊做了分類，然後便以十足的信心依據那個分類行動。當中沒有一個中間狀態能說「我不確定剛剛發生了什麼，所以在弄清楚之前，我應該什麼都不做」。這套架構不容許懷疑存在。
這就是我談感知-邏輯落差時的意思。它不只關乎看得更清楚，更關乎知道自己何時不知道。
掩蓋，同樣是架構的一部分
Cruise 拖行事件之後發生的事，幾乎和事件本身一樣說明問題。調查發現，高層「執著於糾正不準確的媒體敘事」，而非對監管機關保持透明。員工承認，他們在明知網路連線問題常會導致拖行片段無法播放的情況下，仍把那段撞擊影片放給監管人員看。
Cruise 最終因向 NHTSA 提交不實報告而支付了 50 萬美元的刑事罰金。他們在加州的營運許可遭到撤銷。
我提這件事，不是為了對 Cruise 落井下石，而是因為它揭露了這個產業對待安全的某種結構性問題。當你的 AI 系統是個黑盒子——當連你自己的工程師都無法完整解釋它為何在某個特定時刻做出某個特定決定——那麼，掌控敘事而非修正架構的誘惑，就會變得難以抗拒。
對自動駕駛車來說，透明不是公關策略。它是技術要求。如果你無法稽核你的 AI 在危機中所做的每一個決定，你擁有的就不是安全系統——而是一項法律責任。
在 Veriprajna，我們把可解釋的安全稽核列為架構工作的核心。AI 所做的每一個決定，尤其是撞擊後的決定，都會以確定性、防竄改的格式記錄下來，讓監管機關能即時稽核。這不是因為我們比 Cruise 更高尚——而是因為我們見過，當替代方案是「讓影片自己說話」時，會發生什麼事。
我曾完整撰文說明這套方法背後的技術框架，收錄於我們的互動式白皮書，其中包括我們從 Uber、Cruise、Tesla 與 Waymo 案例中編目整理出的具體失效模式。
Tesla 的「純視覺」豪賭，對安全究竟意味著什麼？
Tesla 的自動駕駛路線在哲學上與 Uber 或 Cruise 不同，失敗的樣貌也不同。但兩者的失敗有著相同的韻腳。
Tesla 的 Full Self-Driving 系統完全仰賴攝影機——沒有 LiDAR，沒有雷達。Elon Musk 曾稱 LiDAR 是一根「拐杖」。這場賭注押的是：足夠先進的神經網路，能像人類視覺那樣，僅憑 2D 影像重建出對世界完整的 3D 理解。
這是個優雅的想法。我甚至覺得它在智識上很有說服力。但 NHTSA 在 2024 到 2025 年間，已針對 FSD 相關事故展開超過 40 項調查，涵蓋 290 萬輛車，而其中的模式令人難以辯解。
有十八起獨立申訴涉及車輛闖紅燈或未能辨識號誌狀態。多份報告描述車輛駛入對向車道。2023 年一起致命碰撞發生在濕滑柏油路面上的陽光眩光中——在那樣的條件下，光學訊噪比會降到任何攝影機系統都無法可靠判讀的水準。
我把這稱為能力劇場（Capability Theater）：系統在最佳條件下表現得漂亮至極，營造出一種能力的錯覺，而這種錯覺在邊緣處就崩潰了。晴天、路況清晰、標準路口？完美無瑕。低角度陽光、濕滑路面、不尋常的行人穿越？系統不會優雅地降級。它是驟然失效。
問題不在於純視覺方案在理論上無法運作。問題在於，Tesla 正在大規模部署它，卻沒有我所謂的保證閘門（Assurance Gates）——那種在 AI 的信心低於經過驗證的門檻時，就阻止它做出高風險決定的硬性邊界。如果眩光飽和度超過某個百分比，系統應該拒絕駕駛，而不是更用力地猜。
你要如何證明一套 AI 不會害死人？
這是讓我夜不能寐的問題。不是比喻——是字面意義上的。去年有一段時間，我常常做形式化驗證實驗到凌晨 2 點，試圖找出「測試得夠多」與「已證明安全」之間的界線。
傳統的軟體測試是黑箱式的：你讓系統跑過N個情境，如果全部通過，你就出貨。但自動駕駛車遇到的不是N個情境。它們面對的是整個物理世界，連同它所有的混亂、邊緣案例，以及做出無法解釋之事的人類。再多的情境測試，都無法覆蓋那片空間。
形式化驗證採取的是另一條路。它問的不是「系統通過這些測試了嗎？」，而是「是否存在任何一種輸入，可能產生不安全的輸出？」像 Marabou 與 α,β-CROWN 這類工具，能把神經網路表示成一組數學約束，然後窮盡式地搜尋違例。
一條安全性質可能長這樣：對於「低能見度」範圍內的每一個可能輸入，煞車指令都絕不能低於某個最小門檻。如果求解器找到反例——一個違反該性質的具體輸入——你就在它害死人之前找出了一個弱點。
有一天晚上，我們正在對一個感知模型跑驗證，求解器回傳了一個我們沒有人預料到的反例。一個非常特定的光照角度與物體距離組合，會讓煞車信心值掉到趨近於零。那不是我們任何人會想到要測試的情境。求解器之所以找到它，是因為它不是在猜——它是在證明。
那一刻讓某件事在我心裡結晶成形。測試問的是「這個能運作嗎？」驗證問的是「這個有可能失效嗎？」這是根本不同的兩個問題，而安全關鍵的 AI 需要的是第二個。
測試告訴你，你的 AI 會做什麼。驗證告訴你，它永遠不可能做什麼。對安全關鍵系統而言，只有第二個問題重要。
麻煩在於，當前的神經網路極其龐大——動輒數百萬個參數——而對大型網路做窮盡式驗證在計算上是不可行的。我們用神經元剪枝來處理這點：有系統地移除那些對準確度沒有貢獻、卻讓網路複雜到無法驗證的冗餘神經元。結果是一個更精簡的模型，既有效能，又能在數學上被證明。
關於我們驗證流程的完整技術拆解——包括 SMT 求解器方法論與剪枝做法——請見我們的詳細研究論文。
當問題不在 AI——而在這個世界
Waymo 已累積超過 5,600 萬英里的行駛里程，受傷率也顯著低於人類駕駛。以多數指標來看，他們是業界領先者。然而，Waymo 卻揭露了一種自動駕駛產業裡沒人準備好的失效模式：世界本身拒絕配合。
在 2025 年洛杉磯的一次停電中，數十輛 Waymo 無人計程車卡在漆黑的路口。這些車輛被設定成把失效的號誌燈視同四向停車標誌——這在法律上是正確的反應。但當數十輛自動駕駛車全都抵達同一個失效的路口，每一輛都禮貌地等著輪到自己，而且每一輛都同時請求遠端人工協助時，你就會得到我開始稱之為獨立性陷阱（Independence Trap）的東西：每一輛車在孤立來看都行為正確，卻集體造成沒有任何單一車輛能解開的僵局。
遠端協助中心不堪負荷。無人計程車擋住了其他無人計程車。那套在單一路口對單一車輛運作得完美無缺的系統，一旦擴大到全市緊急狀態下的整支車隊，就崩潰了。
還有一個沒人願意公開談的問題。2025 年初洛杉磯發生動亂期間，群眾攻擊 Waymo 車輛——割破輪胎、打破車窗、放火燒車。這些被設定為「被動安全」的車輛，在被人群包圍時就只是停了下來。而當包圍你的人正試圖連同車內乘客一起把車摧毀時，這正是最錯誤的反應。
這引發了嚴肅的討論，關於某些研究者所稱的「危險逃脫模式」（Danger Escape Mode）——讓自動駕駛車能夠犯下輕微交通違規（開上路緣、闖過紅燈），以保護車內乘客免於暴力。這需要從根本上重新思考 AI 的倫理階層，而且這個問題不是靠更好的感測器或更快的處理器就能解決的。
我在一場與潛在客戶的會議上提起這件事，有人說：「這種邊緣案例，不能直接用 GPT 來處理嗎？」我想我的表情比我的話說得更多。這是一個需要形式化倫理推理的決策架構問題，不是聊天機器人。
為什麼我們不能單靠測試就達到安全？
人們不斷問我這個問題。「如果 Waymo 有 5,600 萬英里的資料，那樣的測試還不夠嗎？」
不夠。原因是數學上的，不是哲學上的。
可能的駕駛情境空間實際上是無限的。你可以開 5,600 萬英里，卻永遠沒遇到那個會讓你的感知系統失效的特定組合：陽光眩光、濕滑柏油路，加上一位穿著不尋常的行人。邊緣案例並不是常見情境的罕見版本——它們是存在於你已見過的一切之間縫隙裡的情境。
這正是監理格局為何正從「給我們看你的測試結果」轉向「給我們看你的安全證明」。ISO 21448，也就是所謂的 SOTIF——預期功能安全（Safety of the Intended Functionality）——設計初衷正是為了處理那些在 AI 完全按照程式設計運作、卻遇上它無法應付的環境時所產生的危害。它談的不是硬體故障。它談的是 AI 的固有侷限撞上真實世界。
而在 2024 年底成為道路車輛 AI 主要標準的 ISO/PAS 8800，走得更遠：它要求管理整個 AI 生命週期，從資料取得一路到部署後的監控。「先出貨、再看看會發生什麼」的年代正在結束——至少對於想在歐盟、美國以及主要亞洲市場合法營運的公司來說是如此。
在 Veriprajna，我們的工作圍繞著一個目標展開：把客戶推進 SOTIF 所稱的「已知／安全」象限——有系統地辨識觸發條件，繪製出會造成感知錯誤的環境狀態，並運用高擬真模擬來注入那些在真實道路上測試會過於危險的邊緣案例。
包裝層與解決方案之間真正的差別
過去幾年，我看著 AI 產業分裂成兩個陣營，而這道裂痕正在擴大。
一邊是包裝層經濟——那些在大型語言模型之上搭建對話介面、以部署速度與使用者體驗為優化目標的公司。其中有些工作確實有用。但大部分與安全關鍵應用毫不相干。
另一邊，則是我所稱的深度 AI 工程：形式化驗證、感測器融合韌性，以及確定性安全架構的整合。它更慢。它更難。它在展示裡沒那麼亮眼。而它是唯一能在與物理世界正面接觸後存活下來的做法。
這場轉變的技術核心，是搭配佔用網路（Occupancy Networks）的鳥瞰視角（Bird's-Eye-View）感知。BEV 感知不再逐一處理各個攝影機畫面再試圖把它們縫合起來——那是一個在每道接縫上都會流失資料的過程——而是把多視角攝影機與 LiDAR 資料轉換成一個從上方俯視的統一 3D 網格。而佔用網路問的不是「這個物體是什麼？」，而是「這塊空間被佔用了嗎？」
這個區別的意義極其重大。如果 Uber ATG 系統當初追蹤的是被佔用的空間，而不是試圖分類物體，那麼系統認為 Herzberg 是行人、自行車還是未知物體，根本就無關緊要。那塊空間被佔用了。那塊空間就在車輛的行進路徑上。煞車。
同樣地，如果那輛 Cruise 車在底盤下方跑著佔用偵測，無論它把撞擊分類成什麼，它都會知道車底下有東西。被佔用的空間會凌駕於靠邊停的操作之上。
該問的不是「這個物體是什麼？」——而是「這塊空間被佔用了嗎？」光是這一個重新框定，本就可以避免過去十年最惡名昭彰的兩起自動駕駛災難。
我們使用 Transformer 架構——與 GPT 背後相同的基礎技術——但不是拿來對話。我們把它們當成空間推理引擎，將異質的感測器資料融合成我們稱之為共享畫布（Shared Canvas）的東西。時序自注意力讓系統即使在暫時遮蔽期間，也能記住某個物體先前的位置——一個走到停放卡車後方的行人，不會只因為攝影機有兩秒鐘看不見她，就從模型的認知中消失。
850 萬美元的教訓
Uber ATG 的和解金是 850 萬美元。Cruise 的刑事罰金是 50 萬美元——這個數字完全不足以涵蓋營運停擺、聲譽損害，或是人的苦難。NHTSA 對 Tesla 的調查涵蓋 290 萬輛車。而全球單一資料外洩事件的平均成本，如今是 444 萬美元。
當我把這些數字加起來，得到的結論對「快速行動、打破陳規」那群人來說並不好受：便宜的 AI 包裝層，是企業所能犯下最昂貴的錯誤。不是因為它不管用——在受控環境裡它運作得很好。而是因為，一旦它遇上不受控的世界——漆黑的道路、撞擊後的混亂、濕滑柏油上的陽光眩光、憤怒的群眾——確定性安全架構的缺席，就會把一個軟體侷限變成一場人命災難。
有時候人們會這樣反駁我們的做法：形式化驗證太慢、太貴、太學術，不符合真實世界的部署時程。我理解這種反對意見。驗證在計算上很昂貴。為了可驗證性而剪枝網路很花時間。建立帶有硬性保證閘門的安全架構，也遠比包一層 API 費工。
但我會請那些人去看看 Cruise 的拖行影片。去讀 NTSB 關於 Elaine Herzberg 之死的報告。去看看 Tesla FSD 調查中那 18 起闖紅燈申訴。然後再告訴我，對一套正是為了防止那些結果而設計的方法來說，「太慢」是不是一個站得住腳的批評。
把自動駕駛系統建立在機率式期望之上的年代正在結束。不是因為監管機關在逼迫——儘管他們確實在逼——而是因為真實世界的物理定律要求如此。一套 AI 系統若完美通過了一千個路口，卻在第一千零一個路口闖了紅燈，它並不是 99.9% 安全。它就是不安全，如此而已。安全不是一個百分比。它是一種性質——在所有經過驗證的條件下要嘛成立，要嘛根本不成立。
那正是我打造 Veriprajna 所圍繞的那場轉變。不是更好的包裝層。不是更快的展示。而是為那些「失敗不是一份錯誤報告——而是一份死亡名單」的系統，提供確定性的保證。