自駕 AI 為何失靈——以及這對您的意義

問題所在

Uber 的自駕 AI 在碰撞前 5.6 秒就偵測到了行人。這本應綽綽有餘。當時車速為每小時 43 英里，距離約 378 英尺。但系統並沒有煞車，而是不斷改變主意。它先將這個人分類為「未知物體」，接著是「車輛」，然後是「自行車」——在那關鍵的幾秒內重新分類了六次。每一次重新分類都會重設她的預測路徑。AI 無法判斷她是什麼，也就無法判斷她要去哪裡。

等到系統決定需要煞車時，只剩 1.3 秒。物理定律讓碰撞無可避免。Elaine Herzberg 於 2018 年 3 月死於亞利桑那州坦佩的一條街道上。

更糟糕的是：Uber 刻意關閉了 Volvo 原廠安裝的碰撞避免系統。團隊想讓他們的實驗性軟體獲得「更平順的乘坐體驗」。他們用未經驗證的程式碼取代了一層經過驗證的安全防護。如果您的組織在任何實體或安全關鍵環境中部署 AI，這個案例應該讓您夜不能寐。它展示了當您把生死攸關的決策交給一套基於機率的系統、又拆除了安全網時，會發生什麼事。

這對您的企業為何重要

這不只是自動駕駛車的問題。每當組織在缺乏經過驗證的安全架構下，將 AI 推向高風險決策時，同樣的模式就會重演。財務與法規後果極其慘烈：

• Uber 支付了 850 萬美元和解 2018 年的死亡事故案。這個數字僅涵蓋法律責任——不包括商譽損失、不包括合作夥伴流失、也不包括營運停擺的成本。
• GM Cruise 支付了 50 萬美元的刑事罰金，因其 robotaxi 在舊金山拖行一名行人 20 英尺。美國司法部認定該公司向聯邦調查人員提交了虛假報告。加州則完全撤銷了其營運許可。
• Tesla 面臨涵蓋 290 萬輛車的 NHTSA 調查（截至 2025 年）。超過 40 起獨立的撞車調查針對其 Full Self-Driving 系統。其中 18 起投訴描述車輛闖紅燈。
• **全球單次資料外洩的平均成本現已達到 444 萬美元。**而一起自動駕駛致死事故會將法律與營運賠償責任推高到數千萬美元。

您的董事會問的不再是您是否使用 AI。他們問的是您的 AI 能否被稽核、被解釋、並在法庭上站得住腳。監理機關正從自願性自我評估轉向強制遵循 ISO/PAS 8800 和歐盟 AI 法案等標準。如果您的 AI 系統無法產出清晰的決策軌跡，您就是暴露在風險之中——法律上、財務上、營運上皆是。您靠快速部署未經驗證的 AI 層省下的每一塊錢，都會在下游以風險暴露的形式成倍放大。

底層實際發生的事

這些事故的核心故障，工程師稱之為「分類震盪」——您可以這樣理解：想像一名警衛看著一個人走向您的辦公大樓，卻無法決定對方是員工、外送員，還是陌生人。每一秒，警衛都從頭開始重新猜測。他從不累積之前看到的資訊，也從不追蹤這個人的路徑。等他決定採取行動時，一切都太遲了。

Uber 的 AI 正是如此。它幾乎是獨立地處理每一個瞬間。它沒有「物體恆存性」——沒有一段持續的記憶告訴它：「無論這是什麼，它已經朝我們移動了五秒。」

2023 年的 Cruise 撞車事故揭示了同一缺口的不同版本。在 robotaxi 撞上一名被撞入其行進路徑的行人後，系統無法辨識有人被壓在車底下。它把這次碰撞分類為「側面撞擊」，而非正面碾壓。這觸發了一套預程設的靠邊停車操作。車輛以約每小時 7 英里的速度拖行了受害者 20 英尺才停下——不是因為它偵測到人，而是因為它記錄到「輪胎打滑過度」，並將其視為機械故障。

Tesla 的純視覺系統又疊加了另一層問題。沒有 LiDAR 或雷達，它完全依賴攝影機。在濕瀝青路面反光、起霧等條件下，光學訊號會衰減到低於安全導航所需的水準。2023 年一起致命撞車事故正是發生在這種條件下。系統根本看不見。

這些都不是隨機的 bug。它們是架構上的弱點——用機率而非證明來打造安全關鍵系統所必然導致的後果。

什麼有效（什麼無效）

三種一直失效的常見做法：

• **「多測試就能解決。」**傳統黑箱測試只檢查系統能否通過 N 個情境。但你不可能在各種天候下的每條道路上測試每一種邊界情況。測試只能告訴你發生了什麼，無法證明未來會發生什麼。
• **「純視覺就夠了。」**Tesla 的做法完全捨棄 LiDAR 和雷達。NHTSA 收到的 18 起以上關於闖紅燈與逆向行駛的投訴，正顯示出單靠攝影機的侷限——尤其在低能見度條件下。
• **「人類後備會兜住錯誤。」**Uber 的安全操作員在系統奪走 Elaine Herzberg 性命時正在監控系統。研究稱此為「自動化自滿」——人們信任機器，進而停止專注。你的人類後備防線會隨時間退化。

真正有效的，是一套建立在驗證而非希望之上的三步驟架構：

**1. 統一 3D 感知（輸入）：*系統不再個別處理每一路攝影機畫面，而是把所有感測器資料——攝影機、LiDAR、雷達——轉換成一張由上而下的單一 3D 地圖，稱為鳥瞰圖（BEV）。佔用網路（Occupancy Networks）——預測空間中每個小立方體是否被佔用的模型——追蹤的是體積*，而不是標籤。即使 AI 無法決定某個物體是行人還是自行車，它也知道該空間已被佔用、且有東西在移動。這直接防止了奪走 Elaine Herzberg 性命的分類翻轉。

**2. 形式化驗證（處理）：**名為 SMT 求解器的工具——能測試神經網路每一種可能輸入的數學引擎——可以證明是否存在任何會導致不安全輸出的輸入。例如：「在起霧條件下的所有輸入，煞車指令都不得低於最低門檻。」如果求解器找到違反情形，工程師會在部署前修復它。這就是所謂的 形式化驗證與證明自動化 ——這正是「期望你的 AI 安全」與「證明你的 AI 安全」之間的差別。

**3. 確定性安全過濾器（輸出）：**執行時監控器會依據一份經過驗證的安全基準，檢查 AI 發出的每一道指令。如果 AI 試圖做出不合理的行為——朝被佔用的空間加速、無視紅燈——過濾器會立即覆寫它。把它想成一個有數學保證的否決權。

對您的合規與法務團隊而言，這套架構能產出一項關鍵成果：防竄改的稽核軌跡。AI 做出的每一個決策都以確定性格式記錄下來。當監理機關問起您的系統為何那樣做時，您可以拿出數學給他們看——而不是一個黑箱。隨著 汽車安全標準 在 ISO/PAS 8800 與 SOTIF（ISO 21448）之下日趨嚴格，這一點尤其重要——這兩項標準正是針對 AI 系統按設計正常運作、卻遭遇意外環境時所產生的危害。

您的組織也應該思考 感測器融合與訊號智慧 如何融入您更宏觀的 AI 策略。多感測器架構能減少單點故障——這正是 Tesla 純視覺做法暴露出的弱點。

這些建議背後的完整技術分析收錄於 完整技術白皮書，您也可以 探索互動式版本 ，透過引導式的逐步解說深入了解這些失敗案例與解決方案。