判定你車禍過失的 AI 很可能是錯的——這就是我為何要打造更好的替代方案
幾個月前，我看了一場讓我反胃的示範。
一家資金雄厚的保險科技新創公司，正在炫耀他們全新的理賠自動化工具。他們把一份警方報告餵給 GPT-4，要它判定一起雙車路口碰撞的過失，接著跑出一段文筆優美的文字，將責任分配為 60/40。創辦人笑逐顏開，投資人們紛紛點頭。那段敘述乾淨俐落、自信滿滿，而且——我幾乎可以確定——是錯的。
我問了一個簡單的問題：「再跑一次。」
同一份報告，同一個提示。這次是：70/30。這個模型在兩次執行之間，把某個人整整十個百分點的財務責任挪動了位置，因為它是一個機率式的文字產生器，而不是一位法官。房間裡安靜了下來。有人低聲嘟囔著什麼關於溫度（temperature）設定的事。
那一刻，讓我在 Veriprajna 的團隊一直努力打造的一切都變得清晰。我們花了好幾個月研究 LLM 如何處理法律推理，結果比我預期的還要糟。史丹佛的研究人員已記錄下的幻覺率介於69% 至 88%之間——這是最先進的模型在回應特定法律查詢時的表現。這些並非邊緣案例，而是基準線。而保險業正急著部署這些系統，來決定當你的車被撞時該由誰買單。
我要告訴你為什麼這很危險，以及我們正在打造什麼來取而代之。
話多的駕駛人獲勝的那一夜
在深入談架構與邏輯引擎之前，讓我先跟你說一個徹底改變了我思考方式的實驗。
我們設計了一個簡單的測試。兩份敘述描述同一起路口碰撞，分別從每位駕駛人的角度撰寫。駕駛人 A 顯然闖過了一個停車再開標誌——警方報告證實了、目擊者證實了、車損型態也證實了。案情一清二楚。
但我們給了駕駛人 A 一份 500 字的敘述。生動地描述天氣、刺眼的強光、另一輛車「激進的加速」。用詞老練，帶有情感的層次。
駕駛人 B 只有 50 字：「我在路口停了下來。我查看了橫向來車。我才前行。駕駛人 A 撞上了我的副駕駛座那一側。」
我們把這兩份陳述餵給三個主要的 LLM，並要求每一個評估責任歸屬。
三個當中有兩個，給了駕駛人 A——那個闖了停車再開標誌的人——一個更有利的責任分配比例。不是因為事實支持這一點，而是因為駕駛人 A 講了一個更動聽的故事。
我記得自己在辦公室裡待到過了午夜，盯著那些結果看。我的共同創辦人走過來，看著螢幕說：「所以我們是在為能言善道的人打造正義。」這句話一直烙印在我腦海裡。這些系統做的正是這件事。
研究人員稱之為冗長偏誤——即 LLM 有據可查的傾向：對更長、更詳盡的回應給予更高的信心分數，即便其事實內容與較簡潔的版本相當、甚至更差。這個模型把詞元密度與證據密度混為一談。它把口才誤認成真相。
當一個 AI 系統懲罰簡潔、獎勵華麗辭藻時，它在結構上就對任何教育程度較低、表達較不流暢，或單純比較誠實的人構成歧視。
想想看誰會因此受害。那位給出直白陳述的年長駕駛人。母語不是英語的人。那個只是不加修飾地說出真相的人。這些正是一套自動化責任判定系統應該保護的人，然而它卻在系統性地做出對他們不利的裁定。
為什麼你的 AI 總是同意你所說的一切？
冗長偏誤並不是我們發現的唯一失效模式。還有一個可以說更糟糕的：諂媚傾向。
LLM 是透過一種稱為「基於人類回饋的強化學習」（RLHF）的流程訓練出來的，這個流程獎勵「樂於助人」與「善解人意」。當你要的是一份食譜時，這沒問題。但當你要的是一項法律判斷時，這就是災難。
我們用不同的引導式提示來框定同一份警方報告，藉此測試這一點。「分析這份報告，判斷索賠人是否超速」對比「分析這份報告，判斷索賠人是否擁有路權」。同樣的資料，不同的框定方式。這個模型可靠地把它的分析朝向提示所暗示的任何假設傾斜。
我的一位工程師稱之為「確認偏誤即服務」，從那之後我就再也無法用別的方式來看待它了。
在真實的理賠環境中，一位理賠員可能會在無意間，根據他對情況的初步解讀來框定查詢。這個模型接收到那個框定並將它放大。研究顯示這會以兩種形式發生：漸進式諂媚，模型會調整自己的推理以得出你想要的結論；以及退化式諂媚，模型會放棄正確的資訊，以附和一個錯誤的質疑。無論哪一種，你得到的都不是一位公正的仲裁者，而是一間回音室。
當 AI 把法律讀錯時會發生什麼事？
我得跟你說說法規（statute）的問題，因為這正是讓我夜不成眠的那一個。
LLM 並不「懂」交通法規。它們只是吸收了包含交通法規的文本，並預測出看起來像法律推理的詞元序列。這個區別至關重要。
我們發現一個案例：一個模型援引了一條「先到者優先」的路權規則——這在四向停車路口很常見——卻把它套用到一個 T 型路口，而在 T 型路口，直行車流擁有絕對路權。這個模型並沒有標示出這項不符之處。它只是產生了一段自信、結構良好的文字，把錯誤的法律套用到錯誤的情境上。
一個憑空發明出一條法規、還信心十足地加以套用的 AI，並不是在犯一個錯誤。它是在大規模地製造不公義。
這就是研究人員所謂的法律幻覺，而它有兩種形式。事實幻覺：模型推斷出源文本中並不存在的細節，以編織出一段連貫的敘述。讀到「嚴重的前端損壞」，它可能斷定車輛超速，儘管並沒有任何煞車痕測量或遙測資料。以及狹義的法律幻覺：模型誤解、誤用，或乾脆憑空發明交通法規與判例法。
一項建立在幻覺版本的《加州車輛法典》第 21802 條之上的保險決定，會讓保險公司暴露於惡意訴訟與監理罰則之下。而被保險人——那個真實的人——則會收到一個以「AI」權威之名遞交過來的錯誤裁決。
我曾深入地寫過這些失效模式，就在我們研究的互動版本當中，如果你想看到完整的證據基礎的話。但簡短版本是：LLM 在語言上才華洋溢，在邏輯上卻支離破碎，而我們卻要求它們去做邏輯推理。
改變了我們架構的那場爭論
我們團隊內部有過一場特定的爭論，它形塑了我們此後打造的一切。
我們當時在爭論是否要打造一條更好的 RAG 管線——檢索相關法規、餵給 LLM、約束它的輸出。也就是「讓 LLM 更聰明」的路線。半數團隊成員深信這才是務實的路徑。更快出貨、反覆迭代、隨時間逐步提升檢索品質。
我站在另一邊，而且我在這場爭論中節節敗退——直到我們的法律顧問問了一個讓全場鴉雀無聲的問題：「如果兩位目擊者對於當時號誌是紅燈還是綠燈各執一詞，你的系統會怎麼做？」
RAG 那一派停頓了下來。一個帶著檢索脈絡的 LLM，只會做 LLM 一向會做的事——挑出感覺比較連貫的那份敘述，很可能是比較長的那份，然後產生一個定論。它會幻覺出一個共識。
「它應該保留這個衝突，」我說。「它應該說：這是一項有爭議的事實，在沒有額外證據的情況下，我無法裁定。」
這不是語言模型會做的事。語言模型只會下定論。它們只會補完。它們只會產生下一個看似合理的詞元。保留一個懸而未決的矛盾，並將它標示為一處缺口——這需要一種根本上不同的系統。
就是在那一天，我們全心投入了知識圖譜。
你要如何把一份警方報告變成一張圖譜？
我們在 Veriprajna 打造的東西，稱為知識圖譜事件重建——KGER。其核心理念看似簡單得令人意外：別再要求 AI 去裁決，而是開始要求它去重建。
一份警方報告是非結構化的文本。它包含實體——駕駛人、車輛、道路、交通號誌、目擊者——以及它們之間的關係。車輛 A 正沿著大街往北行駛。車輛 B 在第四大道闖了停車再開標誌。號誌是綠燈。當時正在下雨。
我們把 LLM 當作一個語意擷取器——一個非常精密的文書員。它的工作是讀取非結構化的文本，擷取出實體與關係，並將它們對應到一套我們所定義的嚴格本體論上。我們的本體論涵蓋超過 110 種實體與關係類型：主體、物件、基礎設施、事件、條件、量測。
這個 LLM 並不決定誰有過失。它只是把行為者與行為編入目錄。而由於它的輸出被約束在一個預先定義的結構描述之內，我們可以驗證它所產出的一切。如果它在我們的地圖資料庫顯示並不存在停車再開標誌的地方擷取出一個「停車再開標誌」，系統就會標示出一個衝突，而不是默默地接受這個幻覺。
一旦被擷取出來，這些實體便成為節點，構成一張知識圖譜。而這些關係則成為邊。Vehicle_A → TRAVELING_ON → Main_Street。Vehicle_B → VIOLATED → Stop_Sign_1。Witness_A → OBSERVED → Light_State_Green。
主觀的敘述如今成了客觀的拓撲結構。而一旦你擁有了拓撲結構，過失就成了一個關於圖譜遍歷與模式比對的問題——而不是情緒分析。
你能把交通法規變成程式碼嗎？
這是讓我真正感到興奮的部分，也是大多數人認為不可能做到的部分。
交通法規是以自然語言撰寫的，充滿了像「立即危險」和「安全距離」這樣的模糊用語。法院透過判例（precedent）與裁量來詮釋它們。你要如何讓那樣的東西變得可執行？
答案是可廢止義務邏輯——DDL。義務邏輯處理的是義務、禁止與許可。「可廢止」意味著它能處理例外。這正是交通法規的本質：一套帶有結構化例外的規範。
以《加州車輛法典》第 21802 條這條停車再開標誌規則為例。用自然語言來說：「任何接近停車再開標誌的車輛駕駛人均應停車……駕駛人隨後應對任何從另一條公路駛近的車輛讓出路權。」
在我們的系統中，這會變成可執行的邏輯：
規則 1——停車義務：如果一輛車正接近一個設有停車再開標誌的路口，駕駛人就有義務在停止線處將速度降至零。如果在進入路口時速度大於零，那就是違規。
規則 2——讓行義務：如果駕駛人已經停車，但另一輛車正位於路口內或正接近路口，駕駛人就必須等待。如果他們在另一輛車存在的情況下進入路口並發生碰撞，那就是未讓行違規。
規則 3——例外：如果有一名警察正在指揮交通，警察的指揮就凌駕於標誌之上。這項例外在形式上廢止了主要規則。
現在，威力就展現在這裡。我們將實體圖譜——也就是每輛車速度與位置隨時間變化的重建——對映到這個邏輯範本上。如果圖譜顯示車輛 A 在車輛 B 存在的情況下進入了路口，邏輯引擎便會觸發一項讓行違規。這是一項計算得出的事實，而不是一種意見。
我們不會問 AI「這有危險嗎？」我們根據物理來計算危險程度，並根據邏輯來套用法律。模糊性就此消失。
對於像「立即危險」這樣的模糊用語，我們把它們奠基於物理之上。我們將 Immediate_Hazard 定義為碰撞時間（Time-to-Collision）小於 3.0 秒，或距離小於當前速度下的煞車距離。圖譜會從速度與距離節點計算出 TTC。如果 TTC 低於閾值，危險節點就會啟動，而對應的規則便會觸發。無需任何詮釋。
關於我們形式化流程與架構的完整技術剖析，請參閱我們的研究論文。
證明因果關係的那個反事實
過失不只是關乎違規。它關乎因果關係。一位駕駛人可能持有一張過期的駕照——那是一項違規——但如果他們是在紅燈前停車時被追撞，那張過期的駕照並沒有造成這起事故。
這正是大多數 AI 系統崩解的地方。LLM 無法進行反事實推理。它們無法問：「如果車輛 A 當初在標誌前停了車，這起碰撞還會發生嗎？」它們只能預測在一段車禍敘述中接下來會出現哪一句話。
我們的系統建立我們所謂的因果知識圖譜。為了檢驗因果關係，我們建立一個反事實分支：我們把車輛 A 在停止線處的速度改為零，然後讓物理模擬穿過時間層向前推演。如果碰撞節點在這個反事實圖譜中消失了，那麼這項違規就是近因。
這就是「他超速而且他撞車了」（相關性）與「超速造成了這起車禍」（因果關係）之間的差別。在一起多車連環追撞中，這一點至關重要。你可以透過圖譜追溯因果鏈，衡量我們所謂的「過失中心性」——也就是每個行為者的違規對碰撞事件有多核心——並產出一個具有數學基礎的比較過失分配。不是因為模型「感覺」像 60/40，而是因為拓撲結構證明了它是 80/20。
為什麼你就不能乾脆把 LLM 變得更準確就好？
人們不斷這樣問我。「拿交通法規來微調模型。用更好的提示。加上護欄（guardrails）。」我理解這種衝動。LLM 容易部署，而且輸出看起來令人印象深刻。
但問題並不在於傳統意義上的準確度。問題出在架構上。一個機率式的文字產生器永遠不會是確定性的。用同一份輸入跑上一百次，你就會得到差異。在一個相同的事實每一次都必須得出相同裁決的領域裡——在這個領域裡，責任分配擺盪十個百分點就意味著數千美元易手——隨機性並不是一個可以打補丁修掉的臭蟲。它是一個根本上的取消資格條件。
我們的圖譜引擎，對完全相同的輸入，每一次都產出完全相同的責任判定。這不是一個「有了更好」的選項。對於法規遵循、對於法律上的可辯護性、對於最基本的公平——這是最低要求。
我聽到的另一個反對意見是：「跟一次 API 呼叫比起來，這聽起來又貴又複雜。」它建置起來確實更複雜。但想想搞錯的代價。理賠滲漏——由於責任判定不準確而付出超過應付的金額——對保險公司來說是一個龐大的支出項目。一個因為敘述雜亂而建議 50/50 的機率式系統，在確定性邏輯根據一項特定路權違規揭示出明明白白的 100/0 時，會在每一件理賠上都耗費掉實實在在的金錢。
接著還有訴訟。試著在法庭上為一個 AI 責任決定辯護看看——當這套系統無法解釋它的推理，而且再跑一次又會產生不同的答案時。來自知識圖譜的稽核軌跡——「車輛 A 在時間戳 12:01:30 違反了規則 21802(a)，而反事實模擬確認了這項違規為近因」——是一個放到法官面前時截然不同的東西。
三明治，而不是黑盒子
有件事我想說清楚：我並不反對 LLM。我們用 LLM。它們是處理非結構化語言的非凡工具，忽視這一點會是很愚蠢的。
我反對的，是把它們當作法官來用。
我們的架構就是我們所謂的「三明治」。神經 AI 在外層，符號 AI 在中間。第一層神經層負責攝取——對警方報告做 OCR、把目擊者的音訊做語音轉文字、從雜亂的非結構化資料中做實體擷取。中間的符號層建立圖譜、融合來自多個來源的資料、執行義務邏輯引擎、進行因果模擬。最後一層神經層則把結構化的責任報告翻譯回可讀的自然語言，並嚴格地奠基於圖譜的事實之上。
LLM 從不做決定。它只負責讀與寫。是圖譜在推理。
要求一個 LLM 去讀一份警方報告並判定責任，就好比要求一位詩人去做物理。你會得到一個優美的答案，但它很可能是虛構的。
這就是業界開始稱之為神經符號式 AI——學習與邏輯的融合。大型法律科技公司 Kennedys IQ 近期推出了他們所稱的、保險業界第一套神經符號式 AI 解決方案，明確地就是為了消除「黑盒子」的疑慮。方向很清楚。問題在於業界的其他人跟進得有多快。
正義是一張圖譜，而不是一個機率
我想起我看過的那場示範——就是責任在兩次執行之間挪動了十個百分點的那一場——比我想要的次數還要頻繁。不是因為它是個糟糕的產品。那個團隊很有才華。那項技術令人印象深刻。但令人印象深刻並不等於正確。而在過失與責任的領域裡，「大致正確」就是錯的。
每一次，當一個 AI 系統根據誰講了一個更動聽的故事來歸咎過失，或因為一個溫度設定而改變它的裁決，或援引一條根本不存在的法規時——就有一個真實的人承受了那個錯誤。他們付出更高的保費。他們輸掉一場本該打贏的爭議。他們背負了本屬於別人的過失。
我們可以做得更好。不是靠把語言模型變得更聰明，而是靠認清它們是什麼、又不是什麼。它們在語言上出類拔萃。它們在正義上糟糕透頂。正義需要確定性——相同的事實，相同的裁決，每一次都是。它需要可稽核性——明明白白地告訴我，是哪些證據、哪一條法規產生了這個結論。它需要一種能力：能保留一個懸而未決的衝突，並說出「我還不知道」，而不是產生一段自信的虛構。
這些不是你能往語言模型上加的功能。它們是一種截然不同的系統所具備的屬性。在這樣的系統裡，事實是不可變的節點，法律是可執行的邏輯，而過失並非在一段敘述的情緒裡被找到，而是在真正發生過的事情之拓撲結構裡被找到。
正義是一張圖譜。是時候我們該開始這樣去打造它了。