我問 GPT-4 這座陽台安不安全,它說「安全」。但物理定律說它會倒塌。

我的桌上有一張渲染圖——其實是一份列印稿,因為我想在我們之間沒有螢幕相隔的情況下端詳它——畫的是一座懸臂陽台。線條俐落、欄杆呈參數化造型,正是那種你會在建築雜誌談論「都市生活的未來」的跨頁專題裡看到的東西。我把這張圖餵給 GPT-4V,問了一個簡單的問題:這個結構安全嗎?

它的回應流暢、自信而且詳盡。它指出了看得見的欄杆高度,評論了可見的支撐狀況,並得出結論:這個設計「在結構上看似穩固,且具有足夠的支撐」。

接著我把同一張圖交給我的結構工程師。她大概看了十五秒。「沒有背跨(back-span)配筋,」她說。「固定端的彎矩超過了斷面的承載能力。這會塌。」

AI 看到的是像素,她看到的是物理。而這道鴻溝——介於看起來安全與確實安全之間——正是我創辦 Veriprajna 的原因。

「夠好」的誘惑

我得坦白一件事。當多模態 LLM 剛開始處理工程圖時,我很興奮。是真的興奮。我記得某個深夜坐在我們的小辦公室裡,透過早期的 GPT-4V 權限一張接一張地跑藍圖,看著它用出乎意料的詞彙描述結構元素。「鋼製工字樑,」它會這麼說。「鋼筋混凝土柱。」它聽起來像是真的理解了。

那份興奮大約維持了三週。

轉捩點是我們針對接點細部做的一項測試——也就是樑與柱交會、實際發生荷載傳遞的節點。我們給模型一系列圖,其中有些接點細部設計得當,有些則帶有細微卻致命的缺陷:缺少加勁板、焊道尺寸不足、荷載路徑不連續。正是這些細節,區分了一棟站得住的建築與一棟站不住的建築。

模型辨識這些缺陷的準確率基本上與亂猜無異。它能說出這些構件的名稱。它能描述它所看到的東西。但它無法推理力究竟會不會真的從 A 點流向 B 點。這就像是要求一個背下了人體每一塊骨頭名稱的人去動手術。

一個能叫出每個結構元素名稱、卻無法追蹤荷載路徑的 AI,並不是工程工具。它是一個帶著自信嗓音的風險。

為什麼 LLM 把藍圖看成一鍋像素湯?

以下是底層實際發生的事,而且即使你不是技術人員,這也很重要。

當 GPT-4V 或 Gemini「看」一張結構圖時,它使用的是所謂的 Vision Transformer。模型把影像切成一格格小區塊——通常每塊 16×16 像素——並像處理句子中的字詞那樣,把它們當成一個序列來處理。它學習區塊之間的統計關聯。一個帶有垂直線的區塊(柱)往往會出現在帶有水平線的區塊(樑)附近。在數百萬張訓練影像中,這些相關性被固化了下來。

但關鍵的區別在此:相關性不等於因果性。模型學到的是柱與樑往往一起出現,卻沒有學到樑是被支撐在柱子上。它不知道如果移除那根柱子,樑就會塌落。它沒有內部的物理引擎,它只有模式統計。

來自 NeurIPS 的研究揭示了一件應該讓任何考慮把這些模型用於安全關鍵工作的人警覺的事:當你把一張影像的像素區塊打亂——真的像洗一副牌那樣——Vision Transformer 往往仍能維持很高的分類準確率。它們讀的不是空間結構,而是紋理與局部模式。

在工程中,空間結構就是一切。一個「大致到位」但缺少關鍵荷載路徑的接點細部,並不是 90% 安全。它是 100% 不安全。

當你真的用結構推理來對 LLM 做基準測試時,會發生什麼?

我一直希望這些基準測試能證明我錯了。它們沒有。

DSR-Bench 研究在 4,140 個題例上評估了十個最先進的 LLM,這些題例專為測試結構推理而設計——也就是理解並操作實體之間複雜關係的能力。這正是分析建築框架所需要的:穿過多個節點追蹤關係、滿足嚴格的約束、對空間配置進行推理。

表現最好的前沿模型得分僅為0.498(滿分 1.0),而且是在高難度題例上。基本上就是擲硬幣。

這些失效模式既具體又致命。多跳推理——穿過數個中間節點來追蹤一段關係,而這正是荷載路徑分析所要求的——是一個一貫的弱點。而且相較於形式化的程式碼,當問題以自然語言描述時,效能會下降,這暗示模型是在對訓練資料中的語法做模式比對,而非真正在推理。

我記得那場我們檢視這些數字的團隊會議。我的一位工程師原本對於把 LLM 當作初步篩選工具抱持謹慎樂觀,他沉默了很久。然後他說:「所以當工程師用白話英文描述一個非標準的結構問題時,模型基本上有一半的時間都在猜。」就在那一刻,整個會議室的氣氛變了。不是漸漸地——而是一下子。

另外,DesignQA 基準測試發現,多模態 LLM 能回答「最大容許撓度是多少?」(從文件中擷取一個數字),卻答不出「這個特定的樑設計是否符合最大容許撓度?」(把那個數字套用到一張圖上)。擷取相對於應用。知道規則相對於執行規則。

我在我們研究的互動版本中更深入地探討了這種失效模式,包括我們發現的那些離奇的選材偏誤——LLM 為那些明明需要標準結構鋼的情境推薦鈦與碳纖維,原因僅僅是這些奇特材料佔據了它們訓練資料中「高科技」的那些角落。

我們不再試圖修好 LLM 的那一刻

有一次投資人會議——我不會說是哪家公司——有人看了我們早期的研究後說:「你們何不乾脆針對結構工程去微調 GPT?看起來是更快的路。」

我理解這套邏輯。拿主流範式,把它專門化,然後推出去。但我盯著這個問題已經夠久,久到知道:微調一個機率性模型去做確定性的工作,就像微調一位詩人去做算術。你能讓他們產出數字,卻無法讓他們保證這些數字是對的。

物理定律不是機率性的。如果作用在一個結構元素上的合力不等於零,這個元素就會產生加速度。這裡沒有「通常」可言。沒有信賴區間。歐拉—伯努利樑方程式(Euler-Bernoulli beam equation)才不在乎你的訓練資料分佈。

於是我們做了一個當時看似反直覺、如今卻顯而易見的決定:我們徹底放棄了圖像。

放棄的不是 AI——而是圖像。我們不再試圖讓神經網路把藍圖當作圖片來理解,而是開始把建築轉換成它們真正的樣子:數學圖(graph)。

一棟建築不是一張影像。它是一張力的網路。你一旦把它當成像素,就已經丟失了物理。

你如何把一棟建築變成一張圖(graph)?

在數學意義上,一張圖就只是節點與邊。節點是事物;邊是事物之間的連結。

在我們的系統中,每一個結構構件——樑、柱、樓板、牆——都成為一個節點。但不同於只承載顏色資料的像素,我們的每個節點都承載一個豐富的特徵向量:楊氏模數(材料有多剛硬)、慣性矩(斷面如何抵抗彎曲)、降伏強度(材料何時破壞)。這些正是你要計算某物站得住還是站不住所需要的真實物理參數。

構件之間的每一個實體連接都成為一條邊。樑與柱之間的一條邊捕捉了連接勁度——它是剛性的彎矩連接,還是簡單的鉸接?——以及相對方位。這些不是學習得來的近似值。它們是直接從 BIM(建築資訊模型,Building Information Modeling)資料中擷取的,而連接關係在那裡是被明確定義的。

這種表示法具有一個至關重要的特性:排列不變性。如果你在資料庫裡重新排列樑的清單順序,一棟建築的物理並不會改變。圖神經網路尊重這一點。而以 Transformer 為基礎的 LLM 是處理序列的,對輸入順序很敏感。這聽起來像是個技術細節,但它正是一個與問題契合的架構,和一個與問題對抗的架構之間的差別。

我們打造了一條流程,接收 IFC 檔案——BIM 資料的標準格式——並把它們轉換成計算圖。LLM 會試圖「讀」藍圖影像並猜測連接關係,而我們的解析器則以 100% 的保真度捕捉連接關係,因為 IFC 綱要明確地定義了它。不猜測。沒有「這些元素看起來是連在一起的」。它們要嘛相連,要嘛不相連。

我們教神經網路物理的那一段

接下來才是有趣的地方,也是我認為我們正在做一件真正不一樣的事的地方。

標準的機器學習是這樣運作的:給模型大量範例,讓它學習模式,期望它能泛化。結構工程的問題在於,「期望它能泛化」並不是一個可接受的安全標準。

物理資訊神經網路(Physics-Informed Neural Networks,PINNs)採取了一種根本不同的做法。我們不是要求 AI 去發現資料中的物理,而是把主導方程式直接嵌入網路的損失函數之中。損失函數就是網路在訓練過程中試圖最小化的目標——它是驅動學習的那個「錯誤」的定義。

在標準的神經網路中,「錯誤」意味著「你的預測與訓練資料不符」。在 PINN 中,我們加上第二種「錯誤」的定義:「你的預測違反了物理定律。」

以歐拉—伯努利樑方程式為例,它主宰了樑在受載下如何撓曲。當我們的網路為某個結構元素預測出一個撓曲形狀時,我們用自動微分來計算物理殘差——本質上是在問:「這個預測出的撓曲是否滿足靜力平衡的微分方程式?」如果不滿足,物理損失項就會飆升,網路便被迫自我修正。

這個網路實際上無法學到一個違反牛頓定律的解。不是「大概不會」。是「不可能」。

我記得我們第一次在一個非平凡結構上讓這件事跑通的時候。我們為收斂問題苦戰了好幾週——物理損失和資料損失在互相拉扯,網路一直來回震盪。我的首席機器學習工程師一直睡在辦公室(我叫他別這樣,他不理我)。然後某天早上,他把我叫到他的螢幕前。預測出的撓曲曲線已經與 FEM(有限元素法,Finite Element Method)解嚴絲合縫地對齊了。不是近似而已。R² 值是 0.9999。

我們打造出了兼具 AI 速度與傳統工程求解器精度的東西。近期關於圖結構物理資訊 DeepONets(Graph-Structured Physics-Informed DeepONets)的研究——也就是我們所依托的架構類別——已證明可達到7–8 倍的加速,相較於傳統的 FEM,同時還維持了那樣的精度水準。想取得我們架構與基準測試的完整技術剖析,包括我們訊息傳遞框架背後的數學,我已發表了一篇詳細的研究論文。

你真的能看出一棟建築會在哪裡失效嗎?

這是工程師最在意的問題,也是基於圖的分析變得令人切身感受到其威力的地方。

在我們的系統中,我們不只是檢查一個結構整體是通過還是失敗。我們會追蹤主荷載路徑(Principal Load Path)——也就是力從施加點(比如站在陽台上的人)向下穿過結構、一路傳到地基所走的路線。

我們透過一個稱為 U* 指數(U* Index)的度量來做這件事,它描繪出各點之間的內部應變能傳遞與相對剛度。我們對 U* 梯度使用龍格—庫塔積分(Runge-Kutta integration),在結構中畫出力的「流線」——就像一張天氣圖,只是圖上的是荷載而非風。

當一個結構是安全的,流線會從受載的元素連續地流向地基。當它不安全時——當存在一處缺失的連接、一根尺寸不足的構件、一條不連續的荷載路徑——流線就會突然中斷,或劇烈地發散。

回到我桌上那張陽台渲染圖。當我們把它跑過我們的圖流程時,來自懸臂樓板的荷載路徑流線就這樣……停住了。沒有背跨連接把彎矩傳入支撐結構。U* 等值線圖顯示,在固定端有一處龐大的應變能集中,卻無處可去。這個視覺化以任何像素分析都做不到的方式,把失效模式清清楚楚地呈現了出來。

一條中斷的荷載路徑流線,是這個結構為自己的死亡所寫下的一句話。你只需要知道如何讀懂這張圖。

我們也能模擬漸進式倒塌——當你移除一根柱子並問「結構的其餘部分撐得住嗎?」時會發生什麼——做法是有系統地從圖中刪除節點,並重新評估連接性。我們使用像介數中心性(Betweenness Centrality)這樣的量度,找出那些一旦失效就會把圖分裂成互不相連碎片的關鍵構件群。這種「圖攻擊」模擬只需幾秒鐘就能跑完。等效的非線性 FEM 倒塌分析卻要花上數小時。我們能在一位工程師喝完他的咖啡之前,篩查數千種失效情境。

為什麼不乾脆兩者並用?驗證器層

人們總在這一點上反駁我。「Ashutosh,生成式 AI 對於早期設計階段簡直不可思議,你不能就這樣忽視它。」他們說得對——我並不想忽視它。建築師使用像 Midjourney 這樣的工具或參數化生成器來探索創意構想,確實令人振奮。問題不在於生成,而在於驗證。

我們打造的是一個驗證器層。生成式模型提出一個設計。Veriprajna 把它轉換成一張圖,檢查拓撲連接性,追蹤荷載路徑,執行物理資訊預測。如果物理檢查未通過,我們就回傳一個硬性約束——不是建議,是約束:「把樑深增加 200mm」或「加上背跨連接」。生成式模型便在這些界限之內重新生成。

被物理約束的創造力。被數學驗證的想像力。這就是這套工作流程。

而且由於我們的模型是受物理方程式約束,而非用整個網際網路來訓練,它們的資料效率高得驚人。一個在鋼框架上訓練出來的 PINN 能夠泛化到全新的鋼框架,因為虎克定律(Hooke's Law)不會在不同專案之間改變。這也意味著這些模型足夠小巧,可以部署在本地端。沒有任何客戶需要把敏感基礎設施的藍圖傳送到公開的 API。

玻璃箱 vs. 黑箱

關於以 LLM 為基礎的工程工具,還有一件事讓我夜不能寐,而它不是準確度——是可解釋性。

當圖神經網路對某個結構元素做出預測時,我們可以透過注意力權重,精確地視覺化出是哪些相鄰節點影響了那個預測。「這根柱子被標記,是因為從樑 A 和樑 B 傳遞過來的合併荷載超過了它的承載能力。」這是一條可追溯、可稽核的推理鏈。工程師可以看著它說「對,這是正確的」,或「不,你把受荷面積(tributary area)算錯了」。他們可以反駁這個模型。

試著去反駁 GPT-4 對某項結構評估所做的推理。問它為什麼它斷定那座陽台是安全的。你會得到一段流暢的文字,聽起來合情合理,卻對應不到任何你能驗證的東西。這套推理分散在數十億個參數之中,以任何人類都無法檢視的方式運作。

在軟體中,黑箱是一種設計選擇。在結構工程中,黑箱是一種責任的推卸。

地基問題

我進出過的會議室和投資人會議夠多,足以讓我知道:當前營建業的 AI 熱潮幾乎完全是關於生成式模型。那些募資簡報美輪美奐。那些示範令人印象深刻。而背後的假設——認為你可以靠像素預測一路走到結構安全——是錯的。

營建業在一個關鍵之處有別於所有其他產業:我們的臭蟲會害死人。一個軟體臭蟲是一次修補。一個結構臭蟲是一場倒塌調查、一場訴訟、一座紀念碑。「大概沒錯」的容錯空間是零。

我們把 Veriprajna 建立在圖論、幾何深度學習與微分方程之上,因為那些是唯一能對安全問題給出確定性答案的基礎。不是「它看起來很安全」。不是「根據我們訓練資料中的類似結構,這大概是足夠的」。而是:物理殘差為零,荷載路徑連續,應力在承載能力之內。

GPT-4 告訴我那座陽台是安全的,因為它看過數千張陽台的照片,而在那些照片裡,樓板的像素通常都待在地面的像素上方。物理則告訴我它會倒塌,因為固定端的彎矩超過了斷面的彎矩承載能力。

我知道自己要把根基建立在哪一個之上。