邊緣 AI 與即時部署

邊緣 AI 的成敗取決於部署工程，而非模型或晶片：為工作負載選擇合適的硬體、在不破壞準確度的前提下優化模型以適配該硬體、建構具備確定性延遲保證的推論管線，並在系統於基地台、車輛、工廠或國防設施中運行後持續更新與監控。這項部署工程正是我們合作專案所圍繞建構的核心學問。

硬體選型是一項工程決策，而非供應商關係

2026 年的邊緣晶片格局是有史以來最為分散的。每個平台在算子涵蓋範圍、記憶體架構、編譯器工具鏈，以及量產時的成本曲線上都各不相同。

此處的錯誤選擇既昂貴又難以脫身。為 Jetson 上 TensorRT 優化的模型，無法在不進行可能耗時數週的重新優化工作下，轉移到 Hailo 的資料流架構或 Qualcomm 的 QNN SDK。在做出承諾之前，我們會針對候選平台剖析工作負載（參考 我們對工業邊緣運算延遲的研究）：

• 針對模型架構進行算子涵蓋範圍分析。
• 記憶體頻寬建模——FPGA 上真正的瓶頸是 DDR 頻寬，而非運算能力。
• 持續負載下的熱包絡模擬。
• 在目標部署規模下的總持有成本。

一項合作專案的範疇界定，是產出附有量化理據的硬體建議，而非供應商偏好。

不破壞模型所學內容的模型優化

讓模型適配邊緣硬體是一條管線，而非單一步驟，且順序至關重要：

1. 架構搜尋 在硬體約束內進行：FLOP 預算、支援的算子集、記憶體上限。
2. 量化感知訓練（QAT） 以逐通道校準鎖定 INT8 或 INT4 精度。訓練後量化（PTQ）雖較快但不可靠——NVIDIA 自家的基準測試顯示，在批次正規化摺疊後對 EfficientNet 架構使用 PTQ 會造成災難性的準確度損失，而 QAT 則能達到或超越 FP32 基線準確度。
3. 結構化剪枝 由敏感度分析引導，移除冗餘容量，同時不觸發非結構化剪枝所造成的準確度陡降。
4. 知識蒸餾 從較大的教師模型中，恢復在壓縮步驟中損失的準確度。

選擇編譯器工具鏈

編譯器工具鏈的選擇決定了可行的範圍，因此我們針對每個目標進行選擇，而非直接沿用上一次所用的工具鏈：

• TensorRT 在 NVIDIA 硬體上始終能提供最快的推論速度，但為封閉原始碼且僅限 NVIDIA。
• Apache TVM 跨平台且開放原始碼，但需要大量調校；未經調校時其表現不如 ONNX Runtime，而經調校後在 transformer 架構上可媲美 TensorRT（MDPI Electronics 基準測試，2025 年）。
• Xilinx Vitis AI 可處理 FPGA 目標的 INT8 量化，但算子涵蓋範圍不完整，迫使必須手動重新實作某些層。

確定性延遲不等於平均延遲

大多數邊緣 AI 基準測試報告的是平均推論時間——這個數字對安全關鍵型部署而言幾乎毫無用處。真正重要的是 最壞情況執行時間（WCET）：即在熱壓力、記憶體壓力、電源波動與作業系統排程競用下，推論步驟所可能耗費的最長時間。一套平均為 2 毫秒、但偶爾在垃圾回收暫停期間飆升至 15 毫秒的系統，並不是即時系統（此一約束正是 我們的邊緣 AI 製造檢測示範 所圍繞建構的核心）。它是一套有時不夠快的快速系統。

我們的做法是建構針對尾端而非平均值進行工程設計的推論管線：

• 預先配置記憶體緩衝區，以消除配置抖動。
• 固定 CPU 親和性，以防止排程器遷移。
• 硬體加速的預處理，讓資料路徑不經過 CPU。
• 輸出後處理搭配信心度校準，針對量化模型偏移後的輸出分佈進行調校。

在 FPGA 目標上，我們設計出完全沒有軟體排程層的確定性次毫秒推論；基於 FPGA 的感測器融合已在學術基準測試中展現出 5.51 毫秒延遲、99.3% 準確度 （Springer，2025 年）。對於基於 GPU 的目標，我們使用 CUDA graphs 與持續性核心啟動來最小化驅動程式開銷，並透過 WCET 分析來刻畫熱節流下的尾端延遲。單是熱節流，就可能使持續工作負載的推論速度降低 30 至 50% （SINTRONES 軍用基準測試），因此僅為平均情況設計的系統，恰恰會在可靠性最為關鍵的條件下失效。

現場運行模型的 OTA 更新

部署模型是開始，而非結束。隨著周遭世界的變化，模型會漂移——感測器劣化、環境變遷、改變資料分佈的供應鏈變動。在邊緣端偵測漂移比在雲端更困難，因為頻寬有限，且無法在不耗盡連線預算的情況下將原始遙測資料串流回中央系統。我們使用統計方法實作邊緣端漂移偵測—— KL 散度 與 族群穩定度指數 ——於本地端計算，只將摘要指標傳送至上游。當漂移超過閾值時，系統可觸發自動化重新訓練工作流程，或標記以供人工審查。

更新機制本身帶有風險，而正確的機制取決於法規背景：

• 車用： UNECE R155 與 R156 自以下時間起已成為所有新車型式核准的強制要求： 2024 年 7 月。R155 要求在整個供應鏈中建立網路安全管理系統；R156 要求建立涵蓋整個車輛軟體生命週期的軟體更新管理系統。任何透過 OTA 交付的 AI 模型皆屬於 R156 的規範範圍。
• 醫療器材： FDA 於 2025 年 1 月針對 AI 賦能器材軟體功能的指引草案引入了預先決定變更控制計畫（PCCP），允許在變更維持於預先核准的參數範圍內時，進行上市後模型更新而無需重新提交。FDA 於 2025 年核准了 295 項 AI／ML 賦能醫療器材，其中 62% 被歸類為醫療器材軟體（SaMD）。
• 國防與主權： OTA 往往根本不是一個選項。氣隙隔離環境使用經加密簽章的實體媒介或單向資料二極體，並搭配符合 IEC 62443-4-2 元件層級安全要求的完整性驗證（這類受拒、離線的邊緣建置，正是 我們的 GPS 拒止環境無人機自主示範 所為之進行工程設計的對象）。

我們設計符合各種背景的更新基礎架構：車用 SUMS 合規、FDA PCCP 文件，或搭配監管鏈追蹤的氣隙隔離實體媒介工作流程。

何時邊緣 AI 是錯誤的選擇

並非每一種推論工作負載都適合放在邊緣端。在以下四種情況中，它是錯誤的選擇：

• 參數量約超過 70 億 的大型語言模型——除了經過大幅量化、能力縮減的版本之外，它們無法在目前的邊緣晶片上有意義地運行。
• 模型架構快速變動的工作負載，即你預期每季更換模型系列的情況——雲端推論更能滿足這類需求，因為每一次針對特定硬體的優化週期都會增加數週的時間。
• 低量部署，即少於數百台裝置，這類部署很少能達到邊緣硬體投資回本的 TCO 交叉點；在該規模下，雲端推論成本是可控的。
• 資料已在雲端的工作負載，例如對來自眾多站點的彙整資料進行分析——將推論推向邊緣毫無益處。

邊緣與雲端的 TCO 交叉點通常落在 12 至 24 個月 ，視部署規模與推論頻率而定。在規模化下，數字是決定性的： 50,000 台裝置每分鐘執行 60 次推論 每月產生約 30 億次 API 呼叫，換算下來單是雲端推論成本每月就約為 300,000 美元 （CIO 產業分析）。該機隊的邊緣硬體前期成本較高，但持續成本會趨於平緩至 每台裝置每月 10 美元 ，功耗為 每個節點 10 至 25 瓦。我們為每項合作專案建模 TCO 損益平衡，讓決策立基於數字而非假設。

邊緣端的多模態與生成式 AI

邊緣端不再侷限於分類與偵測模型：

• NVIDIA 的 Cosmos Nemotron 視覺-語言模型在 Jetson Orin 上運行，可進行多影像推理。
• Hailo 的 10H 運行 20 億參數 的語言模型，具備次秒級的首個 token 延遲，並在低於 5 瓦的功耗下達到超過 每秒 10 個 token 的吞吐量。
• SiMa.ai 的 Modalix 平台與 Cerence 合作，將 CaLLM Edge——一款車用等級的嵌入式小型語言模型——引入邊緣晶片。
• Latent AI 推出了其所稱業界首個代理式（agentic）邊緣 AI 平台，將模型優化與自動化 MLOps 結合，用於邊緣硬體上基於代理的工作流程。

邊緣裝置如今能運行視覺問答、自然語言操作介面（參見 我們關於語音 AI 超越 API 封裝的架構必要性之白皮書），以及過去需要雲端往返的短推理鏈。這些約束是真實存在的：上下文窗口有限、回應時間隨序列長度增加，且你需要仔細的提示工程，以維持在量化模型可靠的輸出分佈範圍內。我們協助團隊辨識哪些生成式能力適合邊緣部署，以及哪些更適合以雲端呼叫搭配邊緣快取來提供服務。