边缘 AI 与实时部署

边缘 AI 的成败取决于部署工程，而非模型或芯片：为工作负载选择正确的硬件，在不破坏精度的前提下优化模型以适配该硬件，构建具有确定性延迟保障的推理流水线，并在系统运行于基站、车辆、工厂或国防设施之后持续对其进行更新与监控。这种部署工程正是我们各项合作所围绕的专业领域。

硬件选型是一项工程决策，而非供应商关系

2026 年的边缘芯片格局是有史以来最为碎片化的。每个平台都有着不同的算子覆盖情况、内存架构、编译器工具链以及规模化下的成本曲线。

此处的错误选择代价高昂且难以回头。为 Jetson 上的 TensorRT 优化的模型，如果不进行可能耗时数周的重新优化工作，无法迁移到 Hailo 的数据流架构或 Qualcomm 的 QNN SDK。在做出决定之前，我们会针对候选平台对工作负载进行剖析（参考 我们关于工业边缘计算延迟的研究）：

• 针对模型架构的算子覆盖分析。
• 内存带宽建模——FPGA 上真正的瓶颈是 DDR 带宽，而非计算。
• 持续负载下的热包络仿真。
• 在目标部署规模下的总拥有成本。

一次合作的范围界定，是为了给出带有量化依据的硬件推荐，而非一种供应商偏好。

不破坏模型所学内容的模型优化

让模型适配边缘硬件是一条流水线，而非单一步骤，且其顺序至关重要：

1. 架构搜索 在硬件约束之内进行：FLOP 预算、受支持的算子集、内存上限。
2. 量化感知训练（QAT） 以 INT8 或 INT4 精度为目标，并采用逐通道校准。训练后量化（PTQ）速度更快但不可靠——NVIDIA 自己的基准测试显示，在批归一化折叠后对 EfficientNet 架构使用 PTQ 会造成灾难性的精度损失，而 QAT 则可以达到甚至超过 FP32 基线精度。
3. 结构化剪枝 以敏感度分析为指导，在不触发非结构化剪枝所导致的精度断崖的情况下移除冗余容量。
4. 知识蒸馏 从更大的教师模型中蒸馏，以恢复在压缩步骤中损失的精度。

选择编译器工具链

编译器工具链的选择决定了可能性的边界，因此我们针对每个目标进行选择，而不是默认沿用上一次使用的那一个：

• TensorRT 在 NVIDIA 硬件上始终能提供最快的推理，但它是闭源的且仅限 NVIDIA。
• Apache TVM 是跨平台且开源的，但需要大量调优；未经调优时其性能不及 ONNX Runtime，而经过调优后在 Transformer 架构上可与 TensorRT 相媲美（MDPI Electronics 基准测试，2025 年）。
• Xilinx Vitis AI 可为 FPGA 目标处理 INT8 量化，但算子覆盖并不完整，会迫使手动重新实现某些层。

确定性延迟不是平均延迟

大多数边缘 AI 基准测试报告的是平均推理时间——这一数字对安全攸关的部署几乎毫无用处。真正重要的是 最坏情况执行时间（WCET）：即在热应力、内存压力、电源波动以及操作系统调度争用下，推理步骤所需的最长时间。一个平均耗时 2 毫秒、但在垃圾回收暂停期间偶尔飙升至 15 毫秒的系统，并不是一个实时系统（这正是 我们边缘 AI 制造检测的实用演示 所围绕构建的一项约束）。它是一个有时不够快的快速系统。

我们的方法是构建面向尾部而非平均值进行工程设计的推理流水线：

• 预分配内存缓冲区，以消除分配抖动。
• 固定 CPU 亲和性，以防止调度器迁移。
• 硬件加速的预处理，让数据通路远离 CPU。
• 输出后处理，其置信度校准针对量化模型偏移的输出分布进行调优。

在 FPGA 目标上，我们的设计完全不依赖软件调度层来实现确定性的亚毫秒级推理；在学术基准测试中，基于 FPGA 的传感器融合已展示出 5.51 毫秒延迟、99.3% 精度 （Springer，2025 年）。对于基于 GPU 的目标，我们使用 CUDA 图和持久化内核启动来最小化驱动开销，并通过 WCET 分析来刻画热降频下的尾部延迟。仅热降频一项，就可能在持续负载下使推理速度降低 30% 至 50% （SINTRONES 军用基准测试），因此一个仅针对平均情况设计的系统，恰恰会在最看重可靠性的条件下失效。

面向现场运行模型的 OTA 更新

部署一个模型只是开始，而非结束。随着周围世界的变化，模型会发生漂移——传感器老化、环境变迁、改变数据分布的供应链变动。在边缘检测漂移比在云端更难，因为带宽有限，而且你无法将原始遥测数据回传至中央系统，否则会耗尽你的连接预算。我们使用统计方法实现边缘侧漂移检测—— KL 散度 与 总体稳定性指数 ——在本地计算，仅将汇总指标向上游发送。当漂移超过阈值时，系统可以触发自动化的再训练工作流，或标记以供人工审查。

更新机制本身也带有风险，而正确的机制取决于监管环境：

• 汽车： 自以下时间起，UNECE R155 和 R156 已成为所有新车型式认证的强制要求： 2024 年 7 月。R155 要求在整个供应链范围内建立网络安全管理体系；R156 要求为整个车辆软件生命周期建立软件更新管理体系。任何通过 OTA 交付的 AI 模型都属于 R156 的范畴。
• 医疗设备： FDA 于 2025 年 1 月发布的关于 AI 赋能设备软件功能的指南草案引入了预定变更控制计划（PCCP），允许在变更保持于预先批准的参数范围内时，无需重新提交即可进行上市后的模型更新。FDA 在 2025 年批准了 295 款支持 AI/ML 的医疗设备，其中 62% 被归类为医疗器械软件（SaMD）。
• 国防与主权领域： OTA 往往根本不是一个可选项。气隙隔离环境使用经加密签名的物理介质或单向数据二极管，并通过与 IEC 62443-4-2 组件级安全要求相匹配的完整性验证（这类被拒绝访问、断连的边缘构建，正是 我们 GPS 拒止无人机自主性的实用演示 为之工程设计的对象）。

我们设计与具体环境相匹配的更新基础设施：汽车 SUMS 合规、FDA PCCP 文档，或带有监管链追踪的气隙隔离物理介质工作流。

何时边缘 AI 是错误的选择

并非每一种推理工作负载都适合放在边缘。在以下四种情况下，它是错误的选择：

• 参数量约超过 70 亿参数 的大语言模型——除了经过大幅量化、能力削减的版本外，它们在当前的边缘芯片上无法有意义地运行。
• 模型架构快速变化的工作负载，即你预计每季度都要更换模型系列——云推理更适合它们，因为每一个特定于硬件的优化周期都会额外增加数周时间。
• 低于数百台设备的小规模部署，它们很少能达到边缘硬件投资回本的 TCO 交叉点；在该规模下的云推理成本是可控的。
• 数据已经在云端的工作负载，例如对来自众多站点的聚合数据进行分析——将推理推送到边缘并无任何收益。

边缘与云相比的 TCO 交叉点通常落在 12 至 24 个月 ，具体取决于部署规模和推理频率。在规模化情况下，数字是决定性的： 50,000 台设备每分钟运行 60 次推理 每月产生大约 30 亿次 API 调用，折算下来仅云推理成本每月就约为 300,000 美元 （CIO 行业分析）。为该设备群配备的边缘硬件前期投入更高，但持续成本会趋平至 每台设备每月 10 美元 ，功耗为 每节点 10 至 25 瓦。我们为每一次合作建模 TCO 盈亏平衡点，从而让决策建立在数字之上，而非假设之上。

边缘端的多模态与生成式 AI

边缘已不再局限于分类和检测模型：

• NVIDIA 的 Cosmos Nemotron 视觉语言模型可在 Jetson Orin 上运行，用于多图推理。
• Hailo 的 10H 可运行 20 亿参数 的语言模型，首个 token 延迟低于一秒，吞吐量超过 每秒 10 个 token ，功耗低于 5 瓦。
• SiMa.ai 的 Modalix 平台与 Cerence 合作，将 CaLLM Edge——一款车规级嵌入式小语言模型——带入边缘芯片。
• Latent AI 推出了它所称的业界首个具备智能体能力的边缘 AI 平台，将模型优化与自动化 MLOps 相结合，用于边缘硬件上基于智能体的工作流。

边缘设备现在可以运行视觉问答、自然语言操作员界面（参见 我们关于语音 AI 中超越 API 封装的架构必要性的白皮书），以及此前需要云端往返的短推理链。约束是实实在在的：上下文窗口有限，响应时间随序列长度增加，而且你需要精心的提示工程，以保持在量化模型可靠的输出分布之内。我们帮助团队识别哪些生成式能力受益于边缘部署，哪些则更适合由带边缘缓存的云调用来提供服务。