模型开发与微调

大多数微调项目在训练开始前就已失败

GPU 账单并不是企业微调中昂贵的部分。一个 70 亿参数模型在单张 A100 上微调需要 $100–$400 的算力；一个 700 亿参数模型的成本为 $4,000–$9,750 ，每次训练运行。真正拖垮项目的，是训练循环之外的一切：整理数千条领域专属样本、防止模型遗忘已掌握的知识、验证安全对齐在训练后依然完好、为生产环境部署进行量化，以及构建能捕捉漂移的监控管线。

Gartner 预测， 到 2027 年，企业使用小型、任务专属 AI 模型的频率将达到通用 LLM 的三倍。这一转变已经开始： 68% 的企业 在 2024 年微调了模型，其报告任务准确率最高提升至 3 倍。但从 notebook 实验到生产部署之间的鸿沟，正是大多数项目停滞之处。我们的做法是工程化整条管线，而不仅仅是训练循环（这一方法论详见 我们关于构建超越 API 封装的工程系统的研究）。

何时该选择微调（何时不该）

提示工程需要数小时。RAG 需要一到四周。微调需要两到八周，包括数据集构建、训练、安全测试和生产加固。我们在每次合作开始时，都会评估微调是否真正必要。

适合微调的情形：

• 模型需要提示工程无法可靠产生的新行为或输出格式；
• 你的领域存在通用模型处理不稳定的专业推理模式；
• 你需要在规模化下实现高性价比推理——一个微调后的 70 亿参数模型（$0.20/百万 token）可替代一个 700 亿参数模型（$2/百万）；
• 你正在构建工具调用可靠性至关重要的智能体系统——在基准测试中，微调后的 SLM 将工具调用成功率从 10% 提升到 79%（参见 一个此类智能体调度系统的可用演示）。

不适合微调的情形：

• 问题属于知识检索（使用 RAG）；
• 每个任务的数据集样本少于 1,000 条；
• 提示工程已能达到可接受的准确率；
• 基础模型的更新速度快于你的再训练节奏。

当 RAG 已能解决问题、微调只会浪费预算时，我们会在规划任何训练之前直言相告，而不是向你兜售不需要的项目。这份坦诚已融入我们规划合作的方式中。

框架选择至关重要

2026 年的格局已整合为各具特色的工具，每种工具解决不同的问题。

我们会根据你的训练规模、模型架构和目标进行选择。大多数生产部署会同时使用多种：Axolotl 用于监督微调，TRL 用于偏好优化，Unsloth 用于快速原型开发。

安全对齐无法在朴素微调后存续

EMNLP 2024 的研究表明，在新的事实性知识上微调 LLM 会增加幻觉倾向。另有来自普林斯顿、斯坦福、弗吉尼亚理工和 IBM 的研究者表明，标准微调会使模型完全绕过安全训练。此后，ICLR 2026 的研究显示，谨慎的超参数调优可以缓解这些风险，但框架的默认配置在出厂时并不带任何防护。

其机制在于：顶层的激进参数更新会覆盖负责安全的特征。LoRA 秩的选择至关重要——在注意力层上使用更高秩的适配器可能破坏拒绝回路的稳定性，而安全的配置取决于具体的模型架构和任务数据。

我们的做法是实施保护安全的管线（参考 我们关于潜空间 AI 安全治理的研究）：

• 选择性 LoRA，保护关键回路；
• 在每个检查点使用留出的安全基准；
• 基于在任务性能与能力保留之间取得平衡的综合指标进行早停；
• 在整个训练过程中持续监控对齐退化。

数据整理才是真正的瓶颈

GPU 时数只是一个账目项。数据整理才是项目本身：

• 让领域专家（SME）标注 5,000–50,000 条高质量样本；
• 用标注者间一致性指标解决标注分歧；
• 运行 MinHash/LSH 去重；
• 针对评估集进行污染检查；
• 用数据说明表（datasheet）记录数据来源。

RLAIF（以 GPT-4 作为标注者）可降低偏好数据的成本，但会引入教师模型偏差。通过师生蒸馏生成的合成数据可以自举训练集，但其质量受限于教师模型的能力上限。

一次合作的范围涵盖数据管线设计、标注工作流、质量验证，以及受监管行业的文档：FDA 软件验证、金融模型验证报告，以及符合《欧盟 AI 法案》第 11(1) 条要求、附带模型卡的技术文档。

从训练到生产

量化

以 FP16 微调，合并适配器，然后进行量化。搭配 Marlin 内核的 AWQ INT4 为 vLLM 服务提供了最佳的吞吐量与质量比（741 tok/s）。GPTQ 可与 TensorRT-LLM 和 TGI 集成。GGUF 是 llama.cpp 和 Ollama 的原生格式。我们会使量化方案与你的服务栈相匹配。

厂商方案 vs 开源方案

OpenAI 微调 GPT-4.1 的收费约为 $3/百万 token。Mistral 微调后的 Small 3.1（$0.20/百万）在狭窄任务上可媲美其 Large 3（$2/百万）。Anthropic 不提供公开的微调服务。当数据治理允许使用第三方基础设施时，厂商 API 适合快速迭代。

当数据必须留在你自己的基础设施上、或监管要求如此时，采用自托管训练的开源模型（Llama 3、Mistral、Qwen）才是正确之选。大多数企业两者兼用。

监控与再训练

生产模型会发生漂移。我们的做法是构建管线，跟踪预测质量、检测数据漂移和概念漂移，并在超过阈值时触发再训练。MLflow 或 Weights and Biases 负责实验跟踪，模型注册表则提供从训练数据到部署产物的完整血缘。

训练后对齐：超越 SFT

2026 年的生产标准是一条模块化管线：SFT 用于指令遵循，DPO 或 SimPO 用于偏好对齐，GRPO 用于推理。

DPO 通过取消奖励模型取代了 RLHF PPO。SimPO 去除了参考模型，同时在 AlpacaEval 2 上以 6.4 分优于 DPO。GRPO（源自 DeepSeek R1）使用可验证的奖励，通过纯 RL 训练推理能力（这一技术详见 我们关于图强化学习的研究），并伴随涌现的自我反思与验证。我们使用 TRL 来实现这些方法——正是这个框架能正确把握 RL 训练动态。

我们交付什么

每次合作的范围都以产出一个可部署的系统为目标：

• 附带完整模型卡的微调模型；
• 以可复现代码形式呈现、带实验跟踪的训练管线；
• 一套评估套件，在准确率、延迟、鲁棒性和校准方面对照基础模型及其他方案进行基准测试；
• 带优化服务配置的量化部署产物；
• 带漂移检测和再训练触发器的监控仪表板；
• 对于受监管行业，提供行业专属的验证文档（欧盟 AI 法案、FDA、金融模型验证）。

合作还会产出一份诚实的评估：微调是否是正确的方法、模型无法做到什么，以及性能上限在哪里。事先书面记录的局限性，比乐观的预测更能省钱。