团队常说“把公司的知识训练进 OpenAI 模型”，但这句话可能指三件完全不同的事：在提示词里给规则，用检索把资料放进上下文，或者真的用样本更新模型参数。
迁移学习的核心，是利用基础模型已经学到的通用能力，用较少的下游数据适配新任务。在 OpenAI 平台上，这通常对应监督微调、偏好优化、强化微调和蒸馏，而不是简单上传一份 PDF。
## 先判断问题是否需要改参数
如果模型不知道今天的库存和最新手册，优先使用检索或工具调用。知识留在外部系统，更新后立即生效，也能返回来源。
如果模型知道答案，却总是输出错格式、漏掉固定步骤或不能稳定模仿示例，监督微调更合适。它让模型从输入与理想输出对中学习行为模式。
如果多个答案都可接受，但团队更偏好简洁、某种语气或决策风格，可以考虑偏好数据。若任务有可自动验证的奖励，例如代码测试、数学答案或结构约束，则可能适合强化微调。
## 监督微调在迁移什么
SFT 数据通常是对话或任务样本。基础模型参数包含通用语言和推理能力，微调让它在特定输入分布上更经常走向期望输出。
高质量样本要像真实生产流量，包含正常情况、边界情况和合理拒绝。若训练集全是完美短问题，线上长输入和含糊请求仍会失败。
数据量不是越大越好。先用少量经过专家审校的样本跑实验，绘制学习曲线。重复、矛盾或由模型批量生成但未经复核的数据，会把噪声固化进新版本。
## 偏好优化解决“哪个答案更好”
偏好数据通常包含同一输入下的较优与较差回答。它适合表达难以写成单条规则的选择，例如既完整又不过度冗长、先说明假设再给结论。
偏好标签必须一致。若不同标注者对语气和详细程度看法冲突，模型得到的是摇摆信号。先写评价量表，再进行重叠标注并检查一致性。
偏好优化不负责补充实时事实。它改变回答倾向，知识更新仍应通过上下文、工具或新的训练数据解决。
## 强化微调需要可靠奖励
当结果可以用 grader 验证时，模型能通过多次尝试获得奖励信号。代码是否通过测试、结构化输出是否满足 schema、数值答案是否正确，都比“我觉得不错”更适合作为奖励。
奖励设计过窄会产生投机。模型可能学会绕过测试，而不是真正完成任务。必须保留隐藏评测，并检查高奖励输出是否满足业务本意。
平台支持的具体模型与方法会变化，实施前应以 OpenAI 当前模型优化文档为准。科普层面的原则不变：奖励越自动化，验证器本身越要经受攻击性测试。
## 蒸馏把高能力样本迁移给更小模型
模型蒸馏常用高能力模型为真实任务生成候选答案，经筛选后作为较小模型的微调数据。目标不是让小模型复制所有能力，而是让它在一个窄任务上接近教师模型。
先用教师模型、提示和工具建立可接受基线，再收集实际输入。只保留通过规则和人工检查的输出，并让测试集与蒸馏数据隔离。
小模型可能更快、更便宜，但遇到分布外问题应升级到高能力模型。蒸馏与模型路由结合，比假设一个小模型覆盖所有情况更可靠。
## 视觉任务也能迁移
视觉微调把图像与期望响应结合，可用于改善特定图像分类、提取或理解任务。关键不是让模型记住训练图片，而是学到可迁移的视觉判别方式。
训练和测试必须按对象隔离。例如同一商品的不同角度若分散到训练与测试，分数可能虚高。更严格的测试应包含新商品、不同光线、遮挡和相机。
## 评测必须先于训练
OpenAI 的模型优化流程强调 evals。没有固定评测集，就无法判断微调真正改善，还是只让几个演示样例变好。
评测应包含目标任务、原本已做得好的能力和不可接受错误。自动评分适合格式与可验证事实，主观质量需要人工量表。每次数据、模型和超参数变化都跑同一套回归。
还要比较基线：只改提示、增加检索、调用工具和微调分别带来多少收益。参数更新是成本更高的选择，应有明确增量。
## 防止过拟合与遗忘
训练损失下降不代表泛化提升。验证集与训练集同模板、相似输入重复、训练轮次过多，都可能让模型记住表面形式。
上线前测试通用问题和异常输入，观察目标能力提升是否以其他能力下降为代价。保留上一版本与基础模型，必要时按任务路由或快速回滚。
## 一个可执行顺序
先收集真实失败并分类。能用提示修复的先修提示，需要新知识的接检索或工具，稳定行为偏差才进入微调。
建立独立评测集，准备小批高质量训练样本，运行 SFT 或其他合适方法。通过离线评测后进行少量线上流量，对比任务成功率、延迟、成本和人工修改时间。
记录基础模型、训练文件、方法、超参数、提示和评测版本。迁移学习不是一次“训练完成”的事件，而是一条可以复现和回退的模型版本链。
最有效的 OpenAI 迁移学习应用，通常不是把所有知识塞进权重，而是让参数适配稳定行为、检索提供变化事实、工具执行真实动作，再由评测证明组合确实更好。
## 参考资料