训练一个模型从来不是从真空开始。图像模型会复用在大规模图片上学到的边缘和形状，语言模型会把预训练中的语法与知识带到客服、检索或分类任务。这种把源任务的知识用于目标任务的方法，就是迁移学习。
它能减少标注和算力，却也会迁移错误。源数据里的背景捷径、类别不平衡、语言偏好和过度自信，都可能在新场景中继续存在。负责任的迁移学习，因此不是给旧模型换一套数据，而是确认什么值得迁移、什么必须重新验证。
## 先说清源与目标
源领域包括预训练数据、原任务、设备、地区、时间和标签定义；目标领域则是模型真正要服务的人与环境。两者不能只用“都是图片”或“都是中文”来判断相似。
例如，用晴天工厂照片训练的缺陷模型，到了潮湿车间可能把水渍当裂纹；在正式客服对话上微调的语言模型，面对口语、方言和错别字时会改变置信度。
先列出可能变化的轴：输入外观、类别比例、标签含义和输入与结果的关系。领域适配研究通常把这些变化区分为协变量偏移、标签偏移和概念偏移，因为对应的修复方法不同。
## 建立三个不可省略的基线
第一条基线是不使用迁移，从随机初始化或简单规则出发。第二条是冻结预训练骨干，只训练最后的任务层。第三条是逐步解冻或使用少量适配参数。
三者在相同训练集、验证集和计算预算下比较。若复杂微调只提高一点平均分，却让罕见类别明显下降，迁移并不成功。
目标数据很少时，交叉验证和多次随机种子尤其重要。一次幸运切分可能让微调看起来有效，而换一批样本就消失。
## 识别负迁移
负迁移指引入源知识后，目标任务反而变差。原因可能是源与目标距离太远，也可能是模型过度依赖源领域中容易学习的特征。
检测时不要只看总准确率。比较不同设备、语言、环境、类别和难度切片，并检查错误是否集中在某些组合。目标领域的失败样本应优先进入评测集，而不是立刻加入训练造成过拟合。
还要观察学习曲线。若冻结模型一开始较好，继续解冻后验证性能下降，说明少量目标数据可能正在破坏通用表示。可以降低学习率、减少可训练层，或停止迁移。
## 数据来源决定能迁移什么
记录预训练数据能确认的来源、时间、语言和已知缺口。无法获得完整训练集时，也要从模型说明、公开评测和行为测试建立边界，不能把“通用模型”理解为覆盖所有人群和场景。
目标数据要来自真实使用环境，并保留连续样本。只挑选清晰、典型或容易标注的数据，会让测试集比上线流量干净得多。
数据切分按实体或时间隔离。相同客户、设备或文档的近似副本若同时进入训练和测试，模型可能记住局部模式，得到虚高分数。
Datasheets for Datasets 提出的核心做法，是记录数据为何创建、由什么组成、如何收集和推荐怎样使用。它不是装饰性说明，而是判断迁移边界的工程输入。
## 把不确定性重新校准
迁移后分类阈值不能直接沿用。目标领域的类别比例和输入质量改变时，原先的 0.9 置信度未必仍对应九成可靠性。
在独立目标验证集上绘制可靠性曲线，比较预测置信度与真实频率，再决定温度缩放、阈值或拒答区域。准确率不变，校准也可能恶化。
对于需要人工复核的系统，与其强迫每个样本得到答案，不如设置“不确定”出口。统计拒答率、被人工纠正的比例和不同切片的覆盖率。
## 应用一：制造缺陷识别
可以从通用视觉模型或相似产线迁移，再用目标设备的真实光线、材料和缺陷微调。上线前专门测试新相机、夜班、污渍、反光和极小缺陷。
模型输出用于排序或第二检查时，要记录工人为何推翻结果。若环境变化导致误报上升，先回滚阈值或模型，不要让人员习惯性忽略所有提醒。
## 应用二：小语种文本处理
多语言模型可迁移到意图分类、检索和摘要，但高资源语言的结构可能主导表示。评测要由目标语言使用者建立，覆盖方言、混写、礼貌形式和当地实体。
机器翻译成高资源语言再处理，是一条基线而非默认答案。翻译可能丢失否定、身份关系和专业术语，应与直接建模比较。
## 应用三：农业与环境感知
从一个地区迁移的作物病害或遥感模型，会遇到品种、季节、土壤、相机和天气变化。先冻结大部分特征，在少量本地样本上测试，再决定是否扩大微调。
把模型表现按季节记录。雨季校准良好，不代表旱季仍可靠；持续收集边缘样本比一次性增加所有数据更有价值。
## 用模型卡保留边界
模型卡记录预期用途、不适用场景、训练与评测条件、切片表现和已知限制。迁移一次就生成一个新版本的卡片，不能沿用源模型的结论。
模型、适配器、分词器、预处理、阈值和数据版本一起登记。只保存权重名称，无法复现真正上线的系统。
发布新版本时先跑离线评测，再静默处理真实流量，最后逐步切换。持续监测输入分布、拒答、人工纠正和延迟；变化达到阈值时回到验证，而不是自动假设重训更好。
负责任的迁移学习并不排斥复用，恰恰是让复用变得可解释。源模型提供起点，目标数据决定边界，对照实验告诉我们迁移是否有益，而持续监测负责发现这个结论何时不再成立。
## 参考资料