一个大模型准确但昂贵，能不能让更小的模型学会它的本领？知识蒸馏正是为这个问题发展出来的方法。它让“学生模型”不仅学习数据集给出的标准答案，还学习“教师模型”对不同答案的偏好或生成的高质量样本。
工程上，蒸馏并不是把一个模型文件直接压缩，也不是把教师参数平均到学生里。学生有自己的结构和参数，必须经过新的训练。最后能否成功，取决于任务分布、监督信号、学生容量和部署环境，而不是只看参数量缩小了多少。
## 软目标里藏着类别关系
普通分类训练把正确类别记为 1，其他类别记为 0。它告诉模型答案，却没有告诉模型“另外哪些答案比较接近”。教师模型输出的概率分布包含更多结构，例如把一张猫的图片判为猫的概率很高，同时给狐狸的概率可能略高于汽车。
Hinton、Vinyals 和 Dean 在经典蒸馏论文中用温度参数把概率分布变平，使较小概率之间的差异更明显。学生同时学习真实标签与教师的软目标，因而有机会获得教师对类别相似性的概括。
温度不是越高越好。过低时分布接近硬标签，额外信息有限；过高时差异被抹平。工程师需要在验证集上联合搜索温度、软目标权重与真实标签权重。
## 生成模型有两类常见蒸馏信号
如果能访问教师在每个词元上的 logits，可以让学生直接匹配完整概率分布。这种信号细密，但存储量大，而且教师与学生的分词器不同时需要额外对齐。
更多项目只能访问教师生成的文本。团队让教师为一组输入生成答案，再用这些输入输出对学生做监督微调。这常被称为序列级蒸馏。DeepSeek-R1 的公开项目就是一个知名例子：它用教师生成的推理数据微调多种较小的 Qwen 和 Llama 基础模型。
文本蒸馏更容易实施，但信息已经经过采样压缩。教师没写出来的备选概率无法传递，生成错误还可能被学生重复学习。因此，样本筛选与独立验证非常关键。
## 先定义学生要完成的任务
“做一个小而强的通用模型”很难成为可验收工程。更合理的目标是明确部署约束与任务，例如在单张消费级显卡上完成中文工单分类，或者在边缘设备上提取固定字段，端到端 95% 请求需在某个延迟内完成。
先用教师、现有小模型和确定性基线跑同一批真实样本，记录质量、吞吐、显存、启动时间和单任务成本。学生模型的成功条件通常是：在可接受的质量下降内，达到明确的速度、内存或费用目标。
若任务主要是规则匹配，蒸馏可能不是最佳选择。一个可维护的规则引擎或传统分类器往往更小、更稳定。蒸馏适合教师确实展示了可迁移能力，而生产环境又承受不起教师推理的场景。
## 教师不一定越大越好
教师需要在目标任务上可靠，而不只是综合榜单领先。一个超大通用模型若经常误解专业缩写，可能不如经过领域适配的中型教师。还可以用多个教师生成候选，再通过规则或人工选择高质量答案。
教师输出应固定模型版本、提示模板、解码参数和工具条件。否则训练集混合了不同生成策略，学生难以判断要模仿哪一种行为。
对于结构化任务，让教师输出严格字段并用程序验证。对于开放问答，保存引用证据和评分理由，但不要把冗长、未经核验的思维链直接当成高质量监督。
## 数据分布比样本数量更重要
蒸馏集要覆盖线上真正出现的输入长度、语言、噪声和边界情况。若只用整洁的合成问题，学生会在演示数据上很好看，却无法处理错别字、缺字段和矛盾资料。
一种实用配比是以真实匿名样本的结构为主，使用程序生成可控变体，再让教师补充长尾和反例。训练、验证与测试应按来源或时间切分，避免同一模板的轻微改写同时出现在多个集合中。
采样时保留失败样本，而不是只挑教师最自信的答案。先用独立规则或人工判断教师是否正确，再决定丢弃、修订或作为“需要拒答”的示例。学生也需要学习何时信息不足。
## 损失函数决定学生模仿什么
分类蒸馏常把三部分组合：真实标签损失、教师软目标损失，以及必要时的中间表示损失。DistilBERT 就结合了语言建模、蒸馏和余弦距离三种目标；其论文报告模型规模减少 40%，在所测任务上保留 97% 的语言理解能力并提升推理速度。
不同项目不能直接照搬这些比例。学生结构与教师差异越大，中间层越难一一对应；强行对齐可能限制学生形成更适合自身容量的表示。可以先从输出蒸馏开始，再逐步加入隐藏状态或注意力对齐，并用消融实验判断每一项是否真的贡献收益。
对于生成模型，还要决定学习完整长答案、精简答案还是结构化步骤。训练目标应与线上输出一致，否则学生会把容量花在生产环境并不需要的风格上。
## 学生容量存在下限
蒸馏不能突破信息容量的基本限制。学生太小时，会先丢掉长尾知识、复杂组合推理和多语言能力。平均分可能只下降一点，但某些关键任务会突然失效。
因此应同时尝试几个学生尺寸，画出质量、延迟、显存和成本之间的前沿。最小模型不一定是最佳模型，达到硬件目标后继续缩小，可能用很小的资源收益换来明显的可靠性损失。
学生架构也要匹配硬件。参数少但算子零碎的模型，实际延迟可能不如更大但计算规则的模型。最终选择必须在目标推理引擎、量化方式、批大小和输入长度下实测。
## 推理蒸馏要防止复制冗余
让教师生成逐步解答，能为学生提供中间监督，但长文本不天然等于好推理。教师可能重复、绕路或写出事后合理化的步骤。学生若机械模仿，会增加输出长度和延迟。
更稳妥的方法是把可验证过程结构化。例如数学任务保留关键等式和最终答案，代码任务保留测试结果，工具任务保留调用参数与返回状态。程序先验证中间结果，再把合格样本加入训练集。
还可以比较三组数据：只有最终答案、原始长推理、经过验证的精简步骤。若精简步骤在新题上更稳定，就没有必要把教师的全部文字传给学生。
## 蒸馏、量化和剪枝不是一回事
量化用更低位宽表示权重或激活，通常无需重新设计模型结构；剪枝移除不重要的权重、通道或模块；蒸馏则训练一个学生去匹配教师行为。三者可以组合，但各自带来的误差需要分别测量。
工程顺序常从建立未压缩学生基线开始，再做蒸馏，最后尝试量化。若同时改变学生结构、蒸馏数据和位宽，一旦质量下降就难以定位原因。
参数量也不是部署成本的完整代理。长上下文的 KV 缓存、首词延迟、批处理吞吐、模型加载和工具调用，都可能决定真实体验。
## 评测必须包含教师会错的题
如果测试答案也由同一个教师生成，学生只需模仿教师就能拿高分，无法判断是否正确。测试集应有独立标注、确定性校验或来自另一条可信数据路径。
报告至少包含任务质量、最差子类、拒答表现、格式错误、端到端延迟、吞吐、峰值内存和每个合格结果成本。对生成任务，还要检查事实引用、遗漏和过度自信，而不能只计算文字相似度。
同时比较学生与教师的错误重合度。若学生继承了教师的大部分错误，说明蒸馏忠实却未提高可靠性；若学生产生新的系统性错误，则可能是容量、数据覆盖或训练目标的问题。
## 部署前做真实硬件验收
离线训练结束后，把候选模型导出到实际推理格式，在目标服务器、工作站或端侧设备上测量。使用真实输入长度和并发，而不是只跑一个短提示。
测试冷启动、持续负载、批大小变化、内存峰值和降频后的表现。学生若需要昂贵的预处理或多次重试，模型本身的加速可能被抵消。
上线时先让学生处理可验证的低风险流量，教师作为影子对照或回退路径。记录两者分歧，把新出现的困难样本加入下一轮评测，而不是立即把所有线上数据重新训练。
## 一条可复现的工程流水线
第一步固定任务与验收指标，建立真实测试集。第二步选择在该任务上可靠的教师，并保存版本和生成配置。第三步构造覆盖正常、长尾、拒答与格式约束的数据，自动验证能验证的部分。
第四步训练多个学生尺寸，从输出蒸馏起步，用消融实验评估软目标和中间表示的贡献。第五步在独立测试集与目标硬件上同时比较质量和效率。第六步小流量上线，保留教师回退，并持续收集分歧样本。
这条流程的目标不是复制一个缩小版教师，而是在特定任务和硬件上找到更好的质量成本平衡。蒸馏成功与否，最终由稳定完成多少真实任务决定。
## 参考资料