训练大型语言模型似乎需要给每句话配上人工答案，现实却不是这样。互联网上的文本、代码和文档没有统一标签，但它们本身就能产生训练信号：给出前面的 token，预测后面的 token。
这就是自监督学习的核心。监督目标从数据内部构造，不需要人为给每段文本标注“正确回答”。Mistral Large 这类模型先通过大规模预训练获得语言和知识结构，再经过指令、偏好或工具相关的后训练，才更像人们熟悉的助手。
## 自监督不是没有监督信号
“无人工标签”容易被误解为模型自己随意学习。实际上，训练目标很明确。自回归语言模型接收一串 token，并不断预测下一个 token，预测误差通过反向传播更新参数。
一篇文章可以产生大量输入与目标对。模型逐渐学习词法、句法、事实共现、代码模式和更长距离的关系。它并不是把网页逐页存成数据库，而是在参数中形成对数据分布的压缩表示。
训练目标看似简单，规模却让它获得迁移能力。同一个基础模型可以用于摘要、问答、翻译和代码，因为这些任务都建立在序列表示与预测之上。
## 数据质量决定模型学到什么世界
自监督会学习数据中的规律，也会学习噪声、重复和矛盾。网页抓取后需要去重、语言识别、格式清理和质量过滤；代码、数学、文档与多语言数据的比例会改变能力结构。
近似重复样本过多，会浪费计算并增加记忆风险。模板页、导航和自动生成垃圾内容可能让模型学到无意义模式。数据分布过窄，则会让少数领域表现很强，面对其他表达却脆弱。
真正重要的不是公布一个总 token 数，而是数据覆盖、清洗方法、采样策略以及独立评测能否解释能力来源。
## 混合专家改变计算路径
Mistral 早期的 Mixtral 研究展示了稀疏混合专家架构。每层包含多个前馈专家，路由器为每个 token 选择少数专家处理。
需要注意，“专家”不等于人工指定的法律专家、数学专家或法语专家。专家分工由训练中的优化自然形成，可能与语法、上下文结构或抽象特征有关，并不一定能用简单主题命名。
路由器与专家同时通过自监督目标训练。如果路由长期偏向少数专家，会出现负载不均；如果每个专家学得过于相似，又浪费了稀疏结构的容量。训练需要在能力、负载和通信成本之间平衡。
Mistral Large 3 的官方模型卡将其描述为细粒度混合专家模型，拥有很大的总参数规模，但每个 token 只激活其中一部分。自监督目标没有变，改变的是每个 token 经过网络的计算路径。
## 多模态自监督如何接入图像
多模态模型需要把图像切成视觉表示，再与文字 token 建立对应。训练数据可以来自图片与标题、文档页面与文本、图表与说明，或交错的图文内容。
目标可能包含文本预测、图文对齐和视觉问答等组合。模型由此学会把“图像中的红色部件”与语言概念联系起来。
但图文共现不保证精确理解。网页标题可能只描述气氛，文档 OCR 可能错误，图表又需要读取细小坐标。多模态能力必须在真实图片、扫描件、图表和跨页文档上分别评测。
## 基础模型与助手不是同一阶段
预训练基础模型擅长续写数据分布，不天然知道应该简洁回答、遵循格式或安全调用工具。指令微调用任务示例教它响应请求，偏好优化进一步调整回答风格，工具训练则让它输出可执行的结构。
因此，看到助手拒绝、引用或调用函数，不能全部归因于自监督预训练。能力来自多个阶段叠加：预训练提供广泛表示，后训练塑造交互行为，推理系统再接入检索和工具。
把阶段分清，有助于定位问题。缺少最新资料，应接检索；输出格式不稳，可能适合微调；基础语言能力不足，才可能需要继续预训练或换模型。
## 继续预训练适合什么情况
当领域文本具有独特词汇、结构和知识分布时，可以在基础模型上继续运行自监督目标。例如大量专业设备记录、科研文献或企业代码可能让模型更熟悉目标语域。
继续预训练比检索更重。它需要训练基础设施、稳定数据和防止能力遗忘的混合策略。事实频繁变化的内容仍更适合放在外部知识库中。
Mistral 的 Forge 路线强调基于组织数据构建或训练模型，但任何定制都应先用评测证明收益。没有独立测试集，训练损失下降并不能说明生产任务更好。
## 如何验证自监督学习带来的能力
评测应覆盖基础能力和目标能力。基础部分检查语言、代码、推理、多语言和长上下文；目标部分使用真实任务和边界样本。
还要做污染检查，防止测试题已经出现在训练数据中。时间切分、私有测试集和重新表述的任务可以提供更强证据。
对于混合专家模型，应同时测质量和效率：不同输入长度、语言和领域下的延迟、显存、专家负载与失败率。一个理论上稀疏的模型，如果路由通信成为瓶颈，实际部署未必划算。
Mistral Large 的自监督学习并不是神秘的“自动获得智慧”，而是从大量未标注数据中构造明确预测任务，再用模型结构和后训练把表示转化为可用能力。理解这条链，才能知道数据该放进权重、上下文还是工具。
## 参考资料