如果训练一个传统分类器，通常要先给样本贴标签：这封邮件是垃圾邮件，那张图片是猫。互联网文本规模巨大，逐句标注几乎不可能。大语言模型绕开了这道瓶颈：让数据本身产生训练目标。
给模型一句话的前半段，让它预测后面的词；遮住句子中的部分词，让它根据上下文复原；把同一句话的两个扰动版本拉近，把不同句子推远。这些任务不需要人工逐条标注，因此被称为自监督学习。
“自监督”不等于模型自己决定学习什么。人仍然选择数据、分词方法、网络结构、训练目标和评测集。它只是把监督信号从人工标签，换成了数据内部可自动构造的关系。
## 路线一：预测下一个词
生成式大语言模型最常见的目标，是根据前面的 token 预测下一个 token。token 可能是一个字、词的一部分、标点或代码片段。
训练时，正确答案就在原始文本中。模型看到“雨后路面很”，目标可能是“湿”；预测分布与真实 token 的差距形成损失，反向传播据此调整参数。整段文本可以一次提供许多相邻预测任务。
为了降低损失，模型逐渐学到拼写、语法、搭配、文体和大量共现规律。更长的依赖也会进入参数：代词指向谁、函数括号是否闭合、一个论证下一步通常如何展开。
GPT-3 论文展示了自回归语言模型在规模扩大后，仅通过提示和少量示例完成多种任务的能力。但论文也记录了失败任务和网络语料带来的方法问题。预测得像人类文本，不自动等于事实正确或真正理解世界。
## 路线二：遮住一部分再复原
BERT 采用遮盖语言建模：随机遮住输入中的部分 token，再利用左右两侧上下文预测缺失内容。因为模型同时看到前后语境，这种表示特别适合理解、分类、抽取和问答。
可以把它想象成修复一块残缺马赛克。缺口左边的颜色不够，还要结合右边的图案和整幅画的结构，才能判断应该补哪块。
T5 把许多自然语言任务统一成“文本输入到文本输出”，并系统比较了预训练目标、模型结构、数据集和迁移方式。它常用跨度破坏：遮掉连续片段，再要求模型生成缺失内容。连续缺口比孤立单词更接近摘要、改写和生成需要的能力。
## 路线三：从相同与不同中学习表示
对比学习关心样本之间的距离。同一句话经过轻微扰动后应保持语义接近，不相关的句子则应分开。SimCSE 的无监督方法甚至只用 dropout 制造同一句子的两个不同视图，再以对比目标训练句向量。
这种方法常用于语义检索、聚类和相似度匹配。它不一定负责逐字生成，而是学习一个空间：意义接近的文本在空间中靠近。
负样本选择非常重要。太容易的负样本教不到细微差异，实际上同义却被当作负样本，则会给模型错误信号。对比学习的效果来自目标设计，不只是“多喂数据”。
## 预训练为何能迁移
预训练让模型先解决一个数据丰富的通用任务，再把参数迁移到具体任务。下游使用有三种常见方式：微调全部参数、只训练少量适配参数，或保持参数不变，通过提示和示例完成任务。
迁移有效，是因为许多任务共享底层语言规律。情感分类需要理解否定，问答需要识别实体与关系，代码补全需要掌握局部语法和远距离依赖。预训练不直接教授每个标签，却提供了可复用的表示。
但迁移不是保证。医学缩写、少数语言、企业内部术语或新近事件可能在预训练数据中不足。模型在通用测试上表现好，也可能在具体业务分布上失效。
## 从文本到训练批次
原始数据先经历格式解析、语言识别、质量过滤、去重和敏感内容处理，再被分词器转成 token。随后按长度拼接成序列，组成训练批次。
去重不仅节省算力，还关系到评测可信度。如果测试题或其近似副本出现在训练语料中，模型的高分可能来自记忆。数据来源、时间范围和过滤规则因此都是模型能力的一部分。
训练目标通常用交叉熵衡量预测分布与正确 token 的差异。优化器不断更新数十亿参数，在大量批次上让平均损失下降。较低的预训练损失通常有帮助，但不能替代事实性、安全性和任务表现测试。
## 自监督学习没有教会什么
第一，它没有天然的真假标签。语料里正确说法和错误说法都可能形成可预测模式，因此模型会生成流畅但不可靠的内容。
第二，它没有自动获得行动目标。聊天模型还需要指令数据、偏好优化或其他后训练，才更会遵循请求、拒绝危险操作和使用工具。
第三，语言相关性不能替代环境反馈。机器人是否抓稳、药物是否有效、代码是否通过测试，都要靠传感器、实验或执行结果验证。
第四，规模不能修复所有数据问题。重复、偏差、低质量和领域空白会被带入模型；更多相似数据有时只是更坚定地重复同一种错误。
## 如何判断预训练是否有效
先看训练和验证损失是否稳定下降，再看不同能力的下游任务：语言理解、生成、检索、代码、长上下文和领域测试。评测集应与训练语料隔离，并检查是否存在污染。
不要只报平均分。按语言、文本长度、主题、时间和难度切片，才能发现模型在哪些区域没有学好。生成任务还应测事实准确率、引用可追溯性和不确定性表达。
最后进行任务级对照。相同数据预算下比较不同目标，相同目标下比较数据质量，相同准确率下比较训练和推理成本。只有控制变量，才能知道提升来自哪里。
自监督学习的核心并不神秘：把文本的一部分变成问题，把另一部分变成答案，再用海量重复练习压缩语言规律。它解释了大语言模型为何能从未标注数据出发，也提醒我们，模型学到的是预测结构；现实中的正确性仍要靠外部证据来完成。
## 参考资料