讨论“Cohere 分布式训练策略”时，必须先划清公开事实与工程推断。Cohere 的技术报告会介绍模型目标、数据和后训练方法，但没有公开一套足以复现其完整集群训练基础设施的配置。
因此，本文不猜测公司的内部机器数量或网络拓扑，而是以 Cohere 这类多语言、检索与工具调用语言模型为背景，解释大模型分布式训练中真正需要解决的问题。
## 为什么一张GPU不够
训练模型时，显存里不只有权重。系统还要保存梯度、优化器状态和前向计算产生的激活值。使用 Adam 等优化器时，优化器状态可能占据比模型权重更多的内存。
即使模型权重勉强放进一张 GPU，长上下文和较大批次也会让激活值迅速增加。分布式训练的第一目标往往不是“让训练速度乘以机器数量”，而是先让模型、状态和数据能够被整个集群容纳。
## 数据并行：最容易理解的起点
数据并行会在每张 GPU 上放置一份模型副本，各自处理不同的小批数据。反向传播后，GPU 之间同步梯度，再以相同结果更新参数。
这种方法实现相对简单，适合模型能够完整放进单卡的情况。它的主要成本是梯度通信。GPU 数量增加后，如果网络跟不上或批量不能继续扩大，更多设备会花时间等待同步，扩展效率逐渐下降。
判断数据并行是否有效，要比较总 tokens/s 和单卡 tokens/s。总吞吐提高但单卡效率大幅下降，说明通信正在吞噬新增算力。
## 参数分片：解决重复内存
普通数据并行让每张 GPU 都保存完整权重、梯度和优化器状态，产生大量重复。ZeRO 和 PyTorch FSDP 的思路，是把这些状态分片到多个工作进程，需要计算时再收集相应部分。
PyTorch 文档说明，FSDP 可以分片模型参数、梯度和优化器状态。这样单卡内存压力下降，原本放不下的模型可以跨多卡训练，代价则是更频繁的通信和更复杂的状态保存。
分片层级越深，节省的显存通常越多，但通信也可能越多。配置必须根据模型层大小、互联带宽和计算通信重叠能力测量，而不是盲目选择最彻底的分片。
## 张量并行：把一层拆到多张卡
当单个 Transformer 层本身就很大时，可以把矩阵运算沿某个维度拆分，让多张 GPU 共同计算同一层。张量并行要求设备频繁交换中间结果，因此更适合节点内部拥有高速互联的 GPU。
如果跨节点网络较慢，随意把张量并行扩到远端设备，通信时间可能超过计算收益。常见做法是让张量并行局限在高速互联节点内，再在节点之间使用数据并行或参数分片。
## 流水线并行：不同设备处理不同层
流水线并行把连续网络层分配给不同阶段。一个小批数据完成前一阶段后传给下一阶段，同时前一阶段开始处理后续小批。
它能容纳更深模型，却可能出现“流水线气泡”：某些阶段等待输入或等待其他阶段结束。层数分配不均、某个阶段计算更慢，也会拖住整条流水线。
优化重点是让各阶段耗时接近，并选择合适的微批数量。微批过少，设备空闲多；过多则增加调度和内存压力。
## 长上下文带来的新压力
Cohere 的公开报告强调检索、文档与工具使用，这类任务通常包含较长输入。上下文增加时，注意力计算、激活值和通信都会变重。
训练系统可以使用激活检查点，用额外计算换显存；也可以把序列维度分布到多张设备，减少单卡承担的 token 数。混合精度则用较低精度完成大部分计算，降低内存与带宽需求，同时保留必要的数值稳定性。
这些方法都会改变速度与稳定性。长上下文训练不能只看是否成功跑通，还要监控损失是否异常、吞吐是否骤降，以及短序列任务是否被过度拖慢。
## 数据管线必须跟上GPU
昂贵的 GPU 等待数据，是分布式训练中最直接的浪费。多语言与文档训练通常涉及读取、解压、清洗、分词、混合和打包，任何一步过慢都会形成瓶颈。
数据应提前分片并尽量顺序读取，分词与样本打包可以预处理或由足够多的 CPU 工作进程并行完成。每个训练进程需要读取不同数据，同时保证随机顺序能够复现。
还要防止某些超长样本让单个工作进程明显变慢。按长度分桶和合理打包，可以减少填充 token，并降低“最慢 GPU 决定整步时间”的问题。
## 训练稳定性比峰值速度重要
大规模训练运行数天或数周，硬件故障、网络中断和数值异常难以完全避免。系统需要定期保存可恢复检查点，包括模型、优化器、学习率调度器、数据位置和随机状态。
检查点本身也是分布式任务。所有进程同时写入共享存储可能造成拥堵；只在单进程聚合完整状态又可能耗尽内存。FSDP 等框架提供分片状态方案，但恢复流程必须提前演练。
监控至少应覆盖损失、梯度范数、tokens/s、每张 GPU 利用率、通信时间、数据等待时间和故障重启次数。短时间达到最高吞吐，却频繁失败重跑，不是高效系统。
## 一条保守的扩展路径
先在单卡或单节点上建立能复现的基线，确认数据和损失正确；模型可放进单卡时优先使用数据并行；显存成为瓶颈后引入 FSDP 或 ZeRO；单层仍然过大时再考虑张量并行；模型深度或集群规模继续增加时，才组合流水线并行。
每增加一种并行方式，都要验证同一批数据下的损失与基线一致，并测量新增通信。分布式策略不是层数越多越先进，而是在可维护复杂度内消除当前瓶颈。
## 预训练与微调不是同一规模问题
训练基础模型需要大规模集群，面向具体任务的微调则可能只更新少量参数。Cohere 公开资料提到 LoRA 等参数高效方法，它们冻结基础权重，只训练较小适配器，可以显著降低微调所需资源。
这提醒我们：分布式训练的方案必须匹配任务。不能因为基础模型曾在大型集群上训练，就认为每次业务适配都需要复制同样规模。
## 结论
大模型分布式训练的核心矛盾，是计算、显存、通信和可靠性之间的平衡。数据并行提高吞吐，参数分片减少重复，张量与流水线并行容纳更大结构，数据管线和检查点则保证集群不会空等或前功尽弃。
对 Cohere 或任何模型公司的公开技术分析，都应该止于有证据的范围。真正可复用的知识不是猜测一家公司用了多少 GPU，而是理解每种并行方法解决什么瓶颈，以及它为系统带来了什么新成本。
## 延伸阅读