模型微调常见两种相反问题：显存很快耗尽，或者 GPU 明明很贵却大部分时间在等待。前者不一定只能加卡，后者也不一定通过增大批次就能解决。
优化前应先拆开资源账本：模型参数、梯度、优化器状态、激活、临时缓冲、数据管线和多卡通信分别消耗什么。只有找到主要瓶颈，技巧才不会互相抵消。
## 先确认是否真的需要微调
若任务可以通过更清楚的提示、少量示例或检索增强解决，微调可能增加维护成本却没有稳定收益。先在固定评测集上建立提示基线。
微调适合反复出现、输出格式明确、已有高质量样本的任务，例如结构化抽取、特定术语风格或工具选择。知识经常变化时，检索通常比把事实写入权重更容易更新。
定义成功指标和保留能力。模型在目标任务变好，也可能损失通用能力。训练前准备目标集、困难集和回归集，后续每次实验使用同一版本。
## 显存先算四笔账
全量微调需要保存参数、梯度和优化器状态。以 Adam 为例，动量状态会带来额外副本；混合精度训练还可能保留高精度主权重。激活则随批次、序列长度和层数快速增长。
先用小批次跑一个训练步，记录峰值分配显存与保留显存。按阶段查看前向、反向和优化器更新，找出峰值发生在哪里。
不要只看工具显示的总显存。缓存分配器会保留内存，碎片也可能让大块申请失败。记录可复现配置，比较有效样本数和有效 token，而不是比较空闲显存外观。
## 参数高效微调先减少可训练权重
LoRA 冻结基础模型，只训练插入的低秩矩阵，能显著减少梯度与优化器状态。Hugging Face PEFT 文档也提醒，较少可训练参数并不自动保证所有任务达到全量微调质量。
从较小 rank 和少量目标层开始，以评测结果逐步增加。不要直接复制别人的 `r`、`alpha` 和目标模块，因为模型结构、数据量和任务复杂度不同。
多个任务可以共享一个基础模型并分别保存适配器。上线前决定是否合并权重；合并便于单模型推理，不合并则更适合动态切换。
## 量化降低基础模型占用
QLoRA 等方法把冻结的基础权重量化为 4 位或 8 位，再训练较高精度的适配器。这样可以在有限 GPU 上处理更大的模型，但会引入量化误差与实现限制。
Hugging Face 当前量化指南建议根据硬件选择计算类型，并明确并非所有 PEFT 方法都支持量化基础模型。先用小规模实验验证数值稳定、目标质量和保存加载流程。
量化节省的是权重显存，长序列激活仍可能成为主要瓶颈。若显存随序列长度迅速增长，只调整权重量化并不能解决全部问题。
## 用检查点交换计算与显存
激活检查点只保存部分中间结果，在反向传播时重新计算其余激活。显存下降，但计算量和训练时间上升。
先对占用最大的 Transformer 块启用，而不是对所有小模块一刀切。比较每秒有效 token、峰值显存和最终成本，避免为了少量显存导致吞吐大幅下降。
梯度累积可以用多个微批次形成较大的有效批次，但会增加每次参数更新前的步数。学习率、调度器和日志口径要按有效批次调整。
## 序列填充可能在悄悄浪费算力
批次中最长序列决定填充长度。若把几十 token 与几千 token 的样本混在一起，大量计算落在 padding 上。
按长度分桶，把相近长度样本组成批次；对短样本可采用序列打包，但必须正确处理边界、注意力掩码和标签。指标使用非填充 token 数，才能看见真实利用率。
数据读取也可能让 GPU 等待。把分词结果缓存，使用并行加载、预取和锁页内存，并观察每步的数据等待时间。存储过慢时，增加 GPU 只会增加等待设备。
## 多卡训练要判断分片是否值得
模型放不进单卡时，可以用 FSDP 或 ZeRO 思路分片参数、梯度和优化器状态。它们用通信换显存，节点间带宽不足时可能降低吞吐。
PyTorch FSDP 支持混合精度与激活检查点，但包装粒度、通信和检查点格式都需要验证。先在两张卡上测扩展效率，再增加规模。
记录每张卡的计算、通信等待和数据加载。若某张卡经常落后，检查输入长度不均、硬件状态和进程绑定，而不是只看平均 GPU 利用率。
## 用分析器找到空转来源
采集数十个稳定训练步，跳过首次编译和缓存预热。分析 CPU 数据处理、主机到设备复制、GPU 内核、同步和集合通信。
如果内核之间空隙大，可能是 Python 调度或数据等待；若大量时间在通信，调整分片与累积；若算子本身低效，再考虑融合、编译或不同精度。
核心指标包括每秒有效 token、峰值显存、每次更新耗时、训练损失、验证质量和每百万有效 token 成本。单独追求 GPU 利用率，可能让无效 padding 也跑得很满。
## 一套稳妥的优化顺序
第一步建立最小可复现实验和质量基线。第二步减少序列浪费并修复数据管线。第三步选择 LoRA 等参数高效方法，再评估量化。
第四步在必要时启用激活检查点、梯度累积和混合精度。第五步只有单卡确实放不下或吞吐需要扩展时，才引入 FSDP 等分布式方案。
每次只改变一到两个变量，保存配置、随机种子和性能追踪。资源利用率优化不是把显存塞满，而是在可接受质量下，用更少时间、能耗和运维复杂度完成同样数量的有效训练。
## 参考资料