把大模型从 16 位压到 8 位、4 位甚至更低位宽，常被描述成“几乎无损地省一半或更多显存”。这句话有时成立，有时会在数字、代码、长上下文或工具调用上突然失效。
所谓量化临界点，不是某个位宽天然危险，而是压缩继续增加时，系统从“收益明显、质量可接受”跨入“返工、重试和错误迅速增加”的区域。引爆点则是硬件容量或吞吐越过某个边界后，部署方式突然改变，例如模型从两张卡装进一张卡，或并发批次翻倍。
要预测这两个点，必须把模型精度与完整服务一起测量。
## 量化到底压缩了什么
模型计算中的权重和激活通常用浮点数表示。量化把它们映射到更少的离散数值，从而减少存储、显存带宽和部分计算开销。
W8A8 表示权重与激活都采用 8 位，W4A16 表示权重 4 位而激活保留 16 位。只看“4 位模型”并不能知道实际路径，因为分组大小、缩放方式、异常值处理、校准数据和计算内核都会影响结果。
有些方法在加载时即时量化，使用方便；GPTQ、AWQ 等通常需要预先量化或校准。Hugging Face 的当前选型文档也把它们区分为不同部署路径，而不是把所有 4 位方案视为同一种产品。
## 第一个临界点是质量曲线的弯折
从 16 位降到 8 位时，许多模型在普通任务上变化很小。继续降到 4 位，先进方法仍可能保持良好效果，但不同模型和任务开始分化。降到 3 位、2 位时，误差通常更难控制。
GPTQ 论文展示了大型生成模型在 3 至 4 位权重下仍可保持接近原始模型的结果；AWQ 通过保护少量重要权重来降低 4 位压缩损失。但这些结论说明方法有潜力，并不保证你的业务无损。
一项覆盖多种指令模型与量化方法的系统评测发现，模型规模、位宽和量化方法都会显著改变退化程度，并且幻觉检测、指令遵循等任务可能与常用综合分数表现不同。这正是不能只抄一个公开榜单的原因。
## 第二个临界点是硬件容量
量化最大的“跳变收益”经常不是算术速度，而是模型能否进入更少的设备。假设一个模型在高精度下略微超出单卡显存，它就需要跨卡通信；压缩后若能完整装入单卡，延迟和成本可能同时明显下降。
类似地，量化释放的显存可以容纳更大的 KV 缓存和批次，使吞吐突然提升。这就是引爆点：收益曲线不是平滑的，而是在跨过设备容量、并发或缓存门槛时出现台阶。
反过来，如果模型原本已经轻松装入显存，所用硬件又缺少匹配的低位宽内核，量化模型可能更慢。Hugging Face 的 TGI 文档明确提醒，某些即时量化路径虽然节省内存，推理速度未必优于预量化方案或原生精度。
## 先建立不可移动的基线
选择真正在线上出现的输入，覆盖短问答、长文档、数字、代码、多语言、工具调用和拒答。为每类任务设置独立通过标准，不要只求一个平均分。
在原始 BF16 或 FP16 模型上记录答案、通过率、输出长度、首词延迟、每秒词元、峰值显存、功耗和失败率。固定模型版本、推理引擎、驱动、硬件、上下文长度、批大小与采样参数。
基线一旦建立，所有量化候选用同一测试集和环境运行。若同时更换推理引擎、提示词和硬件，就无法判断变化来自量化还是别的因素。
## 校准集决定你能看见什么
需要校准的量化方法会观察一批样本来估计数值范围或权重重要性。校准集若全是短英文百科，模型面对中文长合同、代码或函数参数时可能出现未被覆盖的异常值。
校准集不必巨大，但要覆盖生产分布和高风险子类。先按语言、长度、任务、结构化输出和工具类型分层抽样，再加入少量极端输入。不要把最终测试样本混入校准，否则评测会过度乐观。
数据随业务变化时重新检查。新接入一种语言、文档长度显著增加或工具格式改变，都可能让旧量化配置跨过新的临界点。
## 逐层扫描，不要一步跳到最低位
从原始精度开始，依次测试 FP8 或 INT8、质量较稳的 4 位方案，再在确有设备需求时探索 3 位或 2 位。每一级只保留通过硬门槛的候选。
对候选同时改变批大小和上下文长度，形成二维压力测试。某个 4 位模型在单请求上正确，并不表示高并发、长缓存时仍稳定。记录平均值之外的 P95 和 P99 延迟、显存溢出与服务重启。
如果 8 位到 4 位使显存减少很多，质量仅轻微下降，但 4 位到 3 位让特定任务错误陡增，质量临界点就在两者之间。若 4 位恰好让模型从双卡变单卡，它同时触发了容量引爆点。
## 用“每个合格结果”的成本判断
吞吐提高 30% 看起来很好，但若结构化输出错误导致 20% 请求重试，实际收益可能消失。把总运行时间、能源和调用次数除以最终通过的结果数量，才能看见真实成本。
输出长度也要计入。有些量化版本更容易重复或无法及时停止，表面上的每秒词元很快，实际却生成更多无用词元。工具调用还要统计参数校验失败和下游接口重试。
把人工修改时间纳入高价值任务。一个摘要模型平均分只下降一点，却更常漏掉关键数字，人工复核负担可能显著上升。
## 预测临界点的简单方法
为每个量化候选计算四组变化：最低任务通过率、峰值显存、P95 延迟和每个合格结果成本。先用质量硬门槛淘汰候选，再看剩余点是否跨越设备与吞吐台阶。
不要给不同指标随意加权求一个神秘总分。质量底线、设备容量和服务目标本来就是不同约束。更清晰的选择是寻找帕累托前沿：不存在另一个方案在质量、成本和延迟上都更好的候选才值得保留。
随后对前沿上的两三个候选做重复实验和置信区间。若差异小于运行波动，就不能宣称出现了引爆点；只有跨卡数量、可承载并发或稳定质量发生明确变化时，才称得上结构性跃迁。
## 敏感层可以保留更高精度
并非所有权重同样敏感。AWQ 的核心思想就是依据激活观察保护重要权重。实际工具也可能支持按模块设置精度、跳过输出层或采用不同分组大小。
当统一 4 位刚好越过质量临界点时，可以尝试混合精度：让少量敏感层保留 8 位或 16 位，其余继续压缩。这样常能用较小显存代价换回关键能力。
但混合配置会增加构建、部署和排障复杂度。只有当它确实跨过单卡容量或显著减少返工时才值得采用，否则简单稳定的 8 位方案可能更经济。
## 微调与推理量化不要混为一谈
QLoRA 会把基础模型量化到 4 位，再训练额外的低秩适配器，从而降低微调显存。它解决的是训练可达性，不代表最终推理配置自动最优。
训练完成后仍需在目标推理引擎中独立评测合并或挂载适配器的效果。量化基础模型、适配器精度和运行内核之间可能存在新的组合临界点。
Hugging Face PEFT 文档也指出，量化后的基础权重通常不直接继续更新，而是借助额外可训练参数进行适配。把这条边界说清，能避免将“4 位可微调”误读为“所有 4 位权重都在正常全量训练”。
## 上线后仍要监测漂移
离线测试通过后，先做影子流量或小比例灰度。比较原始模型与量化模型在真实输入上的分歧，重点观察数字、罕见语言、超长上下文、函数参数和安全拒答。
设置回退条件，例如关键子类通过率下降、P99 延迟恶化或重试率超过基线。保留原始模型作为对照，而不是量化版本上线后立即删除。
每次模型、运行库、GPU 或提示模板升级都要重新跑关键集。临界点属于“模型、数据、软件、硬件”的组合，不是一张可以永久复用的标签。
## 可预测的不是位宽，而是拐点
模型量化没有统一答案。8 位常是低风险起点，4 位经常带来显著容量收益，更低位宽则需要更严格的任务评测，但这些只是经验范围。
真正可靠的预测来自逐级扫描：固定基线，准备代表性校准与测试集，测量每个合格结果，再寻找质量弯折与硬件台阶。这样，“临界点”和“引爆点”就从营销词变成可以复验的工程决策。
## 参考资料