制造现场的视觉模型常要在产线旁持续运行。相机帧率固定，边缘工控机资源有限，网络又不能成为停线条件。模型量化因此很有吸引力：把原本的高精度数值换成更低位宽，减少存储和计算负担。
但量化不是把文件变小就算完成。只有目标硬件真正支持低精度算子，且缺陷召回、延迟和稳定性同时达标，它才会转化为制造效率。
## 量化在数值上做了什么
神经网络通常以 FP32 或 FP16 保存权重和中间激活。INT8 量化会用一个缩放系数和零点，把连续浮点范围映射到有限的整数格子。
ONNX Runtime 文档给出的线性关系可以理解为：浮点值约等于缩放系数乘以“整数值减零点”。映射后必然出现舍入，同一格子会代表一小段浮点范围。
位宽越低，模型文件和内存访问可能越少，但表示范围也更粗。少数极端激活可能把刻度拉得很宽，使常见数值挤在少量格子里，带来精度损失。
## 为什么制造场景适合尝试 INT8
表面缺陷检测、零件分类和定位大量使用卷积与矩阵运算，许多工业 CPU、GPU 和 NPU 都提供 INT8 加速。权重减小后，模型也更容易放入片上缓存。
同一设备如果能更快完成推理，可以处理更高线速、增加相机或给后处理留出时间。功耗下降还可能缓解密闭机柜散热，减少热降频。
这些都是可能收益，不是自动结果。旧处理器缺少合适指令、运行时频繁量化和反量化，或者关键算子退回浮点，都会让量化模型更慢。
## 动态量化与静态量化
动态量化在每次推理时根据激活计算缩放参数，适应输入变化较灵活，但会增加运行时开销。它常用于权重占比较大的循环网络和 Transformer。
静态量化先用校准数据运行模型，提前确定激活范围，再把参数写入模型。卷积视觉模型经常从静态量化开始，因为运行时路径更简单。
如果训练后量化无法满足质量目标，可以使用量化感知训练。训练时模拟舍入与截断，让权重适应低精度误差，但需要原始训练流程和更高维护成本。
## 校准数据必须像真实产线
校准集不是随便抽几十张清晰照片。它要覆盖白班与夜班、设备预热、灯具老化、不同批次材料、镜头污渍和正常振动。
缺陷样本虽然少，却可能具有异常亮点或纹理范围。若校准集全是正常件，缩放参数可能不适合最需要识别的异常。
校准数据也不等于评测数据。前者用来确定量化范围，后者独立判断质量。把同一批图片两用，会让结果过于乐观。
## 先把浮点基线测完整
记录模型版本、输入尺寸、预处理、后处理和目标设备。测量每类缺陷的精确率与召回率、定位误差、端到端尾延迟、内存和功耗。
对于产线，平均准确率常常不够。漏掉裂纹与把正常纹理误判为裂纹的代价不同，应为关键缺陷设置单独门槛。
同时保存一组困难样本，例如反光、半遮挡、边缘位置和相似纹理。量化后的回归首先会在这些边界条件上暴露。
## 算子支持决定真实速度
导出模型后检查运行时执行图，确认卷积、矩阵乘法和激活是否进入低精度内核。若模型在 INT8 与 FP32 之间多次切换，格式转换和数据复制会吞掉收益。
ONNX Runtime 支持 QOperator 与 QDQ 两类量化表示，并提供静态、动态和调试接口。具体格式应与部署后端匹配，而不是仅凭导出成功判断兼容。
硬件厂商的 NPU 还可能要求固定形状、特定通道布局或有限算子集合。实际产线使用的运行时版本必须纳入测试，实验电脑上的结果不能直接外推。
## 精度下降要定位到层
量化不是无损变换。若整体指标下降，先比较浮点与量化模型的中间激活，找出差异最大的层，再尝试调整校准方法、使用逐通道量化或保留少数敏感算子为浮点。
不要一开始就把所有层排除。混合精度确实可以恢复质量，但过多浮点岛会增加转换开销。每次改变后都要重新测端到端性能。
OpenVINO 和 ONNX Runtime 的工具都强调校准、性能与准确率验证。框架提供的是手段，最终阈值仍来自业务允许的误检和漏检范围。
## 量化后的收益怎样核算
比较同一设备、同一流量和同一预后处理下的结果。核心指标包括每秒合格帧数、第 95 或第 99 百分位延迟、峰值内存、持续功耗和热稳定时间。
若量化允许用更低成本设备替代原设备，还要计入重新认证、驱动维护、现场更换和备件成本。节约硬件采购，却增加大量运维复杂度，不一定划算。
同样要观察产线节拍。推理快了 5 毫秒，但相机曝光或机械动作占用 200 毫秒，整线产能可能没有变化。
## 从影子运行到逐步上线
先让量化模型在真实流量上影子运行，只记录结果，不控制分拣。比较数个完整生产周期，覆盖换线、换料和设备维护。
随后选择单条低风险产线灰度启用，保留浮点模型和人工复核作为回退。监控输入分布、各类缺陷召回、延迟、温度和运行时错误。
最后才扩大范围，并锁定模型、运行时、驱动与校准集版本。制造效率来自可持续运行，而不是一次实验室跑分。
模型量化最值得追求的目标，是在相同质量门槛下，让每个合格判断消耗更少时间、内存和能量。把数值映射、硬件执行和产线价值连成一条证据链，优化才真正落地。
## 参考资料