用户很少直接感受到一个模型消耗多少电，却能立刻感受到手机发热、风扇噪声、首字延迟、云账单和限流。所谓绿色 AI，最终必须落到这些可以测量的体验上。
它不是单纯选择最小模型，也不是购买一个“低碳”标签。更准确的问题是：完成同样质量的任务，需要多少焦耳、多少秒、多少硬件和多少次重试。
## 第一次测量通常会推翻直觉
很多团队用 GPU 额定功率乘运行时间估算能耗。额定功率不是实际功率，CPU、内存、网络和冷却也没有计算进去。MLPerf Power 的公开规则强调，经过验证的系统能耗需要在对应工作负载运行期间测量完整系统的交流输入。
小团队可以从插座电能计或机架 PDU 开始，记录空闲基线、任务开始结束时间、请求数和成功数。云服务无法直接测墙上电量时，至少保存实例类型、利用率、运行时长和服务商提供的测量范围，并明确哪些是估计值。
不要只报告瓦特。功率是瞬时速度，能量才是完成任务的总消耗。一个高功率设备若更快完成并进入空闲，可能比低功率但长时间运行的设备更省电。
## 把质量写进分母
“每个请求多少焦耳”只有在任务质量相同时才可比较。若小模型让用户不断重试，表面上的单次能耗下降会被重试吞掉。
为自己的场景建立质量门槛，例如摘要事实正确率、字段解析成功率、代码测试通过率或语音识别字错率。然后比较达到门槛的每个成功任务能耗、延迟与成本。
同样要固定输入长度、输出上限、批大小、精度格式和软件版本。不同默认配置跑出的能效数字，没有可比意义。
## 最有效的优化往往发生在模型调用之前
无关上下文会增加预填充计算。把整份知识库塞进提示词，不如先过滤权限、日期和文档类型，再检索少量相关片段。长会话要总结旧轮次，只保留决定当前任务的事实。
输出也要设边界。分类任务不需要长解释，结构化抽取可以限制字段。用户真正需要长答案时再扩展，而不是让所有请求默认生成到最大长度。
缓存适合输入稳定、权限一致且时效要求低的结果。缓存键必须包含模型版本、提示模板、关键参数和数据版本，否则省下电量的同时可能返回旧答案。
## 小模型、量化与路由要一起看
简单任务先由小模型处理，复杂或低置信度请求再升级。路由本身也要评测，因为错误路由会造成二次调用。
量化能降低内存与带宽，但收益取决于硬件内核和批量。4 位模型并不保证在所有设备上更快；某些格式需要频繁反量化，反而增加延迟。
使用同一批真实请求比较浮点、8 位与 4 位版本，记录成功任务能量、首字延迟、吞吐和质量。模型变小只是手段，最终判断仍是整个系统的结果。
## 批处理可以省电，也可能伤害体验
离线嵌入、夜间转写和批量分类适合合并请求，让加X器 保持高利用率。实时聊天若为了批量等待太久，用户会感到卡顿。
按延迟预算分队列：交互请求使用小批量和短等待，离线任务用大批量。观察利用率曲线，避免实例长时间只处理零星请求。
自动扩缩容要设置冷却时间。负载波动时频繁启动和关闭实例，会产生预热、模型加载和缓存失效成本。
## 用户端也属于系统边界
把推理移到手机可以减少网络传输和云端负载，却可能增加设备发热和电池消耗。端云选择要看隐私、离线需求、模型大小、使用频率和本地芯片能力。
移动端记录单位任务电量、温升、峰值内存和完成时间。持续监听的功能尤其要测待机消耗，不能只测一次短推理。
下载一个大模型的流量与存储也有成本。按模块更新、复用模型和允许用户在充电或 Wi-Fi 时下载，往往比继续压缩一次推理更影响真实体验。
## 碳排放不是电量的同义词
同样一度电在不同地点和时段对应的发电结构不同。把能耗换算成排放时，要写明区域、时间、数据来源和估算方法。
转移任务到低碳时段适合可延迟工作，但不能忽略数据传输、服务可用性和额外实例。购买合同中的能源属性也不同于当地电网实际物理供电结构；IEA 的能源与 AI 报告专门区分了两者。
先可靠降低能量，再透明报告换算假设，比只展示一个没有边界的“碳减排百分比”更有意义。
## 一次真实的优化迭代
先选择一周真实流量，去除敏感内容后形成可复现样本。测当前系统的质量、P50 与 P95 延迟、成功任务能量、重试率和空闲能耗。
第二轮只做上下文裁剪和输出限制；第三轮加入缓存与批处理；第四轮再比较小模型、量化和硬件。每轮保留前一版本，避免多项同时修改后无法解释收益。
绿色 AI 的好体验通常很朴素：设备更安静、回复更快、账单更稳，而且质量没有下降。只有当这些变化能够被同一套任务与测量复现，“绿色”才不是营销形容词，而是工程能力。
## 参考资料