输入同一句提示词，换一个随机种子，人物服装颜色就变了；只把“红杯在蓝书左边”改写成近义句，物体关系却颠倒了。生成模型能够产出精彩样片，并不代表它对真实任务足够稳定。
讨论 Stability AI 模型的鲁棒性，应把“作品偶尔很好”与“系统经常按要求工作”分开。鲁棒性关注的是输入和环境发生合理变化时，任务结果能否保持，以及失败是否可被发现。
## 先明确鲁棒性不是一个总分
图像生成至少包含五类稳定性。语义鲁棒性要求提示词改写后核心内容不变；组合鲁棒性要求对象、属性和关系正确绑定；视觉鲁棒性关注随机种子变化后的质量下限；编辑鲁棒性要求局部修改时其他区域保持；系统鲁棒性则关注模型或推理组件升级后行为是否突然漂移。
不同产品的重点不同。概念设计允许多样性，商品图需要颜色和结构稳定，连续分镜需要角色身份一致，排版素材则更关心留白和文字区域。
因此，评测之前必须定义失败。没有任务标准，“更有创意”和“更不稳定”往往会被混在一起。
## 提示词改写测试语义是否真正被理解
为同一意图准备多种表达：调整语序、替换同义词、增加无关修饰、把肯定改成约束，或在长提示中移动关键条件。
如果模型理解核心语义，不同表达下的对象、数量和关系应大致保持。画风可以变化，但“两个玻璃杯放在木盘中”“左侧人物戴黄色帽子”等关键条件不能随机消失。
测试时要固定模型、推理参数与种子，再只改变提示表达；随后固定提示，改变种子。这样才能区分语言敏感性和采样波动。
## 组合关系是常见薄弱点
画面里同时出现多个对象时，属性容易串位。模型可能生成红球和蓝盒，却无法保证红球在盒内；两个人物可能交换服装；数量增加后，物体容易重复或缺失。
T2I-CompBench 把复杂生成拆成颜色、形状、纹理、空间关系和非空间关系等维度。GenEval 则用对象检测等方法评估对象共现、数量、位置和颜色。
这些基准的价值不在于给所有模型排一个永久名次，而是提供可重复的故障类别。团队可以据此建立自己的最小测试集，用真实业务对象替换通用示例。
## 随机种子要看分布，而不是挑最好的一张
生成模型带有随机采样。同一提示生成十次，平均质量、最差结果和合格比例都值得观察。
如果只展示最好的一张，无法估计生产成本。一个提示需要生成二十次才能得到可用素材，其真实效率可能低于一次生成略普通但稳定的模型。
可以记录“首张合格率”“十次内合格率”“人工挑选时间”和“严重错误率”。对人物或产品，还应观察结构破坏、身份漂移和不可修复细节。
## 局部编辑要测不该变化的区域
用户说“把杯子换成绿色”，理想结果只改变杯子。现实中，桌面纹理、光线甚至人物面部也可能随之重绘。
编辑鲁棒性需要两类指标：目标区域是否按要求改变，非目标区域是否保持。可以用掩码、感知相似度和人工盲评结合检查。
DreamBench++ 等个性化生成评测强调文本一致性、主体一致性和人类偏好。对品牌角色、连续分镜或商品样图而言，主体身份的稳定往往比单张美感更重要。
## 版本升级必须跑回归集
Stability AI 的模型系列从早期 Stable Diffusion 到 SD3 等架构不断变化。SD3 研究介绍了多模态扩散 Transformer，并通过人类偏好评价提示遵循、文字和视觉质量。
新模型总体更强，不代表每个旧工作流都更好。提示词权重、负面提示、采样器、控制模块和 LoRA 可能在新版本表现不同。
升级前应冻结一组生产提示、种子、参考图和推理配置，同时比较旧模型与新模型。结果要按任务切片：人物、产品、文字、复杂空间、局部编辑和极端长提示分别观察。
## 推理环境也是鲁棒性的一部分
同一权重在不同精度、量化方案、推理库和硬件上可能出现细微差异。优化内存时，速度提升不能只靠肉眼确认质量“差不多”。
记录权重哈希、VAE、文本编码器、调度器、推理步数、分辨率和随机种子，才能复现结果。对于插件链，还要锁定 ControlNet、LoRA 和预处理器版本。
压力测试应包含显存不足、并发请求、超时和中断恢复。模型能生成好图，但服务在高峰期丢失参数或返回半张图，同样是不鲁棒。
## 建立一个小而长期的测试集
从二三十个真实场景开始，每个场景明确必须出现、不能出现和允许变化的元素。为关键提示准备三到五种改写，每种运行多个种子。
自动指标负责筛查对象、颜色和相似度，人类盲评负责判断美感、自然度和难以形式化的失败。每次升级保留原始结果和差异报告，把线上投诉转成新的回归样本。
Stability AI 模型的鲁棒性不是“永远生成同一张图”，而是在允许创造性的同时，让关键约束、主体身份和系统行为保持可预测。真正可靠的生成流程，评价的是结果分布，而不是幸运样片。
## 参考资料