训练数据完全相同，只改变分类阈值、正则化强度或树的深度，模型在不同群体上的错误率就可能发生明显变化。偏差并不只藏在数据采集阶段，也会随着训练和部署配置被放大或缓和。
超参数优化通常自动搜索一组配置，让验证集准确率最高。若目标函数只有总体性能，搜索器自然不会关心某个样本较少的群体是否承担了更多误判。公平感知超参数优化的思路，是把群体差异也放进搜索和评测。
## 超参数和模型参数有什么不同
模型参数是在训练中从数据学习的权重；超参数则由训练者设定，例如学习率、正则化、网络宽度、树深、采样比例和决策阈值。它们决定模型怎样学习、容量多大以及最终如何把分数变成类别。
同一个超参数会产生不同影响。更强正则化可能减少小群体上的过拟合，也可能抹掉对该群体真正重要的模式。提高统一阈值会同时改变假阳性与假阴性，但变化幅度不一定在各群体相同。
因此，不能预先断言“参数越小越公平”。必须在明确任务和数据上测量。
## 公平不是一个单一数字
常见指标包括人口统计差异、选择率比、机会均等差异和群体校准。它们回答的问题不同，有时还无法同时满足。
例如，机会均等关注真实正例在不同群体中被识别的比例；校准则要求同样的预测分数对应相近真实概率。当各群体基础发生率不同，两者可能形成结构性冲突。
优化前要先说明系统用于什么决定、哪种错误代价更高，以及群体标签是否可靠。没有场景定义，只把差异压成零，可能得到没有实际意义的模型。
## 从单目标搜索变成帕累托探索
最简单的方法是在准确率损失上增加一个公平惩罚，并用权重控制二者关系。但权重把价值取舍藏进一个数字，不同权重会得到不同答案。
多目标优化更适合展示选择空间。搜索器同时记录性能和公平指标，形成帕累托前沿：前沿上的每个配置都无法在不牺牲另一目标的情况下继续改善。团队可以看到取舍，而不是被自动工具悄悄替代判断。
随机搜索、贝叶斯优化、Hyperband 和多臂老虎机方法都能扩展为公平感知搜索。Fairband 等研究展示了在有限计算预算下探索性能与公平配置的做法。
## 数据划分决定结果是否可信
小群体样本少，单次随机划分会造成指标大幅波动。某个配置看似改善差异，可能只是验证集中少了几个困难样本。
应使用分层划分，确保关键交叉群体在训练、验证和测试中都有代表；必要时做重复交叉验证，并为每个群体报告置信区间。最终测试集必须与搜索过程隔离，否则搜索器会间接过拟合测试指标。
交叉群体也很重要。分别检查性别和年龄，可能掩盖特定年龄与性别组合上的问题。切片越细样本越少，需要在可解释性和统计稳定性间平衡，并明确标出证据不足的区域。
## 阈值是超参数，也是产品决定
分类模型先输出分数，阈值再决定行动。很多系统训练完成后使用默认 0.5，却没有验证这个值是否符合实际成本。
可以针对任务选择阈值，甚至在某些研究场景比较群体阈值。但不同阈值会带来解释和一致性问题，不能只因数学指标改善就直接部署。更基础的改进可能来自数据质量、特征设计或流程中的人工复核。
## 不能让搜索器“优化掉”问题
自动优化器会利用指标漏洞。若只计算样本量足够的群体，它可能忽略最稀少人群；若公平惩罚按平均差异计算，正负方向还可能互相抵消。
因此，评分代码需要单元测试，报告原始混淆矩阵、样本数和方向，不只保存最终分数。候选模型还要在时间外、地区外或设备外数据上复验，确认改善不是某次划分的偶然。
公平优化也不能修复错误标签。若历史结果本身含有系统性偏差，模型逼近标签可能表现“准确”，却复制了问题。应在训练前检查标签生成过程，并将无法确认的样本与真正负例分开。
## 上线后参数关系还会变化
人群结构、输入设备和业务流程变化后，原来的帕累托前沿会移动。系统需要持续记录整体与分组表现，观察阈值附近样本、人工推翻率和反馈延迟。
发现漂移时，不应只重新跑一次自动搜索。先判断变化来自数据、标签、用户行为还是模型版本，再决定更新参数、补数据或修改流程。每次调参都应保留实验配置与可回滚版本。
## 超参数优化是一面放大镜
公平感知搜索的价值，不是找到永久正确的一组数，而是揭示“性能最好”之外还有哪些配置，以及每个选择由谁承担代价。它能把隐藏取舍变成可观察证据。
模型偏见是数据、目标、参数和使用流程共同形成的。超参数优化可以改善其中一环，也能帮助发现问题；只有把群体指标、统计不确定性和真实决策成本一起纳入，自动搜索才不会成为另一层黑箱。
## 参考资料