同一个模型给出“风险较高”的判断，产品经理想知道该向用户展示什么，开发者想找到错误来自哪里，领域专家想确认模型是否用了合理依据，研究者则想追踪内部计算。大家都在问“为什么”，实际要的答案并不相同。
下面这场“圆桌”不是现实会议记录，也没有虚构专家引语。我们把六类常见研究与实践立场安排在同一张桌边，看它们分别能回答什么、不能证明什么。
## 第一席：先问解释服务于哪项决定
解释不是模型自动附带的说明书。它首先是一种面向特定使用者、支持特定任务的输出。
面对一次异常预测，工程师可能需要调试线索；面对一批样本，模型负责人可能需要发现数据偏差；用户则可能只想知道改变哪个条件会影响结果。若不先定义使用者和动作，团队很容易做出一张视觉精美、却无法指导任何决定的热力图。
最小需求可以写成一句话：“当某类结果出现时，某类使用者需要借助解释完成某项检查。”随后再选择方法，而不是先装一个解释库，再寻找它能解决的问题。
## 第二席：局部归因回答“哪些输入推动了这次结果”
LIME 在待解释样本附近制造扰动，再用一个简单模型近似黑盒的局部行为。SHAP 则把一次预测表示为各特征相对某个基线的贡献，并用合作博弈中的 Shapley 值建立统一的加性归因框架。
它们适合回答局部影响：这一次分类中，哪些词、像素或字段让分数升高或降低。它们并不自动说明现实世界的因果关系。两个高度相关的特征可能分摊贡献；改变背景分布、特征组合方式或解释器参数，结果也可能变化。
所以归因图旁边至少要记录模型版本、样本、基线、特征定义和解释器设置。没有这些条件，“重要性”只是一个无法复现的截图。
## 第三席：反事实回答“怎样改变才可能得到另一结果”
反事实解释不只是说哪个特征重要，而是寻找一组足以改变输出的可行修改。例如，若交付时间缩短两天、缺货率降低一个百分点，预测是否跨过阈值。
好反事实需要满足三件事：改动尽量少、条件在现实中可行、没有破坏特征之间的依赖。把年龄改小十岁，或同时给出互相矛盾的状态，数学上可能翻转预测，现实中却没有行动价值。
反事实仍然不是行动效果保证。它描述模型边界附近发生了什么，不代表现实系统接受这项改变后一定产生同样结果。可以把它当作“模型认为的可行方向”，再交给领域知识和实际实验验证。
## 第四席：概念解释把像素和字段翻译成人能讨论的单位
一些场景不关心单个像素，而关心“边缘破损”“液体浑浊”或“语气是否急迫”这类高层概念。概念瓶颈模型先预测人工定义的概念，再根据概念得出结果，使人能够检查甚至修正中间表示。
它的优势是语言更接近领域工作，代价是团队必须定义并标注概念。概念遗漏、边界含糊或标注不一致，会把偏差提前写进系统。模型也可能通过概念之外的旁路传递信息，因此“中间层有名称”不等于推理过程已经透明。
概念解释最有价值的地方，是让专家能提出可检验问题：修正某个概念后，最终预测是否按预期变化？如果完全不变，说明这个概念可能只是装饰。
## 第五席：机制分析追问模型内部怎样计算
归因通常从输入与输出观察行为；机制可解释性试图识别神经网络内部的特征、回路与计算过程。它更接近“模型内部发生了什么”，却也更难扩展到完整的大模型。
研究者可以先在小模型、已知任务或有限子回路上建立因果干预：抑制某个组件、替换激活、观察能力是否随之改变。仅凭激活可视化给一个神经元起名字，很容易把人类熟悉的意义投射到复杂表示上。
机制证据的强度来自干预、复现和预测能力，不来自图形看起来像不像某个概念。
## 第六席：人因研究关心“解释会怎样改变人的判断”
解释可能帮助人发现模型错误，也可能制造过度信任。2024 年一项包含五个预注册实验的人员选择研究发现，当 AI 建议本身错误时，热力图或图表式解释并没有消除其负面影响。
这提醒我们：解释准确、用户看懂、用户作出更好决定，是三件不同的事。实验不应只问“你喜欢这个解释吗”，还要测错误识别率、任务正确率、用时、信心校准以及何时选择拒绝模型建议。
面向不同角色，解释粒度也应不同。开发者需要原始特征和诊断细节，一线使用者可能需要可行动的简短依据，复核人员则需要完整输入、版本与决策轨迹。
## 验证席：先证明解释真的依赖模型
显著性图最容易让人被“像解释的东西”说服。NeurIPS 2018 的著名 sanity checks 通过随机化模型参数或标签，检验解释是否随模型改变；研究发现，一些显著性方法对这些变化并不敏感，更像在描绘输入边缘，而不是揭示模型学到的关系。
一套实用检查可以从四步开始：
1. **忠实性**：遮挡或改变高贡献特征，模型输出是否按解释预测的方向变化。
2. **稳定性**：输入发生无关的小扰动时，解释是否无故翻转。
3. **敏感性**：随机化模型或换用明显不同的模型后，解释是否仍几乎相同。
4. **人因效果**：解释是否真正帮助目标用户识别错误并完成任务。
这四步不能保证解释完美，却能排除大量“看上去很合理”的假透明。
## 圆桌的共同结论
可解释 AI 没有一张万能答案图。局部归因、反事实、概念模型和机制分析像不同测量仪器，各自观察系统的一部分；人因研究与验证则检查这些观察能否被正确使用。
最可靠的工作流，是先定义解释要支持的决定，再选择相称方法；同时保存模型、数据和参数条件，用干预或随机化检查忠实性，最后让真实使用者完成任务。解释的价值不在于让模型显得会讲故事，而在于让人更快发现何时可信、何时应当停下来复核。
## 延伸阅读