“使用新功能的人留存更高”，不能直接推出“新功能提高了留存”。也许本来就更活跃的人更愿意使用它。数据展示的是共同变化，技术决策需要回答的却是：如果同一个人在相同条件下没有使用功能，会发生什么？
因果推断用反事实语言把这个问题说清楚。对每个对象，我们想比较接受干预与不接受干预的结果，但现实中只能观察其中一个。所有方法都在用设计与假设补上无法同时看到的另一种可能。
## 先定义干预，而不是先选算法
“AI 对用户有影响”不是可估计问题。需要明确谁在什么时间接受了哪种变化，比较条件是什么，结果在多长时间后测量。
例如，把“上线推荐系统”改成“向符合条件的新用户显示个性化首页七天，与显示统一首页比较，并测量第八天是否回访”。干预、对象、时间和结果都变得可检查。
还要区分总体平均效应与特定群体效应。平均提高可能掩盖某些用户没有收益。探索异质性时，应预先定义关键切片，避免在大量分组中只挑显著结果。
## 因果图帮助发现不该控制的变量
有向无环图用节点表示变量、箭头表示假设中的因果方向。画图的价值不是装饰，而是迫使团队说明哪些因素同时影响干预和结果，哪些变量位于干预之后。
混杂变量通常需要控制，例如用户原有活跃度同时影响功能采用和留存。中介变量则处在干预路径上，若把它控制掉，估计的问题会改变。碰撞变量由两个因素共同造成，随意筛选它反而会制造虚假关联。
图不能由数据自动证明。它是领域知识的明确表达，应该让产品、数据和业务人员共同质疑，并记录不同版本。
## 随机实验是强工具，但不是万能答案
随机分配让两组在平均意义上具有可比性，减少已知与未知混杂。A/B 测试因此适合可控、可逆的产品变化。
实验仍可能失败。用户跨组影响会破坏独立性，实验期间只看点击可能忽略长期结果，提前停止则增加偶然显著。分流、曝光和指标计算都要做样本比例检查与日志验证。
更重要的是，实验回答的是特定版本、特定人群和特定时期的问题。一次结果不能自动推广到所有市场或未来版本。
## 不能随机时，依赖的是更强假设
观测研究可用匹配、加权、回归调整等方法，在给定已测混杂变量的条件下构造可比组。核心假设是没有遗漏重要混杂，这通常无法完全由数据检验。
差分中的差分比较处理组与对照组在干预前后的变化差。关键是平行趋势：若没有干预，两组原本应沿相似趋势变化。现代研究提醒，多期、分批实施时，简单双向固定效应可能产生难解释的加权，需要使用适合的组别与时间估计。
断点回归利用阈值附近对象的近似可比性，工具变量则借助只通过干预影响结果的外生变化。每种方法都有专属假设，算法名称不会替团队承担证明责任。
## 预测模型和因果模型回答不同问题
预测模型可以准确识别谁会流失，却不一定知道给谁发送优惠最有效。最可能流失的人，也可能无论是否干预都不会留下。
因果决策关注增量效果，即一个行动对不同对象造成的变化。uplift 或条件平均处理效应模型可估计异质效应，但它们仍依赖实验或可信观测设计提供训练信号。
离线指标也要与决策目标匹配。只看预测误差，不能证明排序后的行动带来更多净收益；需要通过后续实验或策略评估验证。
## 技术负责人应要求一张“假设账单”
每个因果结论都应附带假设：数据如何产生，哪些变量在干预前测量，是否存在干扰，缺失如何处理，结果为何能推广。
还要记录分析自由度。指标、样本窗口和异常处理若在看到结果后反复调整，会增加选择性报告。预先写下分析计划，并同时展示主要与稳健性结果，可以减少这种风险。
负向对照和安慰剂测试也很有用。把虚假干预时间放到真实干预之前，若仍出现强效果，可能说明趋势或模型有问题。更换合理的模型与窗口后结论是否稳定，也比单一 p 值更重要。
## 从决策价值而不是显著性出发
统计显著不等于业务值得做。一个极小效果在大样本下也可显著，却可能抵不过工程成本、延迟或副作用。反过来，样本少的关键场景即使区间较宽，也可能需要谨慎试点而非直接忽略。
因果分析应报告效应大小与置信区间，再结合实施成本、风险和可逆性。对高影响决策，最好让独立人员复核数据生成过程与关键假设。
因果推断的核心不是一套神奇库，而是一种纪律：先说清想改变什么，再建立可信比较，最后诚实表达假设和不确定性。对技术负责人而言，这种纪律能让“数据驱动”从相关性看板，走向真正可以检验的行动问题。
## 参考资料