解读

面试官把“显著差异”抛出来，核心想验证三件事：

1. 你是否第一时间意识到“差异=混杂”，会直接稀释因果推断的可信度；
2. 你是否能在国内真实数据环境里（身份证、手机号、设备号、支付行为、合规红线）快速拿出可落地的纠偏方案，而不是照搬国外论文；
3. 你是否能把“统计正确”翻译成“业务可接受”，兼顾算法效果、上线节奏与合规成本。
   因此，回答必须体现“数据合规→差异诊断→因果推断→业务决策”四步闭环，且每一步都给出国内可执行的细节。

知识点

1. 国内数据合规底线：
   • 不能出境、不能明文存储身份证、人脸需单独授权；
   • 使用运营商/支付公司标签需做联邦学习或脱敏匹配；
   • 未成年、女性、地域等敏感属性只能用于纠偏，不能用于模型特征。
2. 差异诊断：
   • SMD（标准化均值差）>0.1 或 Χ² p<0.05 即判显著；
   • 多维用马氏距离或PS 分布重叠度<0.8 需干预。
3. 纠偏方法：
   • 设计期：分层桶控+动态流量，用“城市-年龄-设备价位”三维分层，把差异压到实验前；
   • 分析期：PSM、双重差分、CUPED、断点回归，优先选PSM+加权，因为业务方看得懂；
   • 稳健性：同时报告 ATT、ATE、LOO（留一法）结果，差异>5% 就降级做A/A’ 小流量验证。
4. 业务翻译：
   • 把“ATE 提升1.2%，PSM 后1.1%”翻译成“核心付费人群（18-30 岁一二线城市）LTV 提升1.1%，对应季度收入+800 万，ROI>2”，让管理层秒懂；
   • 若纠偏后置信区间跨0，直接给出“继续观察 7 天/扩大样本到 30 万”两套预案，避免项目被砍。

答案

“遇到显著差异，我会按‘合规-诊断-纠偏-决策’四步处理，确保结论既科学又能落地。
第一步，合规自检。用脱敏后的用户画像做差异检验，敏感字段如民族、精确经纬度直接丢弃，仅保留“城市等级、年龄段、设备价位”三类可解释维度，确保不触碰《个人信息保护法》第28 条。
第二步，快速诊断。实验上线 2 小时后拉 10% 样本跑SMD，发现实验组“30 岁以上+下沉城市”比例高 8%，PS 分布重叠度仅 0.72，判定需纠偏。
第三步，同步做两套补救：

1. 设计层：立即把剩余 90% 流量按“城市等级-年龄-设备价位”做分层桶控，把差异压到 SMD<0.05，保证后续样本干净；
2. 分析层：对已有 10% 样本做 1:2 PSM，用“近 30 日活跃天数+消费档次”做匹配，卡尺 0.02，匹配后实验组 1.2 万人、对照组 2.3 万人，再跑加权 T 检验，核心指标（付费率）ATE 从 0.8% 修正到 1.1%，95%CI[0.4%,1.8%] 不再跨 0。
   第四步，业务决策。把结果包装成“核心付费人群 LTV 提升 1.1%，预计季度增收 800 万，ROI 2.3”，同步给出风险：若未来 7 天自然回流使重叠度重新低于 0.8，将触发 A/A’ 二次验证。管理层当场拍板全量上线。整个流程 48 小时内完成，数据未出境、无敏感字段明文存储，合规审计一次性通过。”

拓展思考

1. 如果差异维度高达上百且高度共线，PSM 会失配，可改用“双重机器学习”(DR-learner) 或“因果森林”，但需提前在离线环境用历史 6 个月数据做仿真，评估方差-偏差权衡，并向业务方解释“为什么黑色盒子也值得信”。
2. 在推荐系统场景，用户实时回流导致分布漂移，可把纠偏模型嵌入“在线实验平台”，每小时更新 PS 权重，用“加权汤普森采样”动态分流，实现“实验不中断、结论仍因果”。
3. 合规层面，若未来《网络数据安全管理条例》细则要求“算法纠偏过程可审计”，需把 PS 权重、匹配日志、加权代码一并存入“数据血缘”系统，确保 3 年内可追溯；产品经理要在 PRD 里提前预留接口，避免事后补作业。