解读

1. 面试官真正考察的是“统计不显著≠业务无价值”的认知深度，以及能否在算法、数据、合规、商业四维度做二次拆解。
2. 国内互联网节奏快、样本充足但噪声高，统计不显著往往源于“实验设计”或“指标定义”问题，而非功能本身无效。
3. AI 产品区别于普通互联网产品：模型输出有概率性、数据分布易漂移、合规红线（算法备案、个人信息保护法）会放大“不显著”带来的风险，因此决策链路更长。
4. 面试官希望听到“先保用户、再保业务、最后保技术”的中国式优先级，以及“用数据闭环把不显著变成可解释”的具体打法。

知识点

1. 统计功效与最小可检测差异（MDE）：国内 DAU 动辄千万，若仍不显著，需反检 MDE 是否设置过严、样本是否被“灰度策略”污染。
2. 分层实验 & 因果推断：中国用户地域、机型、渠道差异大，需用 CUPED+双重机器学习去偏，避免“平均效应”掩盖“局部增益”。
3. AI 产品特有指标：除了 CTR、GMV，还要关注“模型置信度分布”“Bad Case 率”“数据漂移 PSI”，这些往往比业务指标更早预警。
4. 合规沙箱：网信办《算法推荐管理规定》要求“显著影响用户权益的功能”需备案，若 A/B 不显著但存在“权益影响”片段，必须保留 5% 可回滚桶作为合规证据。
5. 业务阈值 vs 统计阈值：国内高层决策常用“ROI≥0 即上线”，此时需把 Bayesian 期望损失做成可视化看板，让老板在“统计不显著但期望 ROI 为正”时拍板。
6. 数据闭环：不显著结果要回灌到“标注—训练—评估”闭环，用主动学习挑出边界样本，二次迭代模型，而不是简单放弃功能。

答案

“我不会直接放弃，也不会盲目寻求更多证据，而是按‘三层验证、两步决策’流程推进。
第一层，实验诊断：先检查是否因‘流量切分不均’或‘新奇效应’导致不显著。国内常见问题是安卓渠道包更新延迟，造成实验组和对照组特征分布不一致，我会用 CUPED 修正并重新计算功效；若修正后仍不显著，进入第二层。
第二层，AI 指标拆解：把业务指标拆成模型指标+产品指标。举例：智能裁剪封面功能整体 CTR 提升 1.2%（p=0.18），但模型置信度>0.9 的子队列 CTR 提升 4.6%（p<0.01），说明模型在高置信区间有效。此时我会把策略改为‘置信度门槛 0.9 以上才展示’，用局部上线替代全量放弃，并同步把低置信样本回传标注，迭代模型。
第三层，合规与商业权衡：若功能涉及用户权益（如自动裁剪含人脸图片），即使不显著，也需在 5% 留痕桶继续观察 30 天，满足《算法推荐管理规定》第 12 条‘安全评估’要求；同时用 Bayesian 期望损失计算，若 95% 分位 ROI 仍大于 0，可向决策委员会申请‘灰度保量’，并约定触发‘负向 ROI 或投诉率>0.3‰’时 24 小时内回滚。
两步决策：1) 能定位到有效子人群即局部上线；2) 全人群无效且期望 ROI 为负才正式下线，并把实验特征存入特征仓库，供后续多任务模型复用，避免数据浪费。”

拓展思考

1. 如果老板坚持“统计不显著就下线”，如何说服？
   准备一张“统计功效—样本量—MDE”动态图，证明再跑 7 天即可把 MDE 从 1.2% 降到 0.8%，而延迟上线 7 天的机会成本 < 放弃功能带来的季度 GMV 损失，用数字换时间。
2. 遇到“长期效应”与“短期不显著”冲突怎么办？
   参考国内短视频平台做法：建立“长期留存延迟指标”(LTV_delay)，用双重差分对比 28 天后留存，若实验组 LTV 提升 2.3%（p<0.05），即使短期 CTR 不显著，也可申请延长观察期，并同步做用户访谈验证心智变化。
3. 如何沉淀为组织资产？
   把本次不显著实验的“特征重要性、Bad Case 分布、用户投诉关键词”做成知识图谱节点，接入公司级 AI 实验知识库，后续任何团队再做类似视觉封面优化，可一键查询历史结论，避免重复踩坑。