解读

面试官想知道：

1. 你是否能把“唤醒”动作与“复购”结果用因果推断视角拆解，而非只看表面涨跌。
2. 在国内数据合规（个人信息保护法、数据安全法）与真实业务约束（预算小、样本少、用户行为碎片化）下，你怎样快速、低成本地给出统计显著且业务可信的结论。
3. 你能否把结论翻译成业务语言，让老板一听就懂，并直接指导下一步预算投放。

知识点

1. 实验设计：随机对照试验（RCT）是黄金标准；若无法强制不触达，则用准实验（PSM、CUPED、双重差分）。
2. 指标口径：
   • 复购用户 = 唤醒前30天无下单，唤醒后7天内完成下单且订单实付 ≥ 5 元（剔除刷单、退款）。
   • 复购率 = 复购用户数 / 唤醒触达用户数。
3. 显著性检验：
   • 两组独立样本用双尾 Z 检验或Fisher 精确检验（样本量 < 1000）。
   • 若用配对策略（同用户前后对比）则用McNemar 检验。
   • 多重检验校正：BH 法控制 FDR ≤ 5%。
4. 最小检测效应（MDE）：提前用功效分析算出所需样本，避免“不显著却硬解释”。
5. 业务显著性：统计显著 ≠ 业务显著，必须叠加增量 ROI 判断：
   增量 GMV – 唤醒成本 > 0 且 ROI ≥ 1.5（国内电商通行红线）。
6. 数据合规：
   • 埋点与触达前必须获得用户明示同意（弹窗文案需含“营销”字样）。
   • 使用脱敏 UID，实验数据不出境，报告只聚合。

答案

步骤一：明确因果人群

• 取“近 30 天未下单 + 近 90 天有过下单”的沉默用户作为唤醒池，随机 90% 进实验组（发券/短信）、10% 进空白对照组（无任何触达），确保随机分桶在用户 ID 尾号层面完成，避免设备 ID 重复。

步骤二：锁定观察期与口径

• 以触达当日为 T0，统计 T+1 至 T+7 的下单情况；复购门槛为实付 ≥ 5 元且未退款。

步骤三：样本量与功效预检

• 假设对照组复购率 4%，期望相对提升 25%（即 5%），α=0.05，power=0.8，用双尾 Z 检验算出每组至少 5 500 人；若池子不足，则延长招募期或放宽 MDE至 30%，并在汇报时如实披露。

步骤四：显著性计算

• 实验组复购率 p1，对照组 p2，合并标准误 SE = √[p(1–p)(1/n1+1/n2)]，Z = (p1–p2)/SE。
• 若 |Z| > 1.96，p < 0.05，认为统计显著；同步给出95% 置信区间，例如提升 +1.2 pp，CI[0.4 pp, 2.0 pp]。
• 若做多重细分（人群、券面额、渠道），用BH 法校正，避免“假发现”。

步骤五：业务侧校验

• 计算增量 GMV =（实验组人均 GMV – 对照组人均 GMV）× 实验组人数。
• 唤醒成本 = 短信 0.035 元/条 + 优惠券让利 8 元/张；若增量 GMV 120 000 元，成本 20 000 元，则 ROI = 6，远超 1.5 红线，结论“可全面放量”。

步骤六：输出一句话结论
“本次唤醒实验样本 1.2 万，7 日复购率提升 1.2 个百分点，统计显著（p=0.018），预计月放大至 100 万沉默用户可带来增量 GMV ≥ 800 万，ROI 6 倍，建议立即全量上线并追加 50 万预算。”

拓展思考

1. 长期效应：7 日复购显著，但 30 天留存可能稀释，建议用CUPED把 pre-T0 消费额作为协变量，减少方差，延长观察至 30 天。
2. 渠道疲劳：短信+APP push 组合在 3 次触达后边际效应骤降，可引入频次上限策略（国内运营商对同一用户营销短信≤3 条/周）。
3. 用户分层：对高客单沉默用户改用私域社群唤醒，低客单用户继续券驱动，用Uplift Model找“真正能被影响的人”，把预算花在增量敏感人群，整体复购率提升可再放大 15%。