解读

面试官想知道三件事：

1. 你是否能把“干预”拆成可落地的实验动作；
2. 能否用国内主流数据工具（如字节火山引擎、腾讯有数、阿里Quick BI、神策、GrowingIO）快速跑出可信指标；
3. 能否在业务、统计、合规三重约束下给出结论，而不是只报一个“留存率涨了2%”。
   因此，回答必须体现“实验设计→数据回收→显著性检验→业务解读→风险披露”的完整闭环，并主动cue中国用户隐私合规（《个人信息保护法》《数据安全法》）对埋点与分群的影响。

知识点

1. 30日留存定义：当日新增用户在第30天仍启动App且发生**关键事件（如支付、完课、发帖）**的占比，需先与面试官对齐事件口径。
2. 实验单元：用户粒度（user_id）唯一随机分组，避免设备ID漂移与账号ID合并带来的稀释效应。
3. 最小样本量：用中国用户留存基准方差（通常0.25–0.35）代入Power=0.8、α=0.05的双尾检验，可用火山引擎AB计算器秒出。
4. 指标层：
   • 核心指标：30日留存率（%）
   • 护栏指标：7日留存、次留、人均营收、Push退订率、客诉率
5. 统计方法：
   • 比例差检验（Two-proportion z-test）
   • Fisher精确检验（样本<1k时更稳）
   • CUPED（利用实验前30天活跃度作为协变量，降低方差10–30%，更快出显著）
6. 因果推断：若无法随机分组（如全量发券），用双重差分（DiD）或断点回归（RDD），并披露选择性偏差风险。
7. 合规：若干预含短信/外呼，需检查用户是否勾选营销偏好；若涉及端外数据，需确认SDK采集已弹《隐私政策》并取得单独同意。

答案

“衡量干预对30日留存的提升，我会分五步：
第一步需求澄清：与业务方对齐‘留存’口径，例如把‘30日留存’定义为‘新增当日启动且在D30发生至少一次订单支付’，避免后续扯皮。
第二步实验设计：

• 用火山引擎AB平台做用户粒度随机分流，实验组给干预（如新人打卡得券），对照组不给；
• 用历史留存方差0.3、预期相对提升10%，算出每组需1.8万用户才能90%检出显著；
• 同步监控护栏指标，防止为了30日留存牺牲短期营收。
  第三步数据回收：
• 通过神策埋点把‘launch+order’事件落库，T+1离线表回刷30天窗口；
• 用CUPED把实验前7天启动次数作为协变量，降低方差，提升统计功效。
  第四步显著性检验：
• 跑Two-proportion z-test，若p值<0.05且置信区间不包含0，则认为提升显著；
• 同步输出MDE（Minimum Detectable Effect），告诉业务“哪怕真实提升只有3%也能被检出”，防止盲目乐观。
  第五步业务解读与合规披露：
• 若实验组30日留存绝对值提升2.1pt，相对提升11.3%，且7日营收不掉，即可全量；
• 在汇报PPT里加一页合规声明：‘本实验已剔除未授权营销用户，样本符合《个人信息保护法》最小必要原则’，让法务安心。
  最后，我会把结论固化成月度复盘模板，下次同类干预直接复用，实现运营资产沉淀。”

拓展思考

1. 长周期污染：30日留存实验常遇到“中期活动叠加”，可用**分层实验（Layered Experiment）**把新活动作为第二层因子，避免交叉污染。
2. 用户异质性：用Causal Forest或Uplift Model找出“高敏感但易流失”人群，后续只对这部分人发券，ROI可再提升20–40%。
3. 合规升级：2024年起工信部要求Push消息必须提供一键关闭且在72小时内生效，未来30日留存实验需把退订率作为硬护栏，否则可能被下架。