解读

面试官问的是“召回效果评估”里的因果推断问题。国内互联网赛道日活波动大，节假日、热点、版本更新都会带来自然回流（用户主动回来），如果直接把回流用户算进召回功劳，就会高估渠道ROI、错判策略有效性。因此，必须用科学实验设计把“召回带来的增量”与“本来就会回来的人”拆开。回答要体现三层能力：①业务理解（知道国内回流曲线长、周期短）；②数据方法（能落地AB实验、匹配对照）；③结果落地（能把结论变成预算决策）。

知识点

1. 自然回流：未受任何触达、在观察周期内自主启动App的行为，国内通常以7天、14天沉默阈值划分。
2. 增量思维：召回目标不是“回来的人”，而是**“因为这条短信/推送多回来的人”**。
3. AB实验：随机分流+Holdout组是黄金标准；沉默用户池≥10万才可保证统计功效。
4. PSM/DID：当实验不可行时，用倾向得分匹配或双重差分构造“伪对照组”，控制性别、年龄、末次活跃天数、历史付费等强相关协变量。
5. 国内合规：短信通道需用户明确订阅，否则会被12321投诉下架；iOS推送必须走APNs，不能绕过系统弹窗。
6. 评估指标：核心看增量回流率（召回组回流率－对照组回流率），辅助看增量GMV、增量留存、边际成本。
7. 周期选择：国内电商大促多，节前7天、节后3天数据要剔除，避免季节性偏差。

答案

我会用“实验+修正”双轨方案，五步落地：

第一步，用户分层。把沉默60天内的用户按RFM+品类偏好切成8个象限，确保实验组与对照组在历史活跃度、付费强度、沉默天数三个核心维度无显著差异（p>0.05）。

第二步，随机分流+Holdout。从每个象限里随机抽10%用户完全不发任何触达，作为“纯自然回流”对照组；剩余90%再走短信、Push、优惠券等不同召回策略。分流颗粒度到用户ID尾号，避免设备ID重复。

第三步，数据回收。观察T+3、T+7、T+14三个回流窗口，记录启动、下单、付费行为。国内安卓碎片化严重，需把厂商通道回调+服务端埋点双写，防止漏回。

第四步，剔除干扰。用双重差分算增量：
增量回流率 =（召回组回流率－Holdout组回流率）－（基期召回组回流率－基期Holdout组回流率）
若实验前两组趋势已平行，可直接简化为单差；若样本量＜5万，则用PSM重新匹配后再差分，保证协变量标准差偏差＜10%。

第五步，结果落地。把增量回流人数×客单价×复购概率，得到边际GMV，再除以召回成本，算出增量ROI。只有ROI≥1.5且增量回流率提升≥30%的策略才全量放大；其余策略降级为低成本Push，避免过度骚扰。

通过以上五步，就能把自然回流剥离，真实召回效果误差可控制在±5%以内，为预算申请提供硬核依据。

拓展思考

1. 长周期沉默用户（90天以上）自然回流率极低，可直接用付费look-alike人群包做投放，省略Holdout，减少样本浪费。
2. iOS15隐私弹窗导致设备ID回收率下降，可改用SKAdNetwork+后端订单归因，把召回渠道与后续付费做概率匹配，继续估算增量。
3. 大促节点自然回流陡增，可提前两周锁组，把Holdout组隔离到**“促销屏蔽桶”**，防止被系统红包意外触达。
4. 内容型产品（短视频、阅读）需把**“回流后次日留存”**也纳入增量指标，否则会出现“回来即走”的虚假繁荣。
5. 组织协同：结论要同步给财务BP，把增量GMV计入**“市场拉动”**而非“自然业绩”，避免渠道抢功、预算错配。