解读

面试官问的是“边际增益”，核心想验证三件事：

1. 你能否把“任务体系”这一运营动作从混杂变量中干净剥离出来；
2. 你能否用因果推断而非简单相关性回答“多一个任务，7日留存多几人”；
3. 你能否把结论落地到资源 ROI——为了提升1个百分点留存，是否值得再投一份奖品预算或研发人力。
   在国内互联网节奏下，回答必须兼顾数据可得性（埋点不全、灰度发布快）、业务 KPI（DAU、留存、营收）与合规红线（隐私、未成年人防沉迷），否则会被追问“落不了地”。

知识点

1. 边际增益=实验组7日留存率－对照组7日留存率，单位可换算为“每多曝光1次任务，多留下多少用户”。
2. A/B 实验是黄金标准，但国内常用用户分层+伪随机分流（如尾号哈希）解决设备未登录、小程序匿名问题。
3. **双重差分（DiD）**用于任务体系上线前后对比，抵消季节性与外部活动干扰。
4. 增量留存需看置信区间与功效检验（Power≥80%），避免把随机波动当成增益。
5. LTV 增量模型把留存提升换算成营收，公式：ΔLTV = Δ7留×后续转化率×ARPU×折现因子，用于跟奖品成本做 ROI 对比。
6. 合规点：任务奖品若涉及抽奖，需明示“概率”并在工信部营销类短信备案；未成年用户任务时长需受防沉迷系统截断，否则数据失真。

答案

第一步，定义指标：
7日留存 = 注册后第7天任意活跃（启动、下单、内容发布均可）的用户占比；
任务体系曝光 = 用户注册当日被展示至少1个可完成任务。

第二步，实验设计：

1. 随机选取10%新用户作为实验组，首日即展示任务中心；90%用户保持原流程，完全不曝光任务。
2. 为降低网络效应污染，采用设备级分流并屏蔽同设备多账号。
3. 实验周期至少覆盖2个完整7日留存窗口（即14天），确保样本进入稳态。

第三步，数据清洗：
剔除异常渠道（如应用商店刷量）、技术故障导致任务接口 5xx 的日期，保证实验组与对照组环境一致。

第四步，计算边际增益：

1. 实验组7日留存率 = 实验组第7日仍活跃人数 ÷ 实验组注册人数；
2. 对照组同理；
3. 边际增益 = 实验组留存率 － 对照组留存率，用两样本Z检验验证 p<0.05；
4. 换算成“每1000次任务曝光多留下多少用户”：
   边际增益 × 1000 ÷ 实验组曝光次数 × 实验组注册人数。

第五步，业务换算：
若边际增益为**+2.3%**，对应每1000曝光多留23人；假设后续30日转化率10%、ARPU 80元，则ΔLTV = 23×10%×80 = 184元；再对比任务奖品成本（每人0.8元），ROI = 184 ÷ 0.8 = 230，大于公司门槛ROI 1.5，结论可全量发布。

第六步，持续监控：
全量后跑CUPED（方差缩减）追踪4周，若边际增益衰减至<0.8%，则进入任务体系迭代期，避免奖品通胀。

拓展思考

1. 异质性增益：用Uplift Model看哪类用户（如三四线城市、女性、夜间注册）对任务敏感，可把任务预算动态倾斜，整体边际增益再提升20%以上。
2. 多任务叠加：当同时上线“签到任务”+“邀请任务”，需做2×2析因实验，否则两者互相稀释，会低估真实边际。
3. 长期副作用：任务导致“奖品疲劳”，30日后留存可能回落，可用队列分析对比第30日留存，若出现“借贷效应”，需降低奖品频率或引入随机掉宝心理机制。
4. 合规升级：2024年《个人信息保护法》要求用户画像需单独授权，任务体系若用实时兴趣标签做个性化，必须提供“一键关闭”入口，否则实验数据可能被监管清空。