如何评估签到功能对DAU的边际贡献?
解读
面试官问的是“边际贡献”,不是“有没有用”。他想知道:
- 在现有用户池里,多一个签到入口,到底能多带来多少真实活跃;
- 你能否用可复现、可量化的方法把这部分增量从自然波动、其他运营活动中剥离出来;
- 结论能否直接指导资源投入与迭代节奏。
回答必须体现数据敏感度、实验设计能力、业务落地经验,否则会被判“只会看报表”。
知识点
- 边际DAU定义:实验组在相同时间窗口内,额外活跃的用户数,需剔除自然活跃、活动干扰、季节因素。
- 因果推断黄金标准是A/B实验,国内主流App日活千万级以上,分流粒度一般到用户ID哈希,最小样本量用比例检验公式计算,显著性水平α=0.05,power=0.8。
- 指标层:
- 核心指标:实验组DAU – 对照组DAU(绝对值)
- 辅助指标:人均启动次数、停留时长、次留、7留、签到率漏斗
- 混杂控制:
- 同期活动用分层实验或CUPED降方差
- 新用户稀释用新老用户分层
- 周末效应用7天滚动平滑
- 长期价值:用LT增量=边际DAU×后续30天人均GMV估算收入贡献,防止“虚假繁荣”。
- 负面指标:Push权限关闭率、卸载率、客诉率必须同步监控,国内应用商店差评舆情会在24小时内爆发。
答案
我会用“实验-归因-估值”三步法,两周给出可落地的边际贡献结论。
第一步,实验设计
- 选工作日平稳期(避开电商大促、节假日),从日活千万级用户池中**随机抽取10%**做实验组,90%对照组,用户粒度哈希,确保SSOT(单一真实分流)。
- 实验组新增签到入口:首页浮层+个人中心红点,对照组完全无感知。
- 埋点规范:签到曝光、点击、完成、领取奖励四段埋点,服务端落库,防止客户端丢失。
第二步,数据归因
- 跑7天核心指标:实验组DAU均值比对照组高1.8%,p值=0.012,通过显著性检验。
- 用CUPED把历史30天活跃度作为协变量,方差降低22%,边际DAU置信区间收窄到**[1.4%, 2.2%]**,绝对人数约4.2万。
- 下钻发现增量70%来自低频老用户(30日内启动≤3次),新用户无显著差异,说明签到对促活而非拉新。
第三步,业务估值
- 边际DAU 4.2万 × 后续30天人均GMV 18元 = LT增量756万元
- 减去奖励成本(每人0.8元券+0.2元积分),净收益≥600万元,ROI>5
- 负面指标:Push关闭率提升0.05个百分点,在可接受范围
结论:签到功能对DAU的边际贡献为+1.8%(4.2万人),ROI>5,建议全量发布并继续迭代奖励梯度,但需监控卸载率与舆情。
拓展思考
- 如果老板要求“不开发只分析”,可用双重差分(DiD):选取历史已上线签到功能的相似App做同期对照,但国内用户结构差异大,结论可信度低于A/B。
- 当边际收益递减时,可进一步做剂量实验:把连续签到奖励从7天延长到14天,观察边际DAU弹性,找到最优奖励深度。
- 签到与会员体系耦合后,需用因果森林识别高敏感度人群,做定向签到+会员联合礼包,把边际DAU转化为高净值DAU,实现ARPU二次跃升。