解读

面试官问的是“评估”，不是“设计”。他要的是可落地的衡量体系，而不是创意。国内主流 App 的勋章体系早已同质化，关键在能否用数据证明 ROI。因此，回答必须围绕因果推断、指标拆解、实验设计、业务归因四步展开，并给出可直接写入周报的结论模板。

知识点

1. 因果推断三板斧：A/B 实验、双重差分（DID）、断点回归（RDD）
2. 分享率口径：分享 UV / 活跃 UV、分享次数 / 活跃 PV、回流量 / 分享量（回流比）
3. 勋章展示触点：个人主页弹窗、feed 流置顶、成就墙红点、push 文案
4. 混杂变量控制：用户等级、历史分享习惯、活动周期、会员身份、内容品类
5. 显著性阈值：国内业务普遍要求 p＜0.05 且 提升≥3% 才全量，低于 1% 直接下线
6. 长期效应观测：7 日、30 日留存分享率 防止“薅完即走”
7. 成本收益模型：勋章开发成本 ÷ 实验期增量回流 UV，得出 单 UV 获客成本 是否低于同期投放买量成本

答案

我会用“实验设计—数据回收—业务归因—决策输出”四步完成评估，全程不超过两周，可直接落地。

第一步，实验设计

1. 圈选 近 30 日有活跃、无分享行为 的用户 20 万作为样本，防止“分享狂魔”稀释效应。
2. 采用 客户端分层随机，按用户 ID 尾号奇偶 5/5 开，确保实验组能看到勋章弹窗与成就墙红点，对照组任何触点都不出现勋章。
3. 实验周期 7 天，覆盖一个完整业务周期（含周末），并避开大促，防止活动噪音。

第二步，数据回收
核心指标：分享 UV 转化率、人均分享次数、回流比；
辅助指标：勋章页曝光点击率、勋章领取率、实验组 7 日留存。
所有指标均采集 实时埋点 + 离线 T+1 对账，防止埋点丢失。

第三步，业务归因

1. 用 双重差分 剔除自然增长：实验组分享率提升 4.2%，对照组自然提升 0.7%，净提升 3.5%，p=0.018，通过显著性检验。
2. 拆解用户分层：

• 新用户（0-30 天）净提升 6.3%，贡献 72% 增量；
• 老用户提升仅 1.1%，不显著。
  结论：勋章展示对拉新后的冷启动分享最有效。

3. 计算 ROI：实验期增量回流 UV 12.3 万，勋章开发+运营固定成本 8 万元，单 UV 获客成本 0.65 元，低于同期信息流买量 1.2 元，可全量。

第四步，决策输出
在周报中用一句话给老板：“勋章展示可让新用户分享率提升 6.3%，单回流 UV 成本 0.65 元，建议全量并叠加新人任务一起发。”
同时给出风险：老用户激励不足，需后续上线“勋章兑换积分”二次迭代。

拓展思考

1. 如果老板担心实验样本污染，可改用 时间片轮转实验（hour-level switchback），把一天切成 24 时段，随机开关勋章展示，用 断点回归 估计因果，适合高并发场景。
2. 勋章体系长期会失效，可建立 “勋章疲劳度”指标：同一用户 30 日内看到同一勋章次数 >3 时，分享边际效应下降 40%，此时应上线隐藏款勋章或阶梯式稀有勋章，维持稀缺感。
3. 结合国内隐私合规，iOS 端限制 IDFA 后，分层随机需改用 服务端 UUID + 设备指纹哈希，确保实验分组无偏。