解读

面试官问的是“因果衡量”而非“相关描述”。在国内主流 App 中，排行榜几乎都与停留时长、广告曝光、付费转化直接挂钩，因此公司希望候选人能用可落地的实验设计与数据指标证明：排行榜确实让用户“多停留”，而不是用户本来就活跃才去看排行榜。回答必须体现实验思维、埋点体系、统计严谨性与业务解读力。

知识点

1. 活跃时长口径：国内通常取“前台活跃时长”（App 在前台的秒级累加），需去重后台驻留与异常心跳。
2. 核心指标：人均日活跃时长（avg_daily_session_duration）、次均时长（avg_session_length）、深度访问率（>5 min 会话占比）。
3. 实验单元：用户粒度的 A/B 实验，分流字段用用户 ID 哈希，避免设备 ID 漂移。
4. 因果识别：双重差分（DiD） 或CUPED 方差缩减，控制基线时长差异。
5. 显著性：t 检验或Mann-Whitney U，样本量用功效分析（power≥80%，α=0.05）。
6. 埋点规范：曝光埋点（show_rank_list）、点击埋点（click_rank_card）、退出埋点（quit_rank），三者必须带session_id与rank_type。
7. 国内合规：实验需**《个人信息保护法》**合规，不上传原始日志，只上报聚合指标。

答案

我会用“A/B 实验 + 指标拆解 + 因果检验”三步法衡量：

1. 实验设计
   把日活用户按用户 ID 哈希随机分为两组，实验组首屏强制露出排行榜，对照组保持原样；实验周期14 天，覆盖两个完整周中周期，排除节假日偏差。

2. 指标定义
   核心指标：人均日活跃时长（实验组 vs 对照组）。
   辅助指标：

   • 排行榜渗透率（曝光/日活）
   • 排行榜点击深度（人均点击卡片数）
   • 连带消费时长（点击排行榜后 30 min 内非排行榜内容消费时长）
     全部指标用CUPED 缩减方差，基线取实验前 7 天时长。

3. 因果检验
   先用双重差分计算实验组与对照组的时长净增量（Δ=+8.3%，p=0.012）；再用断点回归验证排行榜曝光 5 秒附近是否存在跳跃效应，确保结果不是自选择偏差。
   若Δ>5% 且 p<0.05，即判定排行榜对活跃时长有统计显著且业务显著的拉动；同时ROI=时长增量×广告 eCPM 增量 – 榜单运营成本，ROI>1 即可全量发布。

拓展思考

1. 长期效应：排行榜可能产生**“审美疲劳”，需做6 周滚动实验**，观察留存衰减系数（retention_decay）。
2. 人群差异：用Causal Forest识别高敏感人群（如 18-24 岁、二次元兴趣标签），后续做定向榜单策略，把 8.3% 的拉升提升到 15%。
3. 负向监控：若时长拉升但次留下降，说明**“刷榜低质量停留”，需引入互动深度指标**（点赞、评论、关注）做Pareto 约束，确保时长与质量双升。