解读

面试官问的是“评估”，不是“提升”。他想知道你能否用数据闭环证明“内容质量分”这一指标确实驱动了用户把文章读完。核心考点有三层：

1. 质量分怎么算——必须可量化、可复现、可上线；
2. 因果怎么验——必须排除用户自选偏差、流量倾斜、算法推荐等混杂因子；
3. 结果怎么用——必须落到运营动作（流量分配、作者激励、垂类运营）。
   国内大厂普遍用**“内容理解模型+人工抽检+负向惩罚”**三级体系输出质量分，但面试时你若只背模型结构，不交代业务落地，就会被判“不接地气”。

知识点

1. 质量分构造

   • 基础特征：标题党概率、封面清晰度、正文错别字率、段落长度、信息密度、广告率。
   • 语义特征：BERT 中文预训练模型抽取主题一致性、情感极性、权威信源占比。
   • 互动特征：前 10 分钟完读率、点赞/评论的“真实度”（剔除刷量）。
   • 负向惩罚：搬运标记、低质历史、用户举报率。
     最终用XGBoost 或 Wide&Deep输出 0-100 分，并做分位映射（前 20% 给 S 级），方便运营看懂。

2. 因果验证方法

   • AB 实验：把推荐池随机拆成“实验组（质量分↑10%加权）vs 对照组（原权重）”，保证用户粒度随机、内容粒度随机、双盲。
   • PSM 倾向得分匹配：若无法干预推荐，则用历史数据，将“高分/低分”内容按作者粉丝数、垂类、发布时间、流量档位1:1 匹配，再比较完读率。
   • 断点回归：对质量分 60 分附近的内容，看 59.9 与 60.1 的完读率跳跃是否显著，验证阈值有效性。
   • 双重差分：先记录基线完读率，上线质量分加权后，再看“实验组-对照组”的差值变化，排除时间趋势。

3. 评估指标

   • 主指标：阅读完成率=完整阅读 UV / 曝光 UV（去重设备）；
   • 伴随指标：停留时长、次留、关注转化率、负向反馈率（点“不感兴趣”）；
   • 长期指标：作者侧 30 日活跃率、优质内容供给量。

4. 显著性与灵敏度

   • 用Welch’s t-test检验完读率差异，要求 p＜0.05；
   • 最小检测效应 MDE控制在 0.8 个百分点，低于此认为业务不可感知；
   • 实验样本量用国内 DAU 基准估算：若完读率 20%，想检测相对提升 5%，需约 1.6 M 曝光/组，实验周期 7 天覆盖完整周末。

5. 结果落地

   • 若正向显著，把质量分权重上调并固化到推荐策略；
   • 若负向显著，检查是否**“过度打压时效性”**导致爆款缺失，及时回调；
   • 将结论同步给作者运营，用“高质加权 20%”做冷启动流量包，激励生产。

答案

“我会分三步评估：
第一步，构造可上线的内容质量分。用中文 BERT+负向惩罚模型，每天离线打 0-100 分，并映射到 S/A/B/C 四档，确保人工抽检一致率≥92%。
第二步，跑随机对照实验。在推荐池随机抽取 10% 流量，把实验组质量分加权提升 10%，对照组保持原策略，核心看阅读完成率绝对值差异。同时用PSM 匹配做离线复验，确保结论稳健。实验前我会计算 MDE，保证 7 天可检出 0.8 个百分点提升；实验中实时监控次留与负向反馈，防止“高质但无趣”的副作用。
第三步，结果落地与迭代。若实验组完读率提升 1.2% 且 p＜0.01，我就把质量分权重固化进推荐引擎，并同步给作者侧：S 级内容冷启动流量+20%，形成正向循环。若结果不显著，我会拆分垂类看是否**“知识区受益、娱乐区受损”，再决定分区调权而不是一刀切。整个评估周期控制在两周内完成，保证策略敏捷迭代**。”

拓展思考

1. 如果老板要求“三天看到结果”，无法等 AB 实验，你会怎么用断点回归+实时仪表盘给出初步结论？
2. 当质量分提升导致曝光集中度上升、中腰部作者流量下跌时，如何设计**“质量-多样性”多目标权衡**的评估方案？
3. 在短视频场景，完读率定义变成“3 秒快滑率”，质量分特征需要新增哪些视觉与节奏指标？如何用多模态模型验证其因果效应？