解读

面试官想知道三件事：

1. 你能否把“线下好、线上差”这一现象拆成可验证的假设；
2. 你能否把技术假设翻译成产品语言，让业务方听懂并愿意配合；
3. 你能否给出可落地的排查与修复路径，而不是只停留在“数据不一致”这种空泛结论。

国内真实场景里，线上差往往伴随“老板急、业务催、算法背锅”的三重压力，产品经理必须第一时间给出“先止血、再治病”的方案，否则项目直接暂停，预算被砍。

知识点

1. 指标层面

   • 主指标与护栏指标错位：线下只盯Accuracy/F1，线上却看CTR/转化率/客诉率。
   • 时间切片偏差：测试集用“T+0”全量标注，线上是“T+7”才拿到完整标签，导致AUC虚高。
   • 样本权重失真：测试集按“均匀采样”构建，线上真实分布是“二八长尾+热点事件漂移”。
   • 阈值/校准失效：线下用Youden Index选阈值，线上流量分布一变，概率校准就漂移，Precision@TopK直接跳水。

2. 数据层面

   • 特征穿越：测试集把“次日留存”当特征，线上实时推断时该特征根本拿不到。
   • 标注口径差异：测试集由“研究院黄金标注组”双盲标注，线上由“外包坐席”快速标注，后者漏标负样本20%+。
   • 数据闭环延迟：线上新数据回流要48小时，模型每周才迭代一次，导致“线下测试时已经偷偷用了未来数据”。

3. 系统层面

   • 推理性能降级：线上为了省GPU，把batch size砍半，引入随机dropout，导致输出方差变大。
   • 多模型混排：A/B实验里80%流量走旧模型，20%走新模型，结果报表把两桶数据混在一起算指标，看上去“线上差”。

4. 合规与业务层面

   • 敏感词过滤策略升级：内容审核模型周一上线，周三网信办下发新规，运营手动调高“拦截阈值”，导致召回率骤降。
   • 渠道流量突变：抖音突然放量，新用户占比从15%飙到45%，模型对“新用户冷启动”预测能力弱，整体指标被拉低。

答案

我会用“四维十六问”法30分钟内定位最可能的指标设置问题，并给出产品级修复方案：

1. 指标定义维
   ① 主指标是否与业务KPI同义？若线下看F1，线上看GMV，立即对齐“线上核心指标=钱”这一共识。
   ② 护栏指标是否缺失？内容审核必须同时看“误杀率≤0.5%”和“漏放率≤2%”，缺一个就会线上暴雷。

2. 时间窗口维
   ③ 测试集标签是“多久后的真相”？如果7天才能拿到完整负样本，线下评估就用“延迟标签模拟”——把最近7天数据全部标成unknown，再算指标。
   ④ 线上报表是否用“实时代理标签”代替“真相标签”？代理标签准确率<90%时，直接判定指标不可信。

3. 分布对齐维
   ⑤ 测试集是否按“线上流量分层采样”？我会让数据组用过去30天线上日志跑PSI>0.2的维度做分层，重新抽测试集。
   ⑥ 是否对“热点事件”单独留一折？比如618、双11、春节红包，必须独立验证，否则线下AUC 0.95也会翻车。

4. 阈值校准维
   ⑦ 线下选阈值时是否用“线上实际分布”做加权？我会用过去一周真实正负样本比例重算混淆矩阵，再挑阈值。
   ⑧ 概率校准是否用Platt Scaling或Isotonic？校准后Brier Score>0.1即判定不合格，禁止上线。

止血动作（当天可完成）：

• 把线上流量按“新/老用户”“渠道来源”拆桶，先关掉新用户桶，保证老用户指标不回退；
• 把模型输出概率降序截断，从Top 1000人工抽检100条，估算真实Precision，若<业务可接受下限，立即回滚。

治病动作（7天内闭环）：

• 数据组重标2000条线上高风险样本，用“延迟标签”重算主指标，确认真实GAP；
• 算法侧用“滚动窗口+PSI监控”每日触发自动重训，产品经理把“PSI>0.2”写进SLA，超标即升级P0事故；
• 业务侧同步更新“指标看板”，把“钱”和“体验”拆成两张图，老板一眼就能看懂模型到底影响了哪块收入。

拓展思考

1. 如果公司正在做“大模型+精排”两阶段架构，线下精排AUC 0.92，线上CTR却下降，你要怀疑：

   • 大模型生成的embedding是否每周才更新一次，导致精排看到的用户兴趣已过期；
   • 精排模型用“点击”做正样本，但大模型上线后曝光分布被改变，点击标签已经“被污染”。
     此时产品经理要推动“在线学习”试点：把精排模型改成“增量更新+延迟样本去偏”，并用“反事实CTR”做新指标，避免旧指标失效。

2. 在合规强监管场景（金融、医疗），线下指标再好，只要“可解释性”不过关，线上也会被监管一票否决。
   因此要把“关键特征稳定性”“决策路径可回溯”也纳入评估指标，例如：

   • 特征重要度TOP10的PSI必须<0.1；
   • 模型决策路径在LIME/SHAP值上与“业务专家规则”冲突率<5%。
     产品经理需要提前把这些“隐性指标”写进PRD，否则等监管检查时再补，就不仅仅是“线上表现不佳”，而是“直接下架”。