如果新模型提升了点击率但降低了转化率,您会如何判断其整体价值?

解读

面试官想验证三件事:

  1. 能否把“算法指标”翻译成“业务损益”;
  2. 是否具备“全链路”视角,把流量、收入、成本、合规、长期体验全部算清;
  3. 在不确定场景下,能否用数据驱动决策,而不是拍脑袋“要CTR”或“要CVR”。
    国内互联网已进入“存量精细化”阶段,只涨CTR不涨GMV的故事再也讲不通;同时《互联网广告管理办法》《个人信息保护法》对“诱导点击”打击趋严,CTR高但CVR掉可能伴随监管和客诉风险。因此,回答必须体现“算清账、控风险、给路径”。

知识点

  1. 北极星指标分层:
    • 顶层:利润 = 访客数 × CTR × CVR × 客单价 × 毛利率 – 成本 – 罚款/客诉损失
    • 中层:LTV、复购率、退货率、NPS
    • 底层:模型AUC、LogLoss、QPS、RT、算力成本
  2. 因果推断:
    • 用户分桶(UU维度哈希)保证无网络效应污染
    • 双重差分(DID)剔除季节、活动、竞对投放干扰
  3. 成本项拆解:
    • 算力:新增GPU/推理节点、CDN带宽
    • 标注: bad-case回流带来二次标注人力
    • 合规:诱导点击被工信部通报下架的“或有负债”
  4. 风险阈值:
    • 电商场景通常要求“CTR +Δ% 且 GMV +Δ%”,若CVR掉>3%,必须回滚
    • 内容社区更看“人均时长+广告CPM”,CTR高但7日留存掉>1%即触发熔断
  5. 决策框架:
    • 7天小流量 → 14天扩量 → 28天全量,每阶段设“收益置信区间”和“止损线”
    • 若ΔGMV 95%置信区间下限>0且合规无红灯,可上线;否则迭代模型或策略

答案

我会用“收益-风险-迭代”三步法判断整体价值,并给出可落地的决策阈值。
第一步,算清经济账。

  1. 取A/B实验最近7天数据,以用户为粒度汇总:
    实验组收益 = UV_exp × CTR_exp × CVR_exp × 客单价 × 毛利率
    对照组收益 = UV_ctl × CTR_ctl × CVR_ctl × 客单价 × 毛利率
    增量收益 =(实验组 – 对照组)– 新增算力成本 – 额外标注/审核人力 – 预计客诉赔付
  2. 用Bootstrap 10万次计算95%置信区间,若下限>0,则模型在“钱”上成立。
    第二步,评估风险与合规。
  3. 监控“诱导点击”负向信号:跳出率>+5%、投诉关键词“误导”“标题党”增长、举报率>0.3‰,任一触发即暂停扩量。
  4. 检查是否触碰《互联网广告管理办法》第8条“欺骗用户点击”,若法务给出黄灯,必须让算法侧加入“内容与落地页一致性”特征,重新训练。
    第三步,给迭代路径。
  5. 若ΔGMV下限>0且风险绿灯,允许继续扩量至30%流量,但设置“CVR回撤>2%自动回滚”熔断。
  6. 若ΔGMV下限≤0或风险红灯,立即回滚,并启动“CTR-CVR联合优化”项目:
    a) 在损失函数里加入CVR权重,采用多任务学习(ESMM/Shared-Bottom)
    b) 把转化信号(下单、授信、激活)延迟归因窗口从1天延长到7天,解决样本稀疏
    c) 引入“落地页质量分”作为特征,减少“标题党”带来的无效点击
  7. 两周后复测,直到CTR与CVR同时为正或至少GMV置信区间下限>0,再提全量申请。
    用一句话总结:先证明“多赚了钱”,再排除“违规与客诉”,最后给出“模型+策略”双循环的迭代方案,确保短期收入与长期体验双赢。

拓展思考

  1. 如果平台处于“融资讲故事”阶段,短期更看重CTR提升带来的“广告库存溢价”,是否就可以牺牲CVR?
    ——仍不行。国内资本市场2023年后对“亏损换规模”极度敏感,且广告主最终看ROI,CVR持续掉会导致下季度eCPM跳水,故事反噬。正确做法是同步披露“CTR提升→eCPM提升→广告主ROI持平”的闭环证据。
  2. 若业务是“现金贷”场景,CVR下降意味着“授信通过率”掉,但“坏账率”也掉,如何权衡?
    ——需把“利率×通过率×(1-坏账率)”做成联合目标,用风险定价模型求取“风险调整后收益”最大,而非单看CVR。
  3. 当模型迭代进入“长周期”阶段(如推荐系统月度更新),如何防止“CTR短期上涨但用户疲劳”带来的长期留存跌?
    ——在A/B阶段就引入“7日、30日留存”作为guardrail指标,采用贝叶斯优化做多目标权衡,必要时用强化学习把长期奖励折现进策略。