如何在客服场景选择“问题解决率”而非“点击率”作为北极星?

解读

面试官想验证三件事:

  1. 你是否理解北极星指标必须直接映射业务核心价值,而非技术 vanity 指标;
  2. 能否把大模型客服系统特有的多轮对话、答案可变性、幻觉风险纳入指标设计;
  3. 是否具备A/B 实验、数据闭环、LLMOps落地经验,能把指标变成可执行、可监控的工程方案。

国内客服场景普遍背负降本增效、合规免责双重 KPI,用“点击率”极易导致“标题党”回答或诱导点击,反而增加投诉量,与业务目标背道而驰。

知识点

  1. 北极星指标定义:唯一、可衡量、能体现产品对用户的不可替代价值。
  2. 客服场景核心价值:一次解决用户问题,减少转人工、降低工单量、提升满意度。
  3. 大模型客服系统特性:
    • 答案非固定,需实时检索知识库;
    • 存在幻觉与合规红线;
    • 用户问题多为长尾、口语化、多轮追问。
  4. 指标对比:
    • 点击率:仅衡量“用户点了一下”,无法判断是否真解决;
    • 问题解决率:通过用户确认、会话关闭原因、后续是否再次进线三阶信号综合判定,更贴近业务结果。
  5. 工程落地关键:
    • 埋点:在答案卡片上加“解决/未解决”二选一强制反馈;
    • 模型:训练轻量级二分类反馈模型对未显式反馈会话做自动标注;
    • 风控:引入敏感词+合规模型双重过滤,防止“点击率”驱动下的违规诱导;
    • 实验:采用用户级随机桶,保证同一用户多轮会话落入同一策略桶,避免指标失真;
    • 迭代:每周LLMOps 自动回扫低分会话,生成微调数据,实现指标-数据-模型闭环。

答案

“在客服场景,我们的终极目标是一次性帮用户解决问题,从而降低人工坐席溢出和投诉率。点击率只能反映‘用户是否点开了答案’,在大模型生成答案高度不可控的情况下,高点击可能伴随标题党、答非所问、甚至诱导点击的幻觉内容,反而拉高后续转人工率。

因此我们把北极星定为‘问题解决率’,定义为用户在会话内显式点击‘已解决’ 或静默 30 分钟无再次进线且系统情感模型判断为非负面情绪的三阶复合信号。

工程上,我们做了三件事:

  1. 在答案卡片强制二选一反馈,埋点上报到实时数仓;
  2. 对未反馈会话,用1.5B 轻量反馈预测模型自动打标,保证 95% 会话可计算;
  3. 每周跑LLMOps 自动回扫,把解决率<70% 的 query 聚类后回流到微调集,持续蒸馏给 70B 主模型,实现指标-数据-模型闭环。

上线三个月,解决率从 62% 提升到 81%,人工转接量下降 38%,验证了该北极星对业务核心价值的直接牵引。”

拓展思考

如果未来业务目标从“降本”升级为“营销转化”,是否仍沿用“问题解决率”?
答案是否定的。此时需引入分层北极星:

  • 服务类会话继续用解决率;
  • 营销类会话改用任务完成率(如办理成功、支付转化)。

工程实现上,需要先做多意图路由模型,把服务与营销流量拆分,再分别走不同指标桶,防止单一指标导致策略冲突。同时,营销桶需额外增加合规质检模型,确保大模型不会为冲指标而过度承诺,带来监管风险。