如何在客服场景选择“问题解决率”而非“点击率”作为北极星?
解读
面试官想验证三件事:
- 你是否理解北极星指标必须直接映射业务核心价值,而非技术 vanity 指标;
- 能否把大模型客服系统特有的多轮对话、答案可变性、幻觉风险纳入指标设计;
- 是否具备A/B 实验、数据闭环、LLMOps落地经验,能把指标变成可执行、可监控的工程方案。
国内客服场景普遍背负降本增效、合规免责双重 KPI,用“点击率”极易导致“标题党”回答或诱导点击,反而增加投诉量,与业务目标背道而驰。
知识点
- 北极星指标定义:唯一、可衡量、能体现产品对用户的不可替代价值。
- 客服场景核心价值:一次解决用户问题,减少转人工、降低工单量、提升满意度。
- 大模型客服系统特性:
- 答案非固定,需实时检索知识库;
- 存在幻觉与合规红线;
- 用户问题多为长尾、口语化、多轮追问。
- 指标对比:
- 点击率:仅衡量“用户点了一下”,无法判断是否真解决;
- 问题解决率:通过用户确认、会话关闭原因、后续是否再次进线三阶信号综合判定,更贴近业务结果。
- 工程落地关键:
- 埋点:在答案卡片上加“解决/未解决”二选一强制反馈;
- 模型:训练轻量级二分类反馈模型对未显式反馈会话做自动标注;
- 风控:引入敏感词+合规模型双重过滤,防止“点击率”驱动下的违规诱导;
- 实验:采用用户级随机桶,保证同一用户多轮会话落入同一策略桶,避免指标失真;
- 迭代:每周LLMOps 自动回扫低分会话,生成微调数据,实现指标-数据-模型闭环。
答案
“在客服场景,我们的终极目标是一次性帮用户解决问题,从而降低人工坐席溢出和投诉率。点击率只能反映‘用户是否点开了答案’,在大模型生成答案高度不可控的情况下,高点击可能伴随标题党、答非所问、甚至诱导点击的幻觉内容,反而拉高后续转人工率。
因此我们把北极星定为‘问题解决率’,定义为用户在会话内显式点击‘已解决’ 或静默 30 分钟无再次进线且系统情感模型判断为非负面情绪的三阶复合信号。
工程上,我们做了三件事:
- 在答案卡片强制二选一反馈,埋点上报到实时数仓;
- 对未反馈会话,用1.5B 轻量反馈预测模型自动打标,保证 95% 会话可计算;
- 每周跑LLMOps 自动回扫,把解决率<70% 的 query 聚类后回流到微调集,持续蒸馏给 70B 主模型,实现指标-数据-模型闭环。
上线三个月,解决率从 62% 提升到 81%,人工转接量下降 38%,验证了该北极星对业务核心价值的直接牵引。”
拓展思考
如果未来业务目标从“降本”升级为“营销转化”,是否仍沿用“问题解决率”?
答案是否定的。此时需引入分层北极星:
- 服务类会话继续用解决率;
- 营销类会话改用任务完成率(如办理成功、支付转化)。
工程实现上,需要先做多意图路由模型,把服务与营销流量拆分,再分别走不同指标桶,防止单一指标导致策略冲突。同时,营销桶需额外增加合规质检模型,确保大模型不会为冲指标而过度承诺,带来监管风险。