如何细分人群(年龄、地域)分析 NPS 差异?

解读

面试官问的不是“NPS 是什么”,而是“在大模型落地场景里,如何用数据闭环验证不同人群对生成式 AI 产品的真实满意度差异,并反哺模型与产品迭代”。
国内业务语境下,NPS 采集常嵌入微信/支付宝小程序、企业微信客服、APP 内弹窗,回收率不足 3%,且存在强地域性网络环境差异与年龄层采样偏差;同时,大模型输出本身带有随机性,同一 prompt 在不同人群场景下可能触发截然相反的评分。因此,回答必须兼顾统计严谨性与LLMOps 可落地性,让面试官确信你能把“用户声音”转成“模型动作”。

知识点

  1. 分层抽样与后验加权:国内手机号实名带身份证年龄、运营商 IP 带省份,可用七普权重对样本做 raking,消除年龄、地域覆盖偏差。
  2. NPS 修正指标:
    • 文化负偏校正:东北与华北用户打分普遍偏低,需用地域随机效应模型(mixed-effect logistic)拉齐基准。
    • 年龄天花板效应:60+ 用户极少给 10 分,采用ordinal probit 将 0-10 映射到潜变量后再比较。
  3. 因果视角:大模型功能上线前后,同一人群 DID(双重差分)看 NPS 升降,排除季节性与竞品干扰。
  4. LLMOps 闭环:
    • 把 NPS≤6 的原始对话、模型版本、prompt 模板、地域、年龄写入特征日志;
    • 用语义聚类(BGE+KMeans)定位差评 high-level 原因,自动生成 fine-tune 数据;
    • 通过影子推理(shadow deployment)在灰度集群验证新模型,实时监控分人群 NPS 是否显著回升。
  5. 合规红线:年龄<14 样本需脱敏,地域粒度不得下探到区县以下,避免《个人信息保护法》高风险标识。

答案

“我会把流程拆成四步:
第一步,数据生产。在模型返回内容后 5 秒内埋点弹窗,问题只用两句中文:“您会把本功能推荐给朋友吗?0-10 分选一分”。同时拉取用户加密手机号归属省、身份证年龄段、终端网络类型三个主维度,确保样本可映射到七普权重。
第二步,偏差校正。先用 raking 把样本权重对齐全国年龄×省份分布,再用 mixed-effect 模型把地域随机效应和年龄序数效应打掉,得到校正后 NPS。例如,若广东 00 后原始 NPS=+30,校正后只有 +18,说明先前样本过度集中在一二线城市高活跃人群。
第三步,差异检验与因果推断。校正后按新七普年龄段(15-24、25-39、40-59、60+)与东中西部交叉分组,采用多重比较校正(Benjamini-Hochberg)控制 FDR<0.05。若发现 60+ 西部用户 NPS 显著低于均值 12 分,则对该人群启用DID 回溯:取功能上线前 14 天与上线后 14 天同一批留存用户,验证是否模型变更导致满意度下降。
第四步,LLMOps 闭环。把低分样本(≤6)连同对话 id 写入向量索引,每晚跑 BGE-large-zh 聚类,自动产出“60+ 西部用户反感冗长法律声明”这类主题,生成 5k 条精简回答样本,走LoRA 微调→影子推理→分人群 NPS 实时监控。若灰度桶中该人群 NPS 提升≥3 且 p<0.05,即全量发布。整个链路用Dify + MLflow 做版本管理,确保可回滚。”

拓展思考

  1. 如果公司要求小时级预警而非天级,你会如何把 NPS 计算从离线 Hive 搬到Flink 实时流,并用KLL sketch 解决窗口内样本稀疏?
  2. 当细分到民族语言地域(如藏、维)时,模型输出可能直接切换少语种,NPS 问卷是否也应双语?如何设计等效语义量表避免文化偏差?
  3. 未来要做付费订阅,需把 NPS 与续费率联合建模;你会用零膨胀泊松 还是 Beta-geometric 来预测人群级 LTV,并把结果反向写入 prompt 的“用户价值”动态变量?