解读

面试官想验证三件事：

1. 你是否能把“模型衰退”拆成可量化、可告警的子问题；
2. 你是否熟悉国内真实数据链路（埋点→数仓→模型服务平台→业务后台），知道在哪一层埋指标；
3. 你能否把技术指标翻译成业务可理解的语言，并给出闭环治理方案。
   回答时要体现“提前”二字：不是等AUC掉5%才行动，而是能在1%时就触发预警，并给出业务可接受的误判成本。

知识点

1. 渐进式衰退（Slow Drift）与突变衰退（Sudden Drift）的区别：前者常由用户兴趣迁移、政策微调、竞品运营活动引起，单日跌幅<1%，但累积两周>5%。
2. 国内主流模型服务平台（百度BML、阿里PAI、腾讯TI-ONE、字节ByteML）均支持“样本分布监控+指标回落”双通道告警，需配置“阈值+趋势”双条件，避免节假日脉冲。
3. 数据合规：个人信息保护法要求“最小必要”，因此监控指标必须脱敏，不得存储原始文本、人脸等特征，只能存储统计量。
4. 业务可接受误判成本：金融风控误杀率每升0.1%等于年化损失X亿元，需提前与财务、合规、运营三方确认“可容忍区间”。
5. 闭环治理：告警→一键回滚→灰度实验→数据回流→热启动微调，整个SOP需在PRD里写清角色、时限、审批流，否则技术团队不会接。

答案

我会搭建“3层5类”指标矩阵，把技术指标映射到业务损失，提前7~14天发现渐进式衰退。

1. 数据层——分布漂移
   • PSI（Population Stability Index）：每天计算训练集与当日推理集的PSI，>0.1触发黄色告警，>0.25红色告警；连续3天黄色即进入“观察名单”。
   • 特征级KS漂移：对Top 20重要特征逐一看KS，任一特征KS>0.05即告警，防止单特征污染。

2. 模型层——离线指标
   • 滑动窗口AUC：用最近7天真实回流标签计算AUC，与上线基准比较，跌幅≥1%且持续3天即触发“模型健康度”告警。
   • Calibration误差（ECE）：概率校准度偏离>2%即预警，避免“分数通胀”导致运营策略失效。

3. 业务层——在线指标
   • 业务核心KPI回落：以“放款通过率”为例，设定“单日跌幅≥3%或连续5日累计跌幅≥5%”即告警；同步对比同期客群Vintage，排除市场因素。
   • 预测置信度分布：监控低置信度（p∈[0.45,0.55]）样本占比，若占比突然升高>20%，说明模型开始“犹豫”，需立即抽样人工复核。

告警策略
• 双条件：既有“阈值”也有“趋势”，避免节假日脉冲误报；
• 分级通知：黄色钉钉群+邮件，红色电话+短信，并自动创建Jira工单；
• 回滚阈值：红色告警30分钟内无响应，系统自动切换至上一稳定版本，同时冻结在线学习。

合规与成本
• 所有监控只落盘聚合指标，原始特征经哈希脱敏；
• 提前与财务确认“误杀成本上限”，把技术指标换算成“每0.1%误杀≈X万元”，让老板一眼看懂。

拓展思考

1. 如果标签延迟30天（信贷坏账），可用“代理标签”方案：先用早期逾期M1作近似，建立M1→坏账的映射模型，把30天滞后缩短到7天。
2. 对生成式模型（如客服机器人），可用“用户负向表情占比+转人工率”双指标代替AUC；同时监控重复回复率，>5%即认为模型开始“胡言”。
3. 在集团多业务复用场景，可引入“元监控”：用一条上游数据流同时触发多条下游模型告警，减少重复开发。
4. 最终要在PRD里写明“告警-回滚-迭代”SOP：谁审批、谁操作、谁验收、谁背锅，否则再完美的指标也落不了地。