解读

面试官真正想考察的是：

1. 你能否把业务目标（用户留存）翻译成Agent可感知、可干预、可闭环的技术指标；
2. 你是否熟悉中国本土数据合规（如《个人信息保护法》《数据安全法》）对埋点与建模的限制；
3. 你能否用因果推断+强化学习思维，区分“Agent行为带来的留存提升”与“自然留存”，避免虚假因果；
4. 你是否具备多模态日志采集、实时特征回填、在线实验的落地经验，而不是只停留在指标定义。

知识点

1. OSM（Objective-Strategy-Measurement）模型：把“留存”拆成Agent可干预的策略层指标与测量层指标。
2. Agent行为空间：主动触达（Push、短信、智能客服邀请）、被动陪伴（首页推荐、对话续聊）、任务式引导（签到、会员升级）。
3. 合规埋点：最小必要原则+用户分级授权（敏感行为如读取通讯录需单独同意），埋点字段必须走工信部备案的第三方SDK。
4. 因果留存：用双重差分（DiD）+倾向得分匹配（PSM）剔除自然留存，计算Agent边际留存率（MLR）。
5. 实时性：Flink CEP识别“沉默信号”（连续36小时无会话+无Push点击），触发Agent二次唤醒任务。
6. 可解释性：SHAP值回推Agent哪一句对话或哪一个推荐卡片对次日留存贡献最大，方便安全对齐审计。
7. 稀疏奖励：留存是长周期延迟奖励，需用Reward Shaping把“关键行为链”（点击→加群→下单）拆成稠密中间奖励，供Agent在线策略梯度学习。

答案

“用户留存”拆解为Agent行为指标分三步：合规采集→因果量化→在线闭环。

第一步，合规采集。依据《个人信息保护法》第6条，只采集与留存目标直接相关的字段：用户主动授权的设备ID、会话时长、Agent调用记录。埋点采用国密SM4加密+动态脱敏，存储在境内私有云，日志分级为三级等保。

第二步，因果量化。定义Agent边际留存率（MLR）：

MLR = (实验组次日留存率 – 对照组次日留存率) / 实验组Agent触达覆盖率

其中实验组为Agent主动触达用户，对照组为同期未触达但画像相似的用户。用DiD+PSM消除节假日、版本更新等混杂因子，确保Agent行为与留存的因果关系。

第三步，在线闭环。把MLR拆成可实时观测的Agent子指标：

1. 唤醒成功率 = 沉默24小时内被Agent重新激活的用户 / 沉默用户总数；
2. 关键行为转化率 = Agent推荐后完成“深度互动”（连续3轮多模态对话或完成会员任务）的用户 / 推荐触达用户；
3. 负向反馈率 = 用户主动关闭Agent或投诉“打扰”次数 / Agent触达次数，超过0.3%即触发安全对齐熔断；
4. 长序Reward信号 = 用Transformer-based Reward Model把“当日会话深度+次日是否回流”建模为0~1即时奖励，供AgentPPO在线更新。

以上四个子指标通过Flink实时流写入Agent config server，5分钟级回灌到在线推理特征库，实现指标→策略→效果的分钟级闭环。若连续两个时间窗口MLR下降超过5%，自动回滚至上一版本策略并告警至企业微信群，确保可观测、可干预、可回滚。

拓展思考

1. 多Agent场景：当App内存在客服Agent+内容推荐Agent+游戏陪玩Agent时，需引入Agent间信用分，防止过度打扰导致留存抵消效应。可用博弈论Shapley值量化每个Agent对留存的边际贡献，动态分配触达配额。
2. 隐私计算：若客户是金融类App，留存数据属敏感个人信息，可采用联邦学习方式，把Reward Model训练放在本地TEE（可信执行环境），只上传梯度密文，符合央行《金融数据安全分级指南》。
3. 长周期留存：对于30日留存，需引入生存分析（Survival Analysis），用Cox比例风险模型把Agent行为作为时变协变量，输出Agent干预下的风险比（Hazard Ratio），指导预算投放与Agent算力调度。