解读

在国内工业级 Agent 系统中，离线数据往往来自历史日志、众包标注、仿真回灌等多源渠道，而在线流量受活动运营、政策调控、用户画像漂移等影响，分布会在天级甚至小时级发生跳变。若直接把离线样本喂给大模型或强化学习策略，极易出现高估低频但“过时”状态、低估新兴意图的偏差，导致 Agent 上线后意图识别率骤降、工具调用失败率飙升。因此，面试官期望候选人能给出可落地、可监控、可回滚的权重设计链路，而不仅是理论公式。

知识点

1. 分布偏移量化指标：JS 散度、Wasserstein-1 距离、离线/在线 Moment Matching 误差。
2. 重要性采样（IS）与变体：普通 IS、Self-Normalized IS、Doubly Robust、Retrace(λ)。
3. 时序权重衰减：指数衰减、卡尔曼滤波、Holt-Winters、基于政策日期的动态半衰期。
4. 上下文无关 vs 上下文相关权重：边际重要性权重（Marginal IS）与 条件重要性权重（CIPS）。
5. 正则与鲁棒：权重截断（clipping）、协变量偏移核正则化、M-estimation 抗异常点。
6. 因果视角：后门准则调整、DoWhy+倾向得分重加权，用于剔除“政策干预”混淆。
7. 在线监控：PSI（Population Stability Index）>0.2 触发权重热更新；天级 Cron 结合 Flink 实时流重新拟合权重。
8. 合规要求：中国《个人信息保护法》第38 条，权重计算过程不得反向推导出用户敏感身份，需做差分隐私加噪。

答案

给出一套在国内大型电商客服 Agent实测有效的四步权重生产框架，可直接写进面试白板：

步骤 1 在线分布实时画像
用 Flink 消费 Kafka 日志，按**“用户意图+槽位+渠道”三维特征统计小时级边际概率 P_online(x)。为降低抖动，采用指数加权移动平均（EWMA）**，平滑系数 α 取 0.15，兼顾时效与方差。

步骤 2 离线样本日期分层
把近 90 天离线数据按**“政策事件时间”**切窗，例如 618 大促、双 11、日常平销三期；每期内再按天粒度打时间戳标签 t，用于后续衰减。

步骤 3 重要性权重计算与正则
对每条离线样本 i，先算原始重要性权重
w_i^raw = P_online(x_i) / P_offline(x_i)
接着做双段截断：
w_i^clip = min(max(w_i^raw, 0.05), 20)
再引入时间衰减核：
γ_i = exp(−Δt_i / τ)，Δt_i 为样本天级滞后，τ 取 7 天（经离线 Grid-Search 最小化 JS 散度）
最终权重
w_i = γ_i · w_i^clip / Σ_j(γ_j · w_j^clip)
保证自归一化，可直接用于大模型微调或 RL 的 Importance Sampling Policy Gradient。

步骤 4 在线闭环监控与回滚
上线后每小时计算 PSI，若连续 3 小时 PSI>0.2 或工具调用成功率下跌 2pp，自动触发权重热更新：Flink 重新拉取最近 24 h 日志，回到步骤 1，15 分钟内完成新权重推送，旧版本保留灰度回滚开关。整个链路存储在阿里 PAI-DSW 与 DataWorks，符合国内机房驻留要求；权重文件经AES-256 加密+差分隐私ε=1.0后落盘，满足合规审计。

拓展思考

1. 如果在线场景出现零样本意图（P_online≈0 而 P_offline>0），IS 权重会爆炸。可引入合成数据生成：利用离线大模型在受控 Prompt下模拟新意图对话，再通过人类偏好排序（RankGPT）过滤，补充进离线集并赋予低置信权重 0.1，实现平滑过渡。
2. 对于多轮工具调用的 Agent，需把权重从“状态级”升级到轨迹级：采用 Retrace(λ) 结合轨迹重要性采样，在 Q-function 训练时做偏差-方差权衡，防止单步权重累积导致梯度方差爆炸。
3. 在联邦学习场景下，权重计算需跨域但不泄数据：可用安全多方计算（MPC）求交集特征的边际分布，再用同态加密完成 P_online/P_offline 除法，最终各方只拿到加密后的权重，满足国内跨域数据流通的安全评估办法。