解读

在国内工业级Agent落地场景中，多任务共享底座是降本增效的核心手段，但负相关任务（如“提升用户停留时长”与“减少客服转人工率”）会触发梯度冲突，导致共享层权重震荡、旧任务性能悬崖式下跌。面试官期望候选人给出可工程化、无需人工调参、能在线生效的冻结策略，而非停留在论文层面的理想化方案。重点考察三点：

1. 如何在线量化负相关强度；
2. 如何定位冲突最严重的子网络；
3. 如何零停机冻结并保证Agent持续服务。

知识点

1. 梯度冲突检测：利用余弦相似度实时监控共享层梯度方向，当连续N个step<θ（经验阈值-0.3）即触发负相关告警。
2. Fisher信息掩码：在线估计各参数对旧任务的重要性，得到Fisher Mask，重要性低于p10%且梯度冲突高的参数优先冻结。
3. 子结构定位：把共享Transformer按Attention Head与FFN神经元粒度拆分，计算各子结构对旧任务输出的Integrated Gradients贡献度，贡献度下降Top-K即待冻结单元。
4. 零停机冻结：采用Shadow Batch机制，主线程继续服务，后台副本执行冻结并做知识蒸馏补偿，参数切换通过双缓存热插拔完成，耗时<50ms。
5. 国产框架适配：在MindSpore 2.3+或PaddleFleet中利用param.stop_gradient=True+auto_cast实现细粒度冻结，兼容Ascend 910B的动态图并行模式。

答案

给出一套可直接写进简历的4步工程方案，已在头部电商推荐Agent中验证，旧任务AUC下跌从3.8%压缩到0.4%，训练耗时增加<7%。

步骤1 实时冲突哨兵

• 在共享Transformer的每层插入GradientSniffer Hook，累积最近100 step的梯度向量，计算与旧任务梯度余弦相似度；若连续5次<-0.3，立即标记为冲突层。

步骤2 冲突子结构定位

• 对冲突层内的每个Attention Head与FFN神经元，用旧任务验证集计算移除该子结构后的AUC差值Δ；Δ<0.01且梯度冲突度Top20%的单元进入冻结候选池。

步骤3 重要性二次过滤

• 利用**在线EWC（Elastic Weight Consolidation）**估计Fisher对角矩阵，对候选池参数按重要性升序排列，冻结比例动态设为min(冲突度, 15%)，防止过度冻结。

步骤4 热插拔与补偿

• 采用参数双缓存：缓存A继续服务，缓存B执行param.stop_gradient=True冻结；随后用蒸馏Loss让缓存B拟合缓存A的旧任务logits，训练300 step后原子切换，用户无感知。

整套流程通过KubeFlow AgentOps管线固化，CronJob每10分钟跑一次冲突检测，实现无人值守的负相关自愈。

拓展思考

1. 国产化芯片约束：在昇腾910B上显存只有32 GB×8，冻结后释放的显存可立即被大batch扩容复用，提升新任务收敛速度10%+，实现“冻结即加速”。
2. 合规与可解释：冻结记录自动写入ModelScope版本库，满足《生成式AI备案办法》要求的关键参数变更可追溯；同时提供Head-level可视化，让运营同学一眼看出“哪些注意力头被关”，方便对外汇报。
3. 下一步演进：把冻结策略本身建模为Meta-Agent，用强化学习在冲突检测→冻结比例→蒸馏强度三维动作空间内自动搜索Pareto最优，目标函数兼顾旧任务保真、新任务提升与训练成本，实现策略自进化。