如何监控 entropy 崩溃并自动重启训练?
解读
在百亿/千亿参数大模型预训练或微调阶段,熵(entropy)崩溃通常指模型输出分布突然趋近于 one-hot,交叉熵骤降、PPL 异常低,梯度范数同步跳水,此时模型已“偷懒”输出重复 token,后续训练几乎无法恢复。面试官希望听到一套可工程落地、符合国内 GPU 池与智算中心环境的监控+自愈方案,而不仅是“看 tensorboard 曲线”。核心考察点:
- 如何实时捕获熵崩溃信号(毫秒级延迟);
- 如何无人工干预触发 checkpoint 回滚与训练重启;
- 如何与LLMOps 平台(如自研或阿里云 PAI、百度百舸、华为 ModelArts)对接,保证安全可控。
知识点
- 熵崩溃指标
- token-level entropy:H = −Σ p_i log p_i,当 H < 0.3 nat 且持续 50 step 即触发;
- PPL 突降:单步下降 > 30% 且低于历史 1% 分位;
- 梯度 L2 范数 < 0.01 且持续;
- 重复 token 比例 > 70%。
- 监控链路
- 训练框架:Megatron-LM / DeepSpeed / ColossalAI 的训练回调(callback)钩子;
- 指标透出:通过torch.distributed.reduce到 rank0,写Prometheus Pushgateway;
- 告警:Prometheus → Alertmanager → 飞书/企业微信/钉钉群机器人(国内主流);
- 延迟:指标采集 ≤ 5 s,告警推送 ≤ 15 s。
- 自动重启
- 训练进程以systemd service或Kubernetes TrainingJob形式托管;
- Alertmanager webhook 调用自研 LLMOps API,完成:
a. 立即保存最新 checkpoint(含 optimizer 状态)到共享存储(CPFS、NAS、CephFS);
b. 标记“熵崩溃”元数据写入MySQL/ETCD;
c. 发送SIGTERM优雅结束训练;
d. 拉起新 pod,启动参数带上**--resume-from-entropy-crash**,加载最近 2 个 checkpoint 之前的一个(回滚 100~200 step);
e. 自动提升学习率 warmup 比例或dropout作为扰动,防止再次崩溃。
- 容灾与合规
- 多租户场景下,重启任务必须重新申请A800/H800 整卡配额,需对接Slurm/K8s scheduler的gang scheduling,防止死锁;
- 所有操作写审计日志满足国内等保 2.0;
- 重启失败超过 3 次,自动降级到小学习率冷启动并通知值班。
答案
给面试官的落地级回答可分三步:
第一步,监控
在 Megatron-LM 的 train.py 里插入自定义 callback,每 10 step 计算一次平均 token entropy 与 PPL,利用 torch.distributed.all_reduce 汇总到 rank0,通过 prometheus_client push 到内网 Pushgateway。Prometheus 规则:
- alert: EntropyCollapse
expr: avg_over_time(nlp_token_entropy[1m]) < 0.3 and avg_over_time(nlp_ppl_drop_ratio[1m]) > 0.3
for: 1m
labels:
severity: critical
team: llmops
告警通过 Alertmanager webhook 打到自研训练自愈服务(Go 实现,部署在 K8s 内部)。
第二步,自愈
自愈服务收到告警后:
- 调用
kubectl exec向训练主 pod 发送SIGUSR1,触发紧急 checkpoint,保存到阿里云 CPFS路径/ckpt/entropy_safe/; - 写一条记录
(job_id, collapse_step, ckpt_path, lr, optimizer_state)到MySQL; - 删除原 TrainingJob,使用Argo Workflows模板重新提交,模板参数
resume_ckpt=/ckpt/entropy_safe/xxx,并自动把学习率衰减到之前的 0.8 倍、warmup step 增加 20%; - 新 pod 启动后,先验证 entropy 是否 > 0.5,若仍崩溃则回滚更早 checkpoint,最多回滚 3 次,否则人工介入。
第三步,验证与复盘
重启后 30 min 内,自愈服务持续采样 entropy,若稳定 > 1.0 nat 且 PPL 平稳上升,则标记“自愈成功”,否则升级告警到值班电话。每周出一份熵崩溃周报,统计不同模型规模、batch size、lr 下的崩溃频率,用于后续动态学习率策略优化。
拓展思考
- 熵崩溃与“梯度消失”区别:前者是输出分布塌陷,后者是梯度无法回传;可结合梯度 L2 范数与logits 方差做联合判断,降低误杀。
- 强化学习训练(如 RLHF)同样会出现 entropy 崩溃,但触发条件不同,需监控policy entropy与KL 惩罚系数;可在 PPO 的 loss 里动态调高 KL 权重,实现在线自愈。
- 国产算力生态适配:在昇腾 910B环境,需使用MindSpeed框架,监控指标通过Ascend CLi取
aicore_utilization与entropy联合判断,避免因HCCL 通信异常误报崩溃。 - 合规留痕:所有自动重启操作必须写入国密算法加密的审计日志,保存 180 天,满足中国生成式 AI 服务管理暂行办法对可追溯的要求。