如何监控 entropy 崩溃并自动重启训练?

解读

在百亿/千亿参数大模型预训练或微调阶段,熵(entropy)崩溃通常指模型输出分布突然趋近于 one-hot,交叉熵骤降、PPL 异常低,梯度范数同步跳水,此时模型已“偷懒”输出重复 token,后续训练几乎无法恢复。面试官希望听到一套可工程落地、符合国内 GPU 池与智算中心环境的监控+自愈方案,而不仅是“看 tensorboard 曲线”。核心考察点:

  1. 如何实时捕获熵崩溃信号(毫秒级延迟);
  2. 如何无人工干预触发 checkpoint 回滚与训练重启;
  3. 如何与LLMOps 平台(如自研或阿里云 PAI、百度百舸、华为 ModelArts)对接,保证安全可控。

知识点

  1. 熵崩溃指标
    • token-level entropy:H = −Σ p_i log p_i,当 H < 0.3 nat 且持续 50 step 即触发;
    • PPL 突降:单步下降 > 30% 且低于历史 1% 分位;
    • 梯度 L2 范数 < 0.01 且持续;
    • 重复 token 比例 > 70%。
  2. 监控链路
    • 训练框架:Megatron-LM / DeepSpeed / ColossalAI 的训练回调(callback)钩子;
    • 指标透出:通过torch.distributed.reduce到 rank0,写Prometheus Pushgateway;
    • 告警:Prometheus → Alertmanager → 飞书/企业微信/钉钉群机器人(国内主流);
    • 延迟:指标采集 ≤ 5 s,告警推送 ≤ 15 s。
  3. 自动重启
    • 训练进程以systemd service或Kubernetes TrainingJob形式托管;
    • Alertmanager webhook 调用自研 LLMOps API,完成:
      a. 立即保存最新 checkpoint(含 optimizer 状态)到共享存储(CPFS、NAS、CephFS);
      b. 标记“熵崩溃”元数据写入MySQL/ETCD;
      c. 发送SIGTERM优雅结束训练;
      d. 拉起新 pod,启动参数带上**--resume-from-entropy-crash**,加载最近 2 个 checkpoint 之前的一个(回滚 100~200 step);
      e. 自动提升学习率 warmup 比例或dropout作为扰动,防止再次崩溃。
  4. 容灾与合规
    • 多租户场景下,重启任务必须重新申请A800/H800 整卡配额,需对接Slurm/K8s scheduler的gang scheduling,防止死锁;
    • 所有操作写审计日志满足国内等保 2.0;
    • 重启失败超过 3 次,自动降级到小学习率冷启动并通知值班。

答案

给面试官的落地级回答可分三步:

第一步,监控
在 Megatron-LM 的 train.py 里插入自定义 callback,每 10 step 计算一次平均 token entropy 与 PPL,利用 torch.distributed.all_reduce 汇总到 rank0,通过 prometheus_client push 到内网 Pushgateway。Prometheus 规则:

- alert: EntropyCollapse
  expr: avg_over_time(nlp_token_entropy[1m]) < 0.3 and avg_over_time(nlp_ppl_drop_ratio[1m]) > 0.3
  for: 1m
  labels:
    severity: critical
    team: llmops

告警通过 Alertmanager webhook 打到自研训练自愈服务(Go 实现,部署在 K8s 内部)。

第二步,自愈
自愈服务收到告警后:

  1. 调用 kubectl exec 向训练主 pod 发送 SIGUSR1,触发紧急 checkpoint,保存到阿里云 CPFS路径 /ckpt/entropy_safe/;
  2. 写一条记录 (job_id, collapse_step, ckpt_path, lr, optimizer_state) 到MySQL;
  3. 删除原 TrainingJob,使用Argo Workflows模板重新提交,模板参数 resume_ckpt=/ckpt/entropy_safe/xxx,并自动把学习率衰减到之前的 0.8 倍、warmup step 增加 20%;
  4. 新 pod 启动后,先验证 entropy 是否 > 0.5,若仍崩溃则回滚更早 checkpoint,最多回滚 3 次,否则人工介入。

第三步,验证与复盘
重启后 30 min 内,自愈服务持续采样 entropy,若稳定 > 1.0 nat 且 PPL 平稳上升,则标记“自愈成功”,否则升级告警到值班电话。每周出一份熵崩溃周报,统计不同模型规模、batch size、lr 下的崩溃频率,用于后续动态学习率策略优化。

拓展思考

  1. 熵崩溃与“梯度消失”区别:前者是输出分布塌陷,后者是梯度无法回传;可结合梯度 L2 范数与logits 方差做联合判断,降低误杀。
  2. 强化学习训练(如 RLHF)同样会出现 entropy 崩溃,但触发条件不同,需监控policy entropy与KL 惩罚系数;可在 PPO 的 loss 里动态调高 KL 权重,实现在线自愈。
  3. 国产算力生态适配:在昇腾 910B环境,需使用MindSpeed框架,监控指标通过Ascend CLi取 aicore_utilization 与 entropy 联合判断,避免因HCCL 通信异常误报崩溃。
  4. 合规留痕:所有自动重启操作必须写入国密算法加密的审计日志,保存 180 天,满足中国生成式 AI 服务管理暂行办法对可追溯的要求。