如何构建可视化看板帮助开发者定位?

解读

面试官想验证三件事:

  1. 你是否理解大模型链路“数据→训练→推理→上线→监控”全栈可观测的痛点;
  2. 能否把开发者定位(而非老板汇报)作为第一目标,把“秒级感知→分钟级定位→小时级恢复”做成闭环;
  3. 是否熟悉国内主流云原生与国产化约束(如信创 ARM 集群、昇腾 NPU、华为云 CCE、阿里云 ACK、私有化离线交付),并给出可落地的技术选型和成本权衡。

知识点

  1. LLM 全链路黄金指标

    • 数据层:样本漂移 PSI、去重率、毒性占比、版权黑名单命中率
    • 训练层:token 利用率、MFU、梯度 L2、loss spike、θ 差分范数、checkpoint 大小与保存耗时
    • 推理层:首 token 时延(TTFT)、单 token 时延(TPOT)、吞吐(token/s)、并发路数、GPU 显存碎片率、连续批化 batch 饱和度
    • 业务层:问答准确率、幻觉率、拒答率、用户留存、调用成本/千次
  2. 开发者定位三板斧

    • Trace:一次请求唯一 trace-id,贯穿网关→推理服务→模型→后处理→插件,支持子 span 级 GPU kernel 耗时
    • Log:结构化 JSON,必须带 request_id、uid、model_version、prompt_len、answer_len、n_tokens、gpu_id、node_ip
    • Metric:Prometheus 拉取,单卡 SMs 利用率、NVLink 带宽、HBM 温度、ECC 报错、容器 OOM kill 次数
  3. 可视化分层

    • L1 实时战术看板(开发者值班):5 s 刷新,红色告警阈值可下钻到卡级别;用 Grafana+自定义 LLM Panel 插件
    • L2 离线战略看板(架构师复盘):小时级聚合,对比基线,支持版本 A/B 热力图
    • L3 业务语义看板(产品运营):把技术指标翻译成“每千次问答成本”“因幻觉导致的投诉率”
  4. 国产化与合规

    • 私有化交付时,监控存储只能走本地 MinIO+VictoriaMetrics,禁止公网 SaaS;
    • 等保 2.0 要求日志保留 ≥ 180 天,看板必须内置日志脱敏规则(手机号、身份证);
    • 若客户为金融或央企,GPU 监控指标需对接鲲鹏、昇腾原生 API,而非 NVIDIA DCGM。
  5. LLMOps 集成

    • 把看板嵌入 CI/CD Pipeline:每次微调任务自动产生 compare-report(基线 vs 新版本指标 diff),MR 合并阻塞阈值可配置;
    • Prompt 版本追踪:同一条指标曲线可关联 prompt_hash,回滚到任意 prompt 版本;
    • RAG 知识外挂监控:召回 Top5 段落与最终答案的 ROUGE-L 分数实时展示,低于阈值自动标红。

答案

“我会按‘指标设计→采集→存储→可视化→告警→自愈’六步落地,确保开发者 3 分钟内定位根因。”

  1. 指标设计
    先与算法、框架、运维三方对焦,把 60 个技术指标收敛到 12 个黄金指标(见知识点),业务层只保留成本、幻觉、拒答 3 个;所有指标必须带 {model_version, prompt_hash, gpu_type} 三维标签,方便版本回滚。

  2. 采集

    • 推理侧:基于 NVIDIA Triton + DCGM Exporter,若国产化则用 昇腾 ATC 工具链提供的 msprof exporter;
    • 训练侧:DeepSpeed 内置 wandb 回调改写成 Prometheus pushgateway,避免公网;
    • 业务侧:网关统一埋点,在 Ingress-Nginx 写 Lua 插件,一次请求只产生 1 条日志、1 条 trace,日志体积 < 2 KB。
  3. 存储
    私有化场景用 VictoriaMetrics 集群版,保留 15 天原始粒度、90 天 5 分钟聚合、1 年小时聚合;日志走 Loki,按等保要求做 AES-256 加密+只追加写;Trace 用 Jaeger + Badger 嵌入式 KV,磁盘 IO 不超过 100 MB/s。

  4. 可视化

    • Grafana 10.2 自建,模板变量联动:选模型版本→自动过滤 GPU 类型→展示对应曲线;
    • 自定义 Panel:
      – GPU 矩阵热力图:每卡 1 格,颜色 = SM 利用率,点击格子弹出窗口直接看该卡近 1 h kernel 排行;
      – Token 成本瀑布图:把 TTFT、TPOT、网络、调度、kernel 排队逐段拆解,红色标注异常段;
    • Prompt 对比视图:同一指标两条曲线,分别对应 prompt_v1 与 v2,鼠标悬停显示 diff 高亮。
  5. 告警

    • 采用 Prometheus Alertmanager,告警分级:P0(业务不可用)电话+短信;P1(性能退化 20%)飞书群;P2(单卡 ECC 报错)邮件;
    • 告警模板自带 trace-id 与建议排查命令,开发者一键复制即可 kubectl exec 到容器内;
    • 告警收敛:基于 GPU UUID 做 5 分钟窗口抑制,避免同一卡故障轰炸。
  6. 自愈

    • 与 K8s 的 Vertical Scaling 组件联动:TP99 TTFT 连续 3 次超过 2 s 即自动扩容推理副本;
    • 训练 loss spike 连续 2 个 step 超过 10% 自动回滚上一个 checkpoint,并在看板标注回滚事件;
    • RAG 知识库召回率低于 0.6 自动切换备用索引,看板实时显示切换原因。

通过以上六步,开发者收到告警后 30 s 内可在看板确认异常 GPU 或异常版本,3 分钟内拿到根因建议,整体 MTTR 从小时级降到 10 分钟以内;同时所有监控数据完全驻留本地,满足金融、央企、信创三大私有化合规要求。

拓展思考

  1. 多模态场景:若输入含图片、视频,需把解码耗时、NPU 利用率、显存碎片率加入矩阵热力图,并支持按文件类型过滤。
  2. 成本分摊:把 GPU 能耗(kWh)转成碳排与电费,看板按“每千次问答碳排”排名,推动算法选择更低碳的小模型。
  3. A/B 实验平台化:将看板与 Feature Flag 系统打通,同一指标曲线可绑定灰度用户群,自动计算显著性 p 值,帮助开发者用数据说服产品“ rollback 还是全量”。