如何构建可视化看板帮助开发者定位?
解读
面试官想验证三件事:
- 你是否理解大模型链路“数据→训练→推理→上线→监控”全栈可观测的痛点;
- 能否把开发者定位(而非老板汇报)作为第一目标,把“秒级感知→分钟级定位→小时级恢复”做成闭环;
- 是否熟悉国内主流云原生与国产化约束(如信创 ARM 集群、昇腾 NPU、华为云 CCE、阿里云 ACK、私有化离线交付),并给出可落地的技术选型和成本权衡。
知识点
-
LLM 全链路黄金指标
- 数据层:样本漂移 PSI、去重率、毒性占比、版权黑名单命中率
- 训练层:token 利用率、MFU、梯度 L2、loss spike、θ 差分范数、checkpoint 大小与保存耗时
- 推理层:首 token 时延(TTFT)、单 token 时延(TPOT)、吞吐(token/s)、并发路数、GPU 显存碎片率、连续批化 batch 饱和度
- 业务层:问答准确率、幻觉率、拒答率、用户留存、调用成本/千次
-
开发者定位三板斧
- Trace:一次请求唯一 trace-id,贯穿网关→推理服务→模型→后处理→插件,支持子 span 级 GPU kernel 耗时
- Log:结构化 JSON,必须带 request_id、uid、model_version、prompt_len、answer_len、n_tokens、gpu_id、node_ip
- Metric:Prometheus 拉取,单卡 SMs 利用率、NVLink 带宽、HBM 温度、ECC 报错、容器 OOM kill 次数
-
可视化分层
- L1 实时战术看板(开发者值班):5 s 刷新,红色告警阈值可下钻到卡级别;用 Grafana+自定义 LLM Panel 插件
- L2 离线战略看板(架构师复盘):小时级聚合,对比基线,支持版本 A/B 热力图
- L3 业务语义看板(产品运营):把技术指标翻译成“每千次问答成本”“因幻觉导致的投诉率”
-
国产化与合规
- 私有化交付时,监控存储只能走本地 MinIO+VictoriaMetrics,禁止公网 SaaS;
- 等保 2.0 要求日志保留 ≥ 180 天,看板必须内置日志脱敏规则(手机号、身份证);
- 若客户为金融或央企,GPU 监控指标需对接鲲鹏、昇腾原生 API,而非 NVIDIA DCGM。
-
LLMOps 集成
- 把看板嵌入 CI/CD Pipeline:每次微调任务自动产生 compare-report(基线 vs 新版本指标 diff),MR 合并阻塞阈值可配置;
- Prompt 版本追踪:同一条指标曲线可关联 prompt_hash,回滚到任意 prompt 版本;
- RAG 知识外挂监控:召回 Top5 段落与最终答案的 ROUGE-L 分数实时展示,低于阈值自动标红。
答案
“我会按‘指标设计→采集→存储→可视化→告警→自愈’六步落地,确保开发者 3 分钟内定位根因。”
-
指标设计
先与算法、框架、运维三方对焦,把 60 个技术指标收敛到 12 个黄金指标(见知识点),业务层只保留成本、幻觉、拒答 3 个;所有指标必须带 {model_version, prompt_hash, gpu_type} 三维标签,方便版本回滚。 -
采集
- 推理侧:基于 NVIDIA Triton + DCGM Exporter,若国产化则用 昇腾 ATC 工具链提供的 msprof exporter;
- 训练侧:DeepSpeed 内置 wandb 回调改写成 Prometheus pushgateway,避免公网;
- 业务侧:网关统一埋点,在 Ingress-Nginx 写 Lua 插件,一次请求只产生 1 条日志、1 条 trace,日志体积 < 2 KB。
-
存储
私有化场景用 VictoriaMetrics 集群版,保留 15 天原始粒度、90 天 5 分钟聚合、1 年小时聚合;日志走 Loki,按等保要求做 AES-256 加密+只追加写;Trace 用 Jaeger + Badger 嵌入式 KV,磁盘 IO 不超过 100 MB/s。 -
可视化
- Grafana 10.2 自建,模板变量联动:选模型版本→自动过滤 GPU 类型→展示对应曲线;
- 自定义 Panel:
– GPU 矩阵热力图:每卡 1 格,颜色 = SM 利用率,点击格子弹出窗口直接看该卡近 1 h kernel 排行;
– Token 成本瀑布图:把 TTFT、TPOT、网络、调度、kernel 排队逐段拆解,红色标注异常段; - Prompt 对比视图:同一指标两条曲线,分别对应 prompt_v1 与 v2,鼠标悬停显示 diff 高亮。
-
告警
- 采用 Prometheus Alertmanager,告警分级:P0(业务不可用)电话+短信;P1(性能退化 20%)飞书群;P2(单卡 ECC 报错)邮件;
- 告警模板自带 trace-id 与建议排查命令,开发者一键复制即可 kubectl exec 到容器内;
- 告警收敛:基于 GPU UUID 做 5 分钟窗口抑制,避免同一卡故障轰炸。
-
自愈
- 与 K8s 的 Vertical Scaling 组件联动:TP99 TTFT 连续 3 次超过 2 s 即自动扩容推理副本;
- 训练 loss spike 连续 2 个 step 超过 10% 自动回滚上一个 checkpoint,并在看板标注回滚事件;
- RAG 知识库召回率低于 0.6 自动切换备用索引,看板实时显示切换原因。
通过以上六步,开发者收到告警后 30 s 内可在看板确认异常 GPU 或异常版本,3 分钟内拿到根因建议,整体 MTTR 从小时级降到 10 分钟以内;同时所有监控数据完全驻留本地,满足金融、央企、信创三大私有化合规要求。
拓展思考
- 多模态场景:若输入含图片、视频,需把解码耗时、NPU 利用率、显存碎片率加入矩阵热力图,并支持按文件类型过滤。
- 成本分摊:把 GPU 能耗(kWh)转成碳排与电费,看板按“每千次问答碳排”排名,推动算法选择更低碳的小模型。
- A/B 实验平台化:将看板与 Feature Flag 系统打通,同一指标曲线可绑定灰度用户群,自动计算显著性 p 值,帮助开发者用数据说服产品“ rollback 还是全量”。