如何基于 Docker 多版本镜像快速切换对比?

解读

在大模型落地过程中,同一算法仓库往往同时存在微调前、微调后、量化后、蒸馏后等多个版本模型权重,对应生成不同 Docker 镜像。面试官希望确认候选人能否在离线实验、灰度 A/B、线上回滚三个阶段,用最小人力成本完成镜像级切换与效果对比,并保证镜像可追踪、可复现、可审计。回答要围绕“快”和“准”:快指秒级拉起、秒级回滚;准指指标、日志、配置完全对齐,避免“镜像漂移”导致结论失真。

知识点

  1. 镜像命名规范:统一采用 registry.cn-hangzhou.aliyuncs.com/llm/<model>:<git-sha>-<stage>-<timestamp> 三段式,保证每次 CI 都能产出不可变镜像。
  2. 多架构 Manifest:利用 docker buildx imagetools create 生成支持 amd64/arm64 的 manifest list,在鲲鹏、倚天、A100、T4 混合机房无需手动挑镜像。
  3. Layer 缓存与复用:把 20 GB 的权重层单独放在 COPY --link 阶段,微调只改动顶层 50 MB 配置层,使得迭代推送时间从 15 min 降到 90 s。
  4. 外部化权重:在 /models 目录使用 volume-opt=type=bind,source=/cfs/llm/v1.2,target=/models 挂载cfs,镜像本身只含推理代码,实现“镜像小、切换快、对比无损”。
  5. Compose 多服务模板:一份 docker-compose.yml 通过 profiles=[v1,v2] 区分服务,一条命令 docker compose --profile v2 up -d 即可并行起两套容器,天然支持压测端对端对比。
  6. Label 注入:在 Dockerfile 末尾写 LABEL git.commit=$CI_COMMIT_SHA 与 LABEL model.metrics.rouge=42.3,后续通过 docker inspect 或 crane config 直接读出实验指标,无需落库。
  7. 镜像级灰度:结合 K8s 的 Deployment+Canary 策略,先 5% 流量打到新镜像,观测 GPU 利用率、TTFT、TP99 与业务黄金指标 10 min 无异常再全量,回滚只需 kubectl rollout undo 30 s 完成。
  8. 镜像签名与合规:使用 cosign sign --key aliyun-kms://<kms-key> 做国密 SM2 签名,满足国内金融、政务场景“上线必签”要求,防止“投毒镜像”混入。

答案

实战步骤如下,全部脚本可在 GitLab CI 中一键触发:

  1. 统一构建

    • 在 .gitlab-ci.yml 中定义 stage: build,使用 docker buildx 并指定 cache-to/from=type=registry,ref=...,保证每次微调只推送增量层。
    • 产出镜像名示例:registry.cn-hangzhou.aliyuncs.com/llm/chatglm3:6b-peft-v3.1-20240618-103042。
  2. 本地快速对比

    • 编写 docker-compose.compare.yml,服务 chatglm3-v1 与 chatglm3-v2 分别映射宿主端口 8001、8002,共享同一份测试数据卷 /data/eval。
    • 执行 docker compose -f docker-compose.compare.yml --profile v1 --profile v2 up -d,2 分钟内即可并行拿到两套推理日志。
    • 用 promptbench 工具分别打 1000 条评测样本,对比 Rouge-L、BLEU、幻觉率,结果直接写进 report.md 上传 MR。
  3. 镜像级灰度上线

    • 在 K8s 集群新建 Deployment/chatglm3-canary,镜像指向新版本,副本数=线上 5% Pod 数。
    • 通过 Istio VirtualService 按 Header X-Canary: v2 进行 5% 流量染色,观测 Prometheus 中自定义指标 llm_ttft_seconds 与业务转化率。
    • 若 10 min 内 GPU 利用率波动不超过 ±3%、P99 延迟下降 5% 以上且无 Error Budget 消耗,则执行 kubectl set image deployment/chatglm3-prod ... 全量;一旦发现异常,执行 kubectl rollout undo 30 s 回滚到旧镜像。
  4. 版本清理与审计

    • 在 CR 中配置保留策略:保留最近 30 天、最近 5 个标签,其余镜像自动 GC,避免占用过多 ACR 存储。
    • 通过 cosign verify 验证线上运行镜像的签名,确保每次回滚/升级都可审计、可追溯。

拓展思考

  1. 多集群镜像预热:在阿里云的 ACK One 多集群场景,可结合 ImagePullJob CRD,提前把 30 GB 权重层预热到边缘节点,避免首次拉起耗时 5 min 导致冷启动失败。
  2. 差异化量化实验:同一权重可同时产出 int8、int4、fp16 三种镜像,利用 docker manifest annotate 打上 quant=int8 标签,在压测平台自动路由到对应节点,实现“一次构建、多端对比”。
  3. 镜像-模型双轨回滚:若发现 bad case 来自权重而非代码,可直接回滚模型挂载路径 /cfs/llm/v1.1 而保持镜像层不变,进一步缩短回滚时间到 10 s 以内;这要求镜像内推理服务支持热加载权重,需在启动脚本中监听 SIGHUP 信号。
  4. 合规镜像扫描:国内银行客户要求“开源许可证无 GPL 传染性”,可在 CI 中引入 trivy image --exit-code 1 --severity HIGH,CRITICAL 与 license-scanner,一旦检测到 GPL 或 CVE 高危直接阻断 MR,避免后期法务风险。
  5. Serverless 场景:在函数计算 Custom Runtime 中,镜像最大 10 GB,需把权重拆分到 NAS,通过 FC_INITIALIZER 钩子提前下载;此时“多版本切换”变成秒级切换 NAS 挂载路径,但需解决并发读取带来的 NAS IOPS 瓶颈,可结合阿里云 CPFS 并行文件系统做进一步优化。