如何基于 Docker 多版本镜像快速切换对比?
解读
在大模型落地过程中,同一算法仓库往往同时存在微调前、微调后、量化后、蒸馏后等多个版本模型权重,对应生成不同 Docker 镜像。面试官希望确认候选人能否在离线实验、灰度 A/B、线上回滚三个阶段,用最小人力成本完成镜像级切换与效果对比,并保证镜像可追踪、可复现、可审计。回答要围绕“快”和“准”:快指秒级拉起、秒级回滚;准指指标、日志、配置完全对齐,避免“镜像漂移”导致结论失真。
知识点
- 镜像命名规范:统一采用
registry.cn-hangzhou.aliyuncs.com/llm/<model>:<git-sha>-<stage>-<timestamp>三段式,保证每次 CI 都能产出不可变镜像。 - 多架构 Manifest:利用
docker buildx imagetools create生成支持 amd64/arm64 的 manifest list,在鲲鹏、倚天、A100、T4 混合机房无需手动挑镜像。 - Layer 缓存与复用:把 20 GB 的权重层单独放在
COPY --link阶段,微调只改动顶层 50 MB 配置层,使得迭代推送时间从 15 min 降到 90 s。 - 外部化权重:在
/models目录使用volume-opt=type=bind,source=/cfs/llm/v1.2,target=/models挂载cfs,镜像本身只含推理代码,实现“镜像小、切换快、对比无损”。 - Compose 多服务模板:一份
docker-compose.yml通过profiles=[v1,v2]区分服务,一条命令docker compose --profile v2 up -d即可并行起两套容器,天然支持压测端对端对比。 - Label 注入:在 Dockerfile 末尾写
LABEL git.commit=$CI_COMMIT_SHA与LABEL model.metrics.rouge=42.3,后续通过docker inspect或crane config直接读出实验指标,无需落库。 - 镜像级灰度:结合 K8s 的
Deployment+Canary策略,先 5% 流量打到新镜像,观测 GPU 利用率、TTFT、TP99 与业务黄金指标 10 min 无异常再全量,回滚只需kubectl rollout undo30 s 完成。 - 镜像签名与合规:使用
cosign sign --key aliyun-kms://<kms-key>做国密 SM2 签名,满足国内金融、政务场景“上线必签”要求,防止“投毒镜像”混入。
答案
实战步骤如下,全部脚本可在 GitLab CI 中一键触发:
-
统一构建
- 在
.gitlab-ci.yml中定义stage: build,使用docker buildx并指定cache-to/from=type=registry,ref=...,保证每次微调只推送增量层。 - 产出镜像名示例:
registry.cn-hangzhou.aliyuncs.com/llm/chatglm3:6b-peft-v3.1-20240618-103042。
- 在
-
本地快速对比
- 编写
docker-compose.compare.yml,服务chatglm3-v1与chatglm3-v2分别映射宿主端口 8001、8002,共享同一份测试数据卷/data/eval。 - 执行
docker compose -f docker-compose.compare.yml --profile v1 --profile v2 up -d,2 分钟内即可并行拿到两套推理日志。 - 用
promptbench工具分别打 1000 条评测样本,对比 Rouge-L、BLEU、幻觉率,结果直接写进report.md上传 MR。
- 编写
-
镜像级灰度上线
- 在 K8s 集群新建
Deployment/chatglm3-canary,镜像指向新版本,副本数=线上 5% Pod 数。 - 通过
Istio VirtualService按 HeaderX-Canary: v2进行 5% 流量染色,观测 Prometheus 中自定义指标llm_ttft_seconds与业务转化率。 - 若 10 min 内 GPU 利用率波动不超过 ±3%、P99 延迟下降 5% 以上且无 Error Budget 消耗,则执行
kubectl set image deployment/chatglm3-prod ...全量;一旦发现异常,执行kubectl rollout undo30 s 回滚到旧镜像。
- 在 K8s 集群新建
-
版本清理与审计
- 在 CR 中配置保留策略:保留最近 30 天、最近 5 个标签,其余镜像自动 GC,避免占用过多 ACR 存储。
- 通过
cosign verify验证线上运行镜像的签名,确保每次回滚/升级都可审计、可追溯。
拓展思考
- 多集群镜像预热:在阿里云的 ACK One 多集群场景,可结合
ImagePullJobCRD,提前把 30 GB 权重层预热到边缘节点,避免首次拉起耗时 5 min 导致冷启动失败。 - 差异化量化实验:同一权重可同时产出
int8、int4、fp16三种镜像,利用docker manifest annotate打上quant=int8标签,在压测平台自动路由到对应节点,实现“一次构建、多端对比”。 - 镜像-模型双轨回滚:若发现 bad case 来自权重而非代码,可直接回滚模型挂载路径
/cfs/llm/v1.1而保持镜像层不变,进一步缩短回滚时间到 10 s 以内;这要求镜像内推理服务支持热加载权重,需在启动脚本中监听SIGHUP信号。 - 合规镜像扫描:国内银行客户要求“开源许可证无 GPL 传染性”,可在 CI 中引入
trivy image --exit-code 1 --severity HIGH,CRITICAL与license-scanner,一旦检测到 GPL 或 CVE 高危直接阻断 MR,避免后期法务风险。 - Serverless 场景:在函数计算 Custom Runtime 中,镜像最大 10 GB,需把权重拆分到 NAS,通过
FC_INITIALIZER钩子提前下载;此时“多版本切换”变成秒级切换 NAS 挂载路径,但需解决并发读取带来的 NAS IOPS 瓶颈,可结合阿里云 CPFS 并行文件系统做进一步优化。