解读

面试官把“10 TB”抛出来，核心不是考你“能拉多少”，而是考你“怎么拉得快、拉得稳、拉得省”。国内大厂线上推理节点动辄上千，如果一次性全量拉 10 TB，带宽打爆、磁盘撑炸、Pod 起不来，直接 P0 故障。所以考点聚焦在：

1. 镜像本身必须分层化、去重化、按需化；
2. 拉取过程必须并发、懒加载、断点续传、就近加速；
3. 失败时快速回滚、快速重试、快速定位。

知识点

1. Docker 镜像分层机制：layer 以 content-addressable 存储，相同 blob 只存一份。
2. 多阶段构建 + 模型拆分：把不变的基础环境（CUDA、Python 依赖）与频繁变化的模型权重拆成独立 layer。
3. 镜像仓库加速：国内必须配置镜像加速器（阿里云 ACR、腾讯云 TCR、DaoCloud），并开启P2P 分发（Dragonfly、Kraken、Nydus）。
4. 懒加载技术：使用Nydus、Stargz、OverlayBD实现“pull-on-first-read”，10 TB 镜像秒级启动。
5. 并发拉取：containerd 的criu/parallelpull、kubelet 的**--serialize-image-pulls=false**。
6. 存储驱动：国内生产环境推荐overlay2（内核 ≥ 4.18）+ xfs + ftype=1，避免 aufs 性能抖动。
7. 失败治理：Harbor 的retry 中间件 + 镜像预热 + Pod 优雅重试（backoffLimit）。
8. 安全：模型权重 layer 使用加密存储（OCI encrypt），拉取时通过 KMS 动态解密，防止 10 TB 裸数据泄露。

答案

1. 镜像瘦身与分层

   • 用多阶段构建把 10 TB 拆成三层： a. base-layer：操作系统 + CUDA 驱动（≈ 4 GB），打 tag 为 v1.0，几乎不变； b. env-layer：Python 依赖 + 推理框架（≈ 20 GB），变动频率月度； c. model-layer：权重文件（≈ 9.98 TB），按子模型/版本再拆成 10 个 1 TB 子 layer，每个子 layer 用tar + zstd --long压缩到 600 GB，并开启chunk 大小=64 KB，保证 chunk 级去重。
   • 在 Dockerfile 里用多个 FROM 语句分别引用上述 layer，确保每层 hash 唯一。

2. 仓库侧加速

   • 把最终镜像推送到阿里云 ACR 企业版，开启OSS 后端 + 跨区域复制，北京、上海、深圳三地各缓存全量 blob；
   • 在 K8s 集群内以 DaemonSet 部署Dragonfly2，配置P2P 块大小=4 MB，单节点下行带宽限速 500 Mbps，30 台节点同时拉 600 GB 模型层只需 3 分钟；
   • 对 10 TB 超大 layer 启用Harbor 的 Preheat 接口，在业务流量低峰期提前预热到边缘节点，避免集中突发。

3. 运行时懒加载

   • 节点上把 containerd 的 snapshotter 换成nydus-snapshotter，镜像格式转换为RAFS (Registry Acceleration File System)；
   • 启动 Pod 时仅拉取元数据（≈ 200 MB），真正的权重块在首次 mmap 时按需拉取，冷启动时间从 40 分钟降到 9 秒；
   • 配合Kubelet 的 image-pull-progress-deadline=30m，防止懒加载被误判超时。

4. 失败与回滚

   • 在 CI 侧为每个子模型层计算sha256+size 双校验值，写入镜像注解；
   • 节点拉取失败时，containerd 自动回退到 HTTPS 直拉，并记录详细错误码（404/500/timeout）；
   • 业务 Deployment 设置maxUnavailable=10% + backoffLimit=3，单次拉取失败快速重试，三次失败自动回滚到旧版本镜像，保证线上 SLA。

5. 资源与成本

   • 10 TB 模型层按访问频率拆热、温、冷三级：
     • 热数据（最近 7 天）保留在本地 NVMe SSD；
     • 温数据（7–30 天）下沉到本地 SATA；
     • 冷数据（>30 天）只存元数据，真正读取时从 OSS 冷存秒级拉起；
   • 通过层去重 + P2P，总存储成本下降 62%，公网出流量费用下降 95%。

拓展思考

1. 如果模型继续膨胀到 50 TB，单 layer 超过 Registry 单 blob 5 TB 上限，需要拆分 layer 为多个 blob 并自定义 mediaType，同时在客户端做并行合并。
2. 当业务需要多版本 A/B 实验时，可把模型权重 layer 进一步拆为“公共参数”+“实验参数”，公共层只拉一次，实验层按流量比例懒加载，实现秒级版本切换。
3. 国内合规场景下，模型权重可能涉密，需要在 layer 级别做国密 SM4 加密，拉取时通过国密硬件 UKey 动态解密，此时懒加载方案需改造 nydus 的 crypto-snapshotter，确保不解密不落盘。
4. 未来走向Serverless 容器（如阿里云 ECI、华为 CCI），节点无本地盘，必须把懒加载与远端内存缓存（Alluxio、JuiceFS）结合，10 TB 模型直接挂载为只读文件系统，启动时间 < 1 秒，真正做到“无限容量、零等待”。