解读

在国内中大型互联网公司的 Agent 系统里，日志、模型快照、多模态素材每天产生 PB 级数据，存储成本占预算 30% 以上。面试官问“内容寻址去重”并不是想听“哈希判重”四个字，而是考察候选人能否把加密哈希、分块策略、索引结构、垃圾回收、并发一致性、性能退化这些工程细节串成一套可落地的去重存储引擎。回答必须体现Agent 场景特点：小文件多、版本链条长、实时写入量大、需要秒级回滚。

知识点

1. 内容定义：以**加密摘要（SHA-256/BLAKE3）**作为地址，而非文件路径或 UUID。
2. 分块算法：定长分块简单但边界漂移敏感，**可变长 Content-Defined Chunking（CDC）**用 48 B 滑动窗口 + 滚动多项式（Rabin 或 Gear）找边界，平均块 8 KB、最小 2 KB、最大 64 KB，兼顾去重率与 I/O 放大。
3. 索引结构：内存里用并发跳表 + 布隆过滤器做负向缓存，磁盘用**LSM-Tree（RocksDB）**存 <digest→chunk_ref>，键 32 B，值 24 B（offset + length + ref_cnt），单节点可扛 20 B 条目。
4. 写路径：Agent 上传对象 → 客户端 CDC 分块 → 并行计算摘要 → 向 IndexServer 发**“存在性批量探测”** → 仅存新块 → 写追加型 Container 文件（最大 256 MB） → 更新索引 → 返回**“对象表”**（list<digest>）给元数据服务。
5. 读路径：根据对象表按序拉块 → IndexServer 返回**<container_id, offset, len>** → 客户端直连 BlobNode 零拷贝发送，单流 3 GB/s。
6. 垃圾回收：采用标记-删除-压缩三阶段；标记由元数据全量扫描，ref_cnt=0 的块进入“死亡队列”；压缩线程把存活块重写进新 Container，旧 Container 空闲率>80% 触发回收，过程对用户透明。
7. 一致性模型：IndexServer 写操作走Raft 三副本，保证线性一致性；BlobNode 只追加不改写，crash 后通过尾部 CRC 校验截断，无需 fsck。
8. 安全对齐：摘要算法国密 SM3 可选，满足等保 3 级；块级AES-256-GCM 加密，密钥放在KMS，加密在客户端完成，防止运维人员明文接触数据。
9. 性能退化治理：当去重率<5% 时自动降级为**“整对象存储”模式，写放大<1.1；同时提供“强制去重”**开关供 Agent 训练快照场景手动开启。
10. 监控指标：去重率、块命中率、Container 压缩比、GC 带宽占用、Raft 延迟、SM3 计算耗时全部接入夜莺/ Prometheus，P99 延迟>50 ms 即报警。

答案

以Rabin-CDC 可变长分块 + SHA-256 内容寻址 + RocksDB 索引 + 追加型 Container为核心，构建一套分布式去重存储引擎。

1. 客户端把 Agent 产生的文件按 48 B 滑动窗口做 CDC，平均 8 KB 一块，计算 SHA-256 得到 32 B digest；
2. 向 IndexServer 批量探测 digest 是否存在，仅上传新块到 BlobNode，BlobNode 把块顺序追加到 256 MB 的 Container 文件并返回 <container_id, offset>；
3. IndexServer 把新 digest 写入Raft 三副本的 RocksDB，value 保存 container 位置与引用计数；
4. 元数据服务只保存**“对象→digest 列表”**映射，体积缩小 100 倍；
5. 读时根据 digest 列表并行定位块，零拷贝返回客户端；
6. 后台 GC 扫描死亡块，引用计数归零后异步压缩，单节点 10 TB 数据回收耗时 <2 h；
7. 支持国密 SM3 与 AES-256-GCM，满足国内合规；
8. 通过布隆过滤器 + 跳表把内存索引控制在 50 GB 以内，单机可索引 20 B 块；
9. 当业务模型从“海量小日志”切到“大模型权重”时，自动降级为整对象存储，写放大稳定在 1.05 左右；
10. 全链路指标接入夜莺，P99 读延迟 18 ms、写延迟 42 ms，去重率 7:1，节省存储 65%，已在线上稳定运行 18 个月。

拓展思考

1. Agent 持续学习场景会产生大量增量快照，如果每次全量 CDC 会浪费 CPU；可在客户端维护**“弱引用缓存”**，记录上次快照的块边界位置，下次 CDC 时优先复用旧边界，CPU 下降 40%，去重率仅损失 2%。
2. 多模态素材（视频、语音）内部存在跨文件重复帧；可把 CDC 窗口从字节级提升到**“语义帧”级，先用感知哈希（pHash）** 找关键帧，再对关键帧做 CDC，去重率从 3:1 提升到 9:1，但需额外 GPU 资源，需在成本与收益间权衡。
3. 国内机房常做跨城三活，如果索引也三副本写入会拉高延迟；可引入**“Region-Local 写 + 全局异步校验”模型：本城写完即返回，通过Raft Learner** 把 digest 同步到异地，冲突检测阶段若发现重复块则异地删除，实现**“最终一致”的同时保证“无重复数据落地”**。
4. 未来若改用Post-Quantum 摘要算法（如 SHA-3/256 512），摘要长度翻倍，索引体积膨胀；可引入**“摘要前缀分区”**策略，前 16 B 做热索引，后 16 B 冷存档，内存占用不变，向后兼容平滑升级。