解读

面试官想验证三件事：

1. 你是否理解 Faiss 的“内存占用 = 原始向量 + 量化码本 + 倒排列表 + 图/HNSW 邻接表”这一完整成本模型；
2. 面对 200 GB 单索引无法落地的场景，能否给出“可水平扩展、对业务透明、召回率 1:1”的工程方案，而不是简单回答“用 IVF4096 就行”；
3. 是否具备性能测试视角——如何设计压测用例证明“分片后精度未降、RT 和 QPS 仍满足 SLA”。
   国内大厂实际场景里，200 GB 往往只是“一天增量”，因此必须兼顾“流式每日重建+在线热切换”，否则会被直接追问“第二天数据来了怎么办”。

知识点

1. Faiss 内存构成
   • raw vectors：float32 维度 d，n 条即 4nd 字节
   • 量化器：PQ16 为例，码本 ksub×dsub×256×4 字节，通常 <5 GB
   • IVF 倒排列表：nlist×平均列表长度×（code_size+8）字节
   • HNSW 图：M×层数×n×8 字节，内存随 M 指数增长
2. 分片本质
   把 n 条向量按“业务键+shard key”拆成 k 份，每份独立建索引；检索时并行查 k 份，取 Top-K 后二次排序。
3. 精度无损条件
   • 分片键必须保证“相似向量同片”——用 KMeans 训练 2×k 个质心，再按“最近质心”做分桶，避免随机 hash 导致跨片召回漏检；
   • 每片仍用 IVF+PQR 或 HNSW+PQ，参数与原始单索引完全一致；
   • 二次排序必须“全局精确”，即把 k 份距离原始浮点值带回 Coordinator 做最终堆排序，而不是在片内取 Top-10 后只回传 ID。
4. 性能测试验证
   • 离线：用 1 亿测试集分别跑单索引与分片索引，Recall@100 差异 <0.3%；
   • 在线：灰度 5% 流量，对比 P99 检索耗时上涨不超过 10%，CPU 利用率增加不超过 k 倍线性上限；
   • 稳定性：连续压测 12 h，内存无增长，无 OOM，GC 停顿 <50 ms。

答案

步骤一：容量测算
200 GB 向量部分占比 80%，即 160 GB；反推 n≈50 亿条 128 维 float32。单台物理机 512 GB 内存，留 30% buffer，单实例上限 350 GB，因此至少 2 片；考虑 QPS 横向扩展，最终取 k=8 片，每片 6.25 亿向量，内存 25 GB，完全驻留内存。

步骤二：分片键设计

1. 随机采样 1000 万向量做 KMeans，k=16×2=32 质心；
2. 把 32 个质心按汉明距离做二分，得到 8 个“超级质心”；
3. 入库时只计算与 8 个超级质心的距离，按最近者写入对应分片；
4. 检索时同样路由，保证“查询向量”与“库向量”在同一片概率 >96%，跨片召回损失 <0.2%。

步骤三：索引参数克隆
每片仍用 IVF65536,PQ16+16，nprobe=32，与原始单索引保持一致；HNSW 场景 M=32, efConstruction=200，同样复制。

步骤四：并行检索框架

1. 服务层采用“协程池+异步 RPC”同时调用 8 片；
2. 每片返回 Top-200 的 (id, float distance)；
3. Coordinator 用最小堆做全局归并，取最终 Top-100；
4. 耗时由最慢分片决定，因此压测时需保证 P99 片内耗时 <15 ms，网络往返 <5 ms，总 P99 <25 ms。

步骤五：精度验证

• 离线：用 S1000M 测试集，分别跑单索引与 8 片索引，Recall@1/10/100 三档差异均 <0.3%；
• 在线：A/B 双写，对比业务日志中“用户点击 Top-1 结果”比例，差异 <0.1%，视为无感知。

步骤六：持续交付

• 每日增量 5 千万条，触发“增量 KMeans+分片重建”脚本，30 min 内完成；
• 采用“双 Buffer+原子切换”：新索引建好后替换内存指针，老索引延迟 10 min 销毁，保证无请求丢失；
• 压测脚本随 CI nightly 自动跑，Recall 与 RT 回归失败即阻塞版本发布。

通过以上六步，可在 8 台 512 GB 机器上把 200 GB 原始索引无损拆成 8×25 GB，QPS 提升 6 倍，P99 检索耗时 20 ms，Recall@100 与单索引完全一致，满足国内生产环境 SLA。

拓展思考

1. 如果向量维度升到 768，内存膨胀到 1.2 TB，分片数需线性增加吗？
   答：不必。可先用 OPQ 旋转降维到 256，再用 PQ32，内存降到 400 GB，分片 16 片即可；压测时需验证降维后 Recall 损失 <1%，否则采用“分片+磁盘缓存”混合方案。
2. 国内公有云机型内存上限 512 GB，但业务突发大促 QPS 涨 5 倍，如何快速弹性？
   答：把分片数设计为“2 的幂”，日常 8 片，大促前夜通过“分裂”变 16 片，每片内存减半，直接弹出 16 台容器，压测平台提前跑好“16 片 Recall 回归”用例，一键灰度。
3. 面试官追问“为什么不直接用 Faiss GPU 版一次性 200 GB 放显存”？
   答：国内 A100 40 GB 单卡需 6 卡 NVLink 才够 200 GB，成本 6×5 万/月；而 8 台 512 GB 内存机合计 4 万/月，且 CPU 方案可水平扩展，GPU 方案在 n>100 M 时构建索引时间反而更长，综合 TCO 高 30%，故采用内存分片+CPU 并行检索。