解读

Pass@k 是衡量大模型生成多样性与正确性的核心指标：对同一 prompt 采样 k 条独立轨迹，只要其中任意一条通过单元测试即视为通过。k=10 意味着每条题目要完整跑 10 次模型推理+后处理+判题，线上题库规模上万时，评估耗时直接决定迭代周期。国内面试场景下，面试官真正想确认的是：

1. 你能否把“重复执行”变成“零重复计算”；
2. 在分布式推理集群、多任务并发、缓存一致性、版本漂移等真实约束下，缓存方案仍保持统计正确性；
3. 你对LLMOps 评估管线的落地细节有体感，而不是只背公式。

知识点

• Pass@k 无偏估计公式：
  Pass@k = 1 − C(n−c, k) / C(n, k)，其中 n 为总采样次数，c 为通过次数。
  该公式对采样顺序不敏感，因此只要缓存的样本是独立同分布的，就可以复用。
• 缓存键设计：必须包含模型版本号+prompt 模板 ID+温度/top_p/seed 策略+后处理脚本哈希，任何一项变化都视为新分布。
• 分层缓存：
  – L1 本地内存（<10 ms）：单节点线程级共享，容量小，存原始生成结果；
  – L2 Redis 集群（~1 ms 本机房 RT）：存序列化后的生成结果与通过标记，键 TTL 按模型迭代周期设置（通常 24 h）；
  – L3 对象存储（OSS，~10 ms）：存压缩后的全量采样日志，用于离线重放与审计。
• 并发控制：采用分布式锁+双重检查模式，防止缓存穿透导致雪崩；对热点题使用预加载+异步回填策略。
• 版本漂移：在模型热更新场景，通过灰度缓存前缀（model_ver=sha256）物理隔离，老版本缓存延迟淘汰，保证并行对比实验无误。
• 统计正确性：缓存只加速重复采样，不干预随机种子池；线上仍定期全量重采样（如 5% 流量）做漂移检测，确保期望无偏。

答案

给出一个可直接落地的七步方案，兼顾性能与正确性：

1. 键规范：
   cache_key = sha256(model_ver|prompt_tmpl_id|temperature|top_p|post_hash|extra_args)[:16]
   这样16 字节前缀既保证唯一性，又降低 Redis 内存。
2. 采样即写缓存：
   每条 prompt 先查 L1→L2→L3，未命中才调用推理服务；返回前原子写入三级缓存，写操作异步化避免阻塞判题。
3. 批采样优化：
   对同一题目一次性请求k=10条，Redis pipeline 批量 mget，缺失条数 m≤10 时才真正推理，网络 RT 从 10 次降到 1 次。
4. 分层过期：
   L1 过期 5 min，L2 过期 24 h，L3 永久；模型发布新版本时，老版本缓存带 48 h 优雅期，保证A/B 实验可回滚。
5. 一致性兜底：
   引入校验和字段，缓存值附带生成耗时、节点 IP、随机种子列表；离线审计任务每天抽样比对缓存与重新推理结果，不一致率>0.1% 自动告警。
6. 热点防护：
   对高频题库（如 TOP 200）采用预加载+本地内存镜像，评估集群启动时预热，QPS 提升 10 倍以上。
7. 结果复用：
   在多任务并发场景（如同时跑 Pass@1、Pass@5、Pass@10），只需缓存 10 条完整样本，不同 k 值直接内存切片，零额外推理。

通过以上方案，千题评估耗时从 2.3 GPU·小时降到 0.2 GPU·小时，缓存命中率稳定在 92% 以上，且统计指标与全量重跑差异<0.3%，满足国内大厂上线门槛。

拓展思考

1. 缓存与动态温度：如果业务需要在线搜索最优温度，可把温度离散成0.2/0.4/0.6/0.8 四档，缓存四份独立样本，搜索过程零推理，帕累托前沿秒级产出。
2. 缓存+增量微调：当模型增量训练后，差分哈希（只编码参数增量）可作为缓存键后缀，未改变层的生成结果直接复用，首次评估即可节省 60% 算力。
3. 合规与隐私：国内生成式 AI 备案要求全链路留痕，缓存需加密存储（AES-256+KMS），密钥按租户隔离，审计日志实时上报省级监管接口，缓存命中也需记录以备算法核查。