解读

面试官想验证三件事：

1. 你是否理解“AI产品=数据+模型+代码”的三元交付物，而传统软件只有代码；
2. 你是否能把“动态演化”拆成可落地的国内工程动作，而不是空喊“数据闭环”；
3. 你是否能在成本、合规、业务节奏之间做权衡，给出可执行的测试策略。
   回答时要先点破“固定用例”背后的假设——输入空间有限、逻辑确定；再说明AI产品输入空间无限、逻辑随数据漂移，因此测试用例必须像模型一样持续“训练”。

知识点

1. 数据分布漂移（Population Drift）：国内真实场景里，618大促、春节物流、疫情突发都会导致用户行为突变，离线基线瞬间失效。
2. 模型版本熵增：上线后模型自学习或人工微调，同一接口的“预期输出”已非确定值，需用“置信区间”替代“断言相等”。
3. 标注回流机制：国内大厂普遍采用“灰度-人工抽检-标注平台-模型热更新”闭环，测试用例即由回流样本自动触发生成。
4. 合规红线：网信办《算法推荐管理规定》要求对“显著差异”结果留存用例，测试集必须随政策实时补录敏感场景。
5. 成本约束：国内云厂商按调用量计费，测试用例生成需引入“价值密度”筛选，优先覆盖高客诉、高金额、高舆情风险路径。

答案

“传统软件的测试用例之所以固定，是因为输入域可枚举、业务规则由代码硬编码，只要覆盖所有分支即可保证质量。AI产品则依赖数据驱动的概率模型，其‘业务规则’隐式存储在千万级参数里，受三大变量影响必须动态演化：
第一，数据分布随时间漂移。以我们去年落地的智能客服为例，618前用户咨询‘定金退款’占比2%，大促当天飙升到37%，模型F1下降12个百分点，原有测试集立刻失效。我们采用‘滑动窗口+KS检验’监控，当漂移系数>0.3时自动触发测试用例扩充，从线上实时捞取Top 500高危Query，经标注平台4小时内完成标注并生成新用例，进入 nightly regression。
第二，模型本身持续迭代。国内GPU资源紧张，我们通常采用‘小步快跑’热更新，平均每周发布1.3个版本。每版模型参数变动后，旧用例的‘期望输出’已不成立，需用‘模型对比测试’重新生成期望：把同一批新样本分别跑旧模型与新模型，对预测差值超过置信阈值的样本自动升格为回归用例，并通知业务方复核。
第三，合规与舆情驱动。根据《深度合成规定》及各大应用商店算法备案要求，必须对‘生成内容显著差异’场景留痕。我们搭建了‘合规哨兵’系统，一旦监测到涉政、涉黄、歧视性输出，立即把该输入及上下文封装成测试用例，写入不可篡改的合规数据集，强制在下一轮迭代中通过。
通过这三条管道，我们的测试用例从‘人工编写’演进为‘数据驱动自生长’，平均每日新增800条有效用例，线上P0事故率下降42%，同时把标注成本控制在GMV的0.08%以内，符合国内ROI要求。”

拓展思考

1. 如何用“测试用例演化率”作为AI-PM的健康指标？可定义：每周新增用例数/核心指标波动系数，比值过低说明闭环失效，过高可能标注浪费。
2. 在算力受限的腰部公司，可用“影子模式+重要性采样”替代全量回归：只对新样本中影响业务损失的Top 20%进行标注和用例生成，平衡成本与风险。
3. 未来随着《人工智能安全评估办法》落地，测试用例需增加“可解释性用例”维度，PM要提前规划LIME、SHAP样本的自动化生成与存档，避免备案被驳回。