解读

在国内真实业务场景里，多模态检索往往指“图文互检”或“图文音混合检索”，结果相关性直接决定下游推荐、广告、审核、问答等模块的转化率与风险水位。面试官想考察两点：

1. 你能否把“相关性”拆成可量化、可落地的指标；
2. 你能否设计一套低成本、可复现、符合中国数据合规要求的人工评估协议，并把它无缝嵌入 LLMOps 闭环。
   回答必须体现“大模型落地”视角：既要考虑百亿级模型输出分布的偏置，也要兼顾国内众包团队、标注基地、三审三校流程的实际操作习惯。

知识点

1. 多模态相关性维度：语义相关性、视觉相关性、场景一致性、文化合规性（涉政、涉黄、民族服饰、地图疆界等）。
2. 指标分层：宏观指标（Precision@K、nDCG、mAP、HIT@5）、微观指标（细粒度 0/1/2/3 四级打分、细粒度掩码交并比）、偏见指标（地域、性别、民族分布卡方检验）。
3. 人工评估协议要素：标注指南、标注员筛选、一致性检验、质检机制、争议仲裁、数据安全与隐私合规。
4. 大模型时代的新工具：模型辅助标注（用百亿参数多模态大模型预生成伪标签，人工只做校正）、主动学习（优先挑模型不确定性最高的样本）、对抗性测试（用 AIGC 生成难例，测试标注员是否会被误导）。
5. 国内合规红线：《个人信息保护法》、《数据出境安全评估办法》、《生成式 AI 服务管理暂行办法》，标注数据不得出境，敏感图像必须脱敏打水印，标注员须签保密与意识形态承诺书。

答案

第一步：拆解相关性维度
把“相关”拆成必达维度与增益维度。

• 必达维度：语义相关（文本 query 与图像文本描述匹配）、视觉相关（主体物体、颜色、风格一致）。
• 增益维度：场景一致（时间、地点、事件）、文化合规（民族、疆界、旗帜、文字是否正确）。任一必达维度不通过即判 0 分。

第二步：制定四级细粒度打分
0 分：完全不相关；1 分：勉强相关，需翻 3 页以上才能接受；2 分：基本相关，翻 1 页可接受；3 分：高度相关，首屏即可满足。
为降低认知负载，用**“双盲+单屏”**展示：左侧 query+右侧结果单张图，隐藏模型 ID，防止标注员品牌偏见。

第三步：构建“金标池”与“毒样本池”

• 金标池：邀请业务专家 5 人独立标注 500 条，Krippendorff α≥0.81 方可入库，作为后续众包校准基准。
• 毒样本池：用内部 AIGC 工具生成 200 组“看似相关实则违规”的难例（如“新疆地图缺界”），用于定期抽检标注员意识形态红线意识。

第四步：众包标注流程（符合国内基地管理）

1. 标注员准入：专科以上、通过政治审查与多模态题库考试（≥90 分）。
2. 任务分片：每包 50 条，随机插入 10% 金标，实时一致性<80% 自动踢出。
3. 三审三校：一审标注员→二审质检员（10% 抽检）→三审专家仲裁（争议>30% 启动）。
4. 合规留痕：所有操作日志、屏幕水印、身份证号脱敏后本地私有化存储，日志保留 3 年备查。

第五步：量化与迭代

• 宏观指标：Precision@5≥85%、nDCG@10≥0.90 为上线门槛。
• 偏见指标：按地域、性别、民族维度做卡方检验 p>0.05，否则触发模型微调回炉。
• 闭环机制：每周把人工标注差异 Top 5% 难例喂回RLHF 微调管道，同步更新标注指南，做到“周更周评”。

拓展思考

1. 成本优化：可用百亿参数多模态大模型做预排序，只把置信度 0.3~0.7 的区间送人工，节省 40% 标注预算。
2. 实时线上监控：把人工金标池嵌入在线 A/B 框架，每小时拉取 1% 流量做实时相关性漂移检测，KS 统计量>0.1 自动回滚模型。
3. 多语言民族场景：国内少数民族语言（藏、维、蒙）query 需额外引入民族语言专家，并检查图像是否包含敏感宗教符号，避免**“清真”泛化**误伤。
4. 未来趋势：随着**《深度合成规定》**落地，可考虑把“是否含 AI 生成痕迹”也纳入相关性维度，防止用户用 AIGC 图片“骗检索”套取流量。