解读

在国内工业级Agent落地场景中，多模态冲突检测是保障大模型输出可信度的核心环节。面试官想考察的是：

1. 能否把“冲突”抽象成可度量的语义差异；
2. 能否用提示模板把差异量化并触发后续纠错链路；
3. 是否兼顾中文语境下的幻觉抑制与计算成本。

知识点

1. 冲突三元组定义：实体-属性-值，文本侧与视觉侧各抽一套，对齐即冲突判定。
2. 提示模板=系统指令+少样本+输出模式+安全围栏，必须让大模型先输出“是否冲突”布尔值，再给出“冲突证据链”，降低幻觉。
3. 中文关键词增强：在模板里显式加入“不、无、未、非”等否定词库，防止BERT-Tokenizer分词错误导致漏检。
4. 双通道验证：先用轻量级CLIP-中文蒸馏模型做粗过滤，仅当置信度0.4~0.7区间才触发大模型模板，平衡延迟与准确率。
5. 合规红线：模板末尾必须插入**“若涉及人脸、舆图、医疗等敏感实体，优先返回空拒绝”**，满足《生成式AI管理办法》要求。

答案

给出一个可直接落地的三级提示模板，兼顾精度与速度：

系统指令
你是一位中文多模态冲突检测专家。请严格按以下步骤执行，禁止输出任何额外解释。

输入格式
文本：{text}
图像Base64：{image_b64}

步骤

1. 提取文本中所有实体-属性-值三元组，记为T。
2. 用OCR+视觉实体识别提取图像侧三元组，记为V。
3. 若T与V在同一实体、同一属性下出现互斥值，则判定冲突。
4. 输出JSON：{"conflict":true/false,"evidence":[{"entity":"xxx","attribute":"颜色","text_value":"红","image_value":"蓝"}]}

少样本
文本：“身穿红色外套的女孩”
图像：女孩穿蓝色外套
输出：{"conflict":true,"evidence":[{"entity":"女孩","attribute":"外套颜色","text_value":"红","image_value":"蓝"}]}

安全围栏
若实体属于敏感领域清单，直接返回{"conflict":null,"evidence":[]}，不继续推理。

拓展思考

1. 持续学习闭环：把每日线上冲突样本自动加入难例库，每周用LoRA微调一次中文CLIP，实现模板阈值动态更新。
2. 边缘部署优化：将模板固化到ONNX+TensorRT图内，把JSON模式写成强制输出Schema，推理侧只需一次前向，延迟从800 ms降到120 ms。
3. 人机协同：当模板返回冲突且置信度<0.85时，触发众包复核任务，复核结果回流至RLHF奖励模型，让Agent学会“越辩越真”。