当模型输出非标准格式时,如何采用正则+规则后处理?
解读
面试官真正想考察的是:
- 你是否亲手踩过“大模型胡说八道”的坑,能把“脏输出”快速洗成业务可用格式;
- 你是否能在百亿参数幻觉、高并发延迟、合规审计三重压力下,用最小成本给出可维护、可灰度、可回滚的清洗方案;
- 你是否理解正则+规则不是万能,知道何时必须转模型自修正、函数调用、JSON Mode等更重的方案。
国内真实场景里,监管要求“先审后发”,业务要求“端到端延迟 <800 ms”,所以后处理必须在30 ms 内完成,且100% 可解释,否则会被风控一票否决。
知识点
-
脏输出五大型:
- 型1:JSON 不闭合、单双引号混用、多余逗号
- 型2:中英文括号、全角符号、空格、换行随机插入
- 型3:字段名漂移(“userId”⇄“user_id”⇄“用户ID”)
- 型4:数值单位粘连(“1000元”⇄“1000”)
- 型5:幻觉字段(模型私加“confidence”等业务未定义 key)
-
正则分层策略:
- L1 抢救层:用贪婪/非贪婪组合先暴力提取“最像答案”的片段,兜底防止空结果;
- L2 精修层:用命名捕获组一次性把目标字段全部提出,降低 match 次数;
- L3 校验层:用零宽断言确保字段位置不越界,避免把“备注”里的数字误当“金额”。
-
规则引擎:
- 字段必存在规则:缺失即触发同步补默认值或异步告警;
- 数值区间规则:人民币金额必须∈[0.01, 1 000 000],超限直接转人工审核;
- 枚举白名单规则:商品类目必须在工信部《电子商务商品分类》最新版中,否则打标高风险;
- 黑白名单字典:政治、色情、暴力关键词采用AC 自动机一次扫描,命中即拒绝,并记录traceId供网信办抽查。
-
性能与稳定性:
- 正则预编译Pattern.compile()缓存到Guava LoadingCache,避免每次 new;
- 对超5 MB 的返回先截断再匹配,防止ReDoS 攻击;
- 规则热更新采用阿里云 ACM/Nacos推送,版本号回滚在30 s内生效;
- 全链路埋点:原始输出、清洗后输出、规则命中编号、耗时四字段必须落盘,保留 180 天以备审计。
-
合规兜底:
- 若正则+规则连续3 次清洗失败,立即降级到“安全模板”(如“系统繁忙,请稍后重试”),并报警给值班手机;
- 对外透传字段必须脱敏(手机号、身份证、地址用****打码),否则不合规直接下架应用。
答案
“遇到非标准格式,我采用三层清洗 + 双通道兜底的方案。
第一步,L1 抢救层用一条超宽松正则
(?s)['"]?(\w+)['"]?\s*[:=]\s*['"]?(.*?)['"]?(?:,|}|]|$)
把所有键值对先抓出来,防止 JSON 断裂导致空结果;
第二步,L2 精修层针对业务字段写命名捕获组
"amount"\s*:\s*(?<amount>\d+\.?\d*)
一次性提取金额,并立即用BigDecimal强转,防止精度陷阱;
第三步,L3 校验层把字段送进Drools 规则引擎,执行金额区间、枚举白名单、敏感词三套规则,总耗时控制在 20 ms以内。
若任一环节异常,触发双通道兜底:
A 通道——同步返回安全模板,保证前端不炸;
B 通道——异步把原始输出 + 异常栈发到 Kafka,Flink 实时任务在30 s 内自动微调模型 prompt 并热更新。
整个方案已在双十一峰值 8 万 QPS场景验证,清洗耗时 P99 27 ms,合规审计 0 违规。”
拓展思考
- 正则+规则的天花板:当业务字段超过 50 个且嵌套三层以上,清洗代码圈复杂度会爆炸,此时应果断升级到 JSON Mode或函数调用(Function Calling),让模型直接输出 schema 约束的 JSON,后处理只负责签名验签 + 字段补全,延迟可再降 40%。
- 多模态扩展:若输出里混有图片 URL或Markdown 表格,正则无法解析,应先把富文本降级成纯文本,再用正则+规则处理;图片内容走内容安全蓝盾审核,双重闸门防止OCR 隐藏敏感词。
- 国产化合规:政府项目要求信创环境,Java 正则引擎需替换为国产高兼容实现(如东方通 TongRegex),提前在麒麟 OS + 鲲鹏 CPU做性能基线,防止JIT 编译差异导致CPU 飙高。