如何单元测试覆盖 200 个地区格式?
解读
面试官真正想考察的是:
- 你是否理解“地区格式”在大模型落地场景下的业务含义——它不仅是正则,还涉及行政区划层级、多语言、多编码、别名、历史沿革、港澳台及海外特殊地区;
- 你能否在LLMOps 流水线里把“格式验证”做成可回归、可灰度、可监控的自动化资产,而不是一次性脚本;
- 你能否在百亿参数模型生成结果不可控的前提下,用最小成本把风险降到合规水位(网信办备案、地图测绘资质、跨境数据流动)。
因此,回答必须体现:分层测试策略 + 数据工程 + 模型副作用防控 + 国产工具链。
知识点
- 地区格式五维模型:行政区划代码(GB/T 2260)、标准化汉字名称、罗马字母拼写(GB/T 16159)、经纬度(GCJ-02)、别名/历史名;
- 测试金字塔:UT→组件→接口→端到端,其中 UT 必须无 I/O、毫秒级、可并行;
- 参数化与组合爆炸:200 个地区 × 5 维 × 2(简体/繁体)× 3(全角半角符号)≈ 6000 条用例,需笛卡尔积裁剪 + PICT 两两组合;
- 国产合规数据源:民政部全国行政区划查询平台接口、高德/百度地图开放平台(GCJ-02 加密)、国家基础地理信息中心2023 版数据;
- 大模型特有风险:幻觉、训练数据过期、Prompt 注入导致输出“台湾国”等政治敏感实体,需在 UT 层做红队关键词兜底;
- LLMOps 工具链:Jenkins + GitLab-CI 国产化替代(如极狐GitLab)、MindSpore Lite 推理加速、OpenGauss 存测试用例、Prometheus+Grafana 监控“地区解析失败率”。
答案
1. 用例设计
- 一级用例:民政部 2023 版 34 省级 + 333 地级 + 2843 县级,共 200 条抽样(含港澳台、三沙、神农架、喀什特区);
- 二级用例:每条地区生成 5 维正例 + 3 维反例(错别字、过期编码、敏感词变形);
- 三级用例:边界值——行政区划调整空窗期(如“莱芜市”合并到“济南市莱芜区”的 2019-01-09 当天格式)。
2. 参数化框架(Python 示例)
# 使用 pytest + 国产极狐GitLab-CI
import pytest, json, requests
from opencc import OpenCC # 简体繁体转换,已做等保测评
# 数据源:民政部 CSV + 高德 API 双重校验
with open("minzhengbu_2023.json", encoding="utf-8") as f:
RAW = json.load(f)
# PICT 两两组合,6000→400 条
def pairwise(iterable):
... # 开源实现略
cases = pairwise([(code, name, latlng, alias, political)
for code in RAW for ...])
@pytest.mark.parametrize("code,name,latlng,alias,political", cases)
def test_region_format(code, name, latlng, alias, political):
# 1. 正则层:GB/T 2260 6 位数字或 12 位乡镇码
assert re.match(r"^\d{6}(\d{6})?$", code)
# 2. 汉字层:无非法字符、长度 2-50
assert 2 <= len(name) <= 50 and not re.search(r"[<>]|台湾国", name)
# 3. 坐标层:GCJ-02 加密,偏差 10m 内
assert 73 <= latlng[0] <= 136 and 4 <= latlng[1] <= 54
# 4. 大模型生成层:调用本地 MindSpore Lite 服务,温度=0
resp = query_llm(f"请格式化地区:{alias}")
assert resp["code"] == code
# 5. 红队兜底:出现敏感政治实体即失败
assert "台湾省" in resp["name"] or "香港特别行政区" in resp["name"]
3. 运行策略
- 本地 UT:pytest-xdist 并行 32 进程,200 条 1.2s 跑完;
- CI 阶段:极狐GitLab-CI 触发,失败率>0.5% 即阻断合并;
- 模型灰度:UT 通过后,再进入金丝雀环境,对比基线模型与微调模型“地区解析 Top-1 准确率”,回滚阈值 99.5%;
- 监控告警:Prometheus 记录“地区格式异常”标签,5 分钟内告警到飞书。
4. 维护
- 民政部每季度更新,用Renovate 机器人提 PR,自动跑全量用例;
- 港澳台表述以国台办最新白皮书为准,敏感词库走网信办备案接口实时同步。
拓展思考
- 如果业务扩展到“一带一路”海外 150 国地址,如何复用同一套参数化框架?答案:把“地区格式”抽象为ISO-3166-2 + 多语言 BCP47 + 时区 + 邮编四维模型,用AllPairs 生成跨国组合,并在 UT 层调用外交部领事服务网最新译名接口做政治实体校验。
- 当大模型输出“台湾省”被前端组件截断成“台湾”时,如何证明是前端 Bug 而非模型 Bug?可在 UT 层增加**“端到端哈希”**——把模型输出原文做 SHA256 存日志,前端回传同样哈希,哈希不一致即定位到前端。
- 若未来模型压缩到 10 亿参数部署在华为昇腾 310P边缘盒,UT 如何跑在交叉编译后的 ARM 环境?用QEMU 用户态模拟 + Docker buildx 在 x86 CI 节点一键生成 ARM 镜像,保证字节级一致。 </模板>