如何用 JSON 模板记录模型架构、数据、评测结果?
解读
面试官真正想考察的是“模型资产沉淀能力”。国内大模型落地节奏快、人员流动高,如果候选人不能用一份可机读、可对比、可回溯的 JSON 把实验上下文完整封存,后续做增量微调、效果复现、合规审计都会踩坑。JSON 只是载体,核心是字段设计是否覆盖《生成式人工智能服务管理暂行办法》要求的可追溯、可验证、可撤销三点,以及能否一键接入内部 LLMOps 平台完成版本对比与自动告警。
知识点
- 三大实体:ModelCard、DataManifest、EvalReport——分别对应架构、数据、评测。
- 字段分层:meta/artifact/metric/governance 四层,既方便 Git 差分,也满足工信部备案要求的“模型说明书”颗粒度。
- 国产合规字段:
algorithm_filing_no、security_audit_id、data_source_license、personal_info_mask_schema,缺一项就无法上线。 - 可扩展性:使用
"_comment"存放不可机读备注,避免字段膨胀;用"@version": "1.3"做 schema 演进。 - 与 CI 集成:JSON 必须能被
jq直接抽取,供内部 Harbor 镜像标签、KubeDL 训练任务、Prometheus 监控三板斧串联。
答案
给出一个可直接落地的 JSON 模板(已在国内某头部电商 LLMOps 平台验证),候选人应现场口述字段含义,并强调如何与内部系统打通。
{
"@version": "1.3",
"@timestamp": "2024-05-28T14:23:10+08:00",
"model_card": {
"model_id": "chat-glm3-6b-fin-0428",
"base_model": "THUDM/chatglm3-6b",
"model_type": "casual_lm",
"parameter_shape": {
"total": 6.3e9,
"trainable": 6.3e9
},
"arch": {
"hidden_size": 4096,
"num_layers": 28,
"num_heads": 32,
"vocab_size": 65024,
"rope_theta": 10000
},
"tokenizer": {
"type": "sentencepiece",
"vocab_file": "oss://nlp-model/chatglm3/vocab.model",
"special_tokens": {
"pad": "<pad>",
"eos": "<|endoftext|>"
}
},
"peft": {
"method": "lora",
"r": 64,
"alpha": 128,
"dropout": 0.05,
"target_modules": ["query_key_value"]
},
"precision": "bf16",
"acceleration": {
"framework": "vllm-0.4.2",
"quantization": null,
"tensor_parallel": 2
},
"security": {
"algorithm_filing_no": "Bei-An-2024-0092",
"red_team_eval_pass": true,
"audit_date": "2024-05-20"
}
},
"data_manifest": {
"train": {
"name": "fin_corpus_v5",
"size": 1850000,
"human_annotation": false,
"language": "zh",
"source": ["oss://nlp-data/fin_txt_2024", "oss://nlp-data/audit_labeled"],
"license": "CC-BY-SA-4.0",
"personal_info_mask_schema": ["phone", "id_card", "bank_card"],
"checksum_md5": "a1b2c3d4e5f6"
},
"val": {
"name": "fin_val_0428",
"size": 20000,
"checksum_md5": "f6e5d4c3b2a1"
}
},
"eval_report": {
"benchmarks": [
{
"name": "C-Eval",
"subset": "finance",
"metric": "acc",
"value": 0.683,
"ci95": [0.670, 0.696],
"baseline": 0.612,
"test_date": "2024-05-27"
},
{
"name": "SafetyBench-CN",
"metric": "violation_rate",
"value": 0.018,
"threshold": 0.05,
"pass": true
}
],
"online_ab": {
"start": "2024-05-25",
"end": "2024-05-27",
"traffic": 0.05,
"core_kpi": {
"turn_success_rate": {
"delta": "+2.3%",
"p_value": 0.018
},
"avg_response_len": {
"delta": "-4.1%"
}
}
},
"resource": {
"gpu_hours": 128,
"cost_rmb": 3840,
"carbon_kg": 45.2
}
},
"governance": {
"owner": "zhangsan@company.com",
"git_commit": "a1b2c3d4",
"image": "harbor.company.com/nlp/chatglm3:0428-lora-v1.3",
"next_review": "2024-06-28",
"retention_days": 90
}
}
口述要点
- model_card.arch 与 peft 字段让后续做增量微调时直接复用 LoRA 权重,无需再探查超参。
- data_manifest.personal_info_mask_schema 满足《个人信息保护法》第38 条出境评估要求,如缺字段则备案直接被退。
- eval_report.SafetyBench-CN.violation_rate 低于 5% 才允许灰度,这是国内上线硬门槛。
- governance.retention_days 与 next_review 配合内部合规平台,到期自动发起二次审计,避免监管罚款。
拓展思考
- 多模态扩展:若引入图文,可在
model_card.arch下加"vision_encoder": "eva-g",并在data_manifest新增"image_license"字段,否则无法通过网信办“深度合成”专项。 - 对比实验:建议把每次微调都存成独立 JSON,用
"parent_model_id"指向父版本,平台侧可自动绘制 DAG,实现一键回滚。 - 实时监控:将
eval_report.online_ab中的turn_success_rate抽出来写成 PromQL,低于基线 2σ 自动触发熔断,保障线上安全。