如何用 JSON 模板记录模型架构、数据、评测结果?

解读

面试官真正想考察的是“模型资产沉淀能力”。国内大模型落地节奏快、人员流动高,如果候选人不能用一份可机读、可对比、可回溯的 JSON 把实验上下文完整封存,后续做增量微调、效果复现、合规审计都会踩坑。JSON 只是载体,核心是字段设计是否覆盖《生成式人工智能服务管理暂行办法》要求的可追溯、可验证、可撤销三点,以及能否一键接入内部 LLMOps 平台完成版本对比与自动告警。

知识点

  1. 三大实体:ModelCard、DataManifest、EvalReport——分别对应架构、数据、评测。
  2. 字段分层:meta/artifact/metric/governance 四层,既方便 Git 差分,也满足工信部备案要求的“模型说明书”颗粒度。
  3. 国产合规字段:algorithm_filing_no、security_audit_id、data_source_license、personal_info_mask_schema,缺一项就无法上线。
  4. 可扩展性:使用 "_comment" 存放不可机读备注,避免字段膨胀;用 "@version": "1.3" 做 schema 演进。
  5. 与 CI 集成:JSON 必须能被 jq 直接抽取,供内部 Harbor 镜像标签、KubeDL 训练任务、Prometheus 监控三板斧串联。

答案

给出一个可直接落地的 JSON 模板(已在国内某头部电商 LLMOps 平台验证),候选人应现场口述字段含义,并强调如何与内部系统打通。

{
  "@version": "1.3",
  "@timestamp": "2024-05-28T14:23:10+08:00",
  "model_card": {
    "model_id": "chat-glm3-6b-fin-0428",
    "base_model": "THUDM/chatglm3-6b",
    "model_type": "casual_lm",
    "parameter_shape": {
      "total": 6.3e9,
      "trainable": 6.3e9
    },
    "arch": {
      "hidden_size": 4096,
      "num_layers": 28,
      "num_heads": 32,
      "vocab_size": 65024,
      "rope_theta": 10000
    },
    "tokenizer": {
      "type": "sentencepiece",
      "vocab_file": "oss://nlp-model/chatglm3/vocab.model",
      "special_tokens": {
        "pad": "<pad>",
        "eos": "<|endoftext|>"
      }
    },
    "peft": {
      "method": "lora",
      "r": 64,
      "alpha": 128,
      "dropout": 0.05,
      "target_modules": ["query_key_value"]
    },
    "precision": "bf16",
    "acceleration": {
      "framework": "vllm-0.4.2",
      "quantization": null,
      "tensor_parallel": 2
    },
    "security": {
      "algorithm_filing_no": "Bei-An-2024-0092",
      "red_team_eval_pass": true,
      "audit_date": "2024-05-20"
    }
  },
  "data_manifest": {
    "train": {
      "name": "fin_corpus_v5",
      "size": 1850000,
      "human_annotation": false,
      "language": "zh",
      "source": ["oss://nlp-data/fin_txt_2024", "oss://nlp-data/audit_labeled"],
      "license": "CC-BY-SA-4.0",
      "personal_info_mask_schema": ["phone", "id_card", "bank_card"],
      "checksum_md5": "a1b2c3d4e5f6"
    },
    "val": {
      "name": "fin_val_0428",
      "size": 20000,
      "checksum_md5": "f6e5d4c3b2a1"
    }
  },
  "eval_report": {
    "benchmarks": [
      {
        "name": "C-Eval",
        "subset": "finance",
        "metric": "acc",
        "value": 0.683,
        "ci95": [0.670, 0.696],
        "baseline": 0.612,
        "test_date": "2024-05-27"
      },
      {
        "name": "SafetyBench-CN",
        "metric": "violation_rate",
        "value": 0.018,
        "threshold": 0.05,
        "pass": true
      }
    ],
    "online_ab": {
      "start": "2024-05-25",
      "end": "2024-05-27",
      "traffic": 0.05,
      "core_kpi": {
        "turn_success_rate": {
          "delta": "+2.3%",
          "p_value": 0.018
        },
        "avg_response_len": {
          "delta": "-4.1%"
        }
      }
    },
    "resource": {
      "gpu_hours": 128,
      "cost_rmb": 3840,
      "carbon_kg": 45.2
    }
  },
  "governance": {
    "owner": "zhangsan@company.com",
    "git_commit": "a1b2c3d4",
    "image": "harbor.company.com/nlp/chatglm3:0428-lora-v1.3",
    "next_review": "2024-06-28",
    "retention_days": 90
  }
}

口述要点

  1. model_card.arch 与 peft 字段让后续做增量微调时直接复用 LoRA 权重,无需再探查超参。
  2. data_manifest.personal_info_mask_schema 满足《个人信息保护法》第38 条出境评估要求,如缺字段则备案直接被退。
  3. eval_report.SafetyBench-CN.violation_rate 低于 5% 才允许灰度,这是国内上线硬门槛。
  4. governance.retention_days 与 next_review 配合内部合规平台,到期自动发起二次审计,避免监管罚款。

拓展思考

  1. 多模态扩展:若引入图文,可在 model_card.arch 下加 "vision_encoder": "eva-g",并在 data_manifest 新增 "image_license" 字段,否则无法通过网信办“深度合成”专项。
  2. 对比实验:建议把每次微调都存成独立 JSON,用 "parent_model_id" 指向父版本,平台侧可自动绘制 DAG,实现一键回滚。
  3. 实时监控:将 eval_report.online_ab 中的 turn_success_rate 抽出来写成 PromQL,低于基线 2σ 自动触发熔断,保障线上安全。