如何基于 CI 自动更新模型卡片并发布?
解读
面试官真正想确认的是:
- 你是否理解“模型卡片”在国内合规语境下的强制内容(算法备案号、训练数据来源合规声明、风险标签、评估指标、责任部门)。
- 能否把“写卡片”这件事从人工填 Excel 升级为可版本化、可审计、可回滚的 CI 流水线,并兼顾安全隔离与多环境灰度。
- 是否具备 LLMOps 视角:让卡片成为模型资产的一部分,随代码、权重、提示模板一起自动演进,而不是事后补材料。
知识点
- 模型卡片国标要素:名称、版本、备案编号、训练数据摘要、敏感词过滤策略、性能基准、红线场景、责任主体公章。
- CI 选型:国内云原生场景下,GitLab-CI + 阿里云 ACK + 阿里云 ACR 最常用;需内网 Runner 避免源码外泄。
- 触发策略:
- 代码合并到 main → 触发卡片渲染作业;
- 权重文件推送至 OSS 特定前缀 → 触发卡片补全作业;
- 定时 Cron → 触发合规扫描作业(检测卡片字段缺失)。
- 渲染引擎:用 Jinja2 + YAML 前端 matter 把 markdown 模板变量化,保证同一份模板可产出对内技术版、对外监管版。
- 数字签名:使用国密 SM2 对最终卡片进行签名,签名值写入卡片头部,验证脚本随镜像一起发布。
- 发布策略:
- 先写入模型资产管理库(内部称 MRM,Model Registry Master),状态为 staged;
- 通过企业微信审批后,调用 MRM OpenAPI 把状态改为 released,同时向互联网信息服务算法备案系统自动推送更新。
- 回滚:卡片与权重共用同一个版本号(v1.2.3),回滚权重时 MRM 自动把卡片指针指回上一版本,保证一致性。
- 安全:CI 变量全部存入阿里云 KMS,Runner 使用 RAM 角色最小权限,仅允许写 ACR 与 OSS,禁止读生产数据库。
答案
给出一套可直接落地的最小闭环方案,按五个作业串联:
-
合规检测作业
在 merge request 阶段运行,脚本扫描 YAML 头信息,若备案号、数据合规声明、红线场景任一字段为空,直接阻断合并。
扫描结果以 JUnit XML 格式输出,GitLab 可原生展示红灯。 -
卡片渲染作业
合并到 main 后触发,Runner 拉取最新模板与 YAML,渲染出双语卡片(zh-cn、en-us),同时把性能基准、F1、 Rouge、BLEU 等自动测试报告注入对应章节。
渲染完毕调用 OSS SDK 上传至oss://model-cards/staging/{model_name}/{git_sha}/README.md,并写入待签名队列。 -
国密签名作业
由独立 Runner 执行,私钥仅驻留在 KMS 内部,签名过程不出 Runner 内存。
签名值与公钥证书写入卡片头部注释,生成{model_name}-{git_sha}-signed.md。 -
资产登记作业
调用内部 MRM 的 gRPC 接口,携带签名后卡片 URL、权重 OSS Path、Docker 镜像 Digest,创建一条“待审批”记录。
MRM 返回登记 ID,Runner 把 ID 写回 GitLab 环境变量,供后续通知使用。 -
审批后发布作业
企业微信审批流通过后,MRM 把状态置为 released,同时触发 ACK 灰度发布,将新模型镜像滚动到 10% Pod。
若 30 分钟内无异常告警,自动全量;若有告警,一键回滚,MRM 自动把卡片指针指回上一版本,完成秒级回滚。
整个流水线耗时 <7 分钟,完全无人工干预,且所有日志与签名证书自动归档至审计 S3 Bucket,保存 10 年,满足国内监管审计要求。
拓展思考
-
如果公司同时存在私有化集群与公有云集群,如何做到一张卡片多环境差异化发布?
提示:在 YAML 头里增加deploy_env维度,渲染阶段生成多份卡片,CI 根据 Runner tag 把对应版本推送到不同 MRM 实例,避免敏感信息上公云。 -
当模型使用联邦数据(多方贡献,数据不出域)时,卡片如何体现数据来源合规?
可在“训练数据摘要”字段引入 DataStatement 标准,用 SHA-256 列表+联邦协议编号代替原始文件路径,既保护隐私,又满足备案要求。 -
未来若监管要求实时可验证(任何人可扫码查看卡片真伪),可把签名值写入 NFT 格式的区块链存证(长安链、BSN),实现“链上验真、链下高效”,但需权衡 TPS 与成本。