如何编写 CONTRIBUTING.md 并设置 CI 检查?

解读

在大模型应用开发岗位中,CONTRIBUTING.md 与 CI 检查是 LLMOps 流程的“入口闸门”。面试官想确认候选人能否把“个人实验”升级为“多人协作、可审计、可回滚”的工程化产品。国内真实场景下,代码仓库往往托管在内网 GitLab 或 Gitee Enterprise,需同时满足信创合规、数据出境审查、模型安全扫描三重门槛。因此,回答必须体现:

  1. 对**大模型特殊制品(权重、分词器、提示模板、插件)**的版本管理策略;
  2. 对**GPU 资源受限、模型文件超大(>10 GB)**时的 CI 流水线设计;
  3. 对国产芯片(昇腾、寒武纪)与 CUDA 混合集群的适配检查。

若只谈“跑通 pytest”,会被视为缺乏落地经验。

知识点

  1. CONTRIBUTING.md 结构

    • 前置声明:许可证、CLA、DCO、模型使用协议(如 Model License Addendum)
    • 环境准入:统一底座镜像(内网 Harbor 仓库地址)、GPU 驱动/cuDNN/CANN 版本、模型缓存挂载路径
    • 分支模型:trunk-based 或 Git-Flow,强制要求 feature/ 分支提交 PR*
    • 代码规范:black、isort、ruff 针对 torch 动态图语法、提示模板必须走 Jinja2 静态检查
    • 测试策略:
      – 单元测试:pytest + huggingface-hub 的 snapshot_download mock
      – 模型回归测试:使用 200 条金牌评测集(Golden Eval Set),指标下降 >1% 即失败
      – 安全测试:ModelScan 扫描恶意 .bin、.safetensors,清华 AITISA 模型水印检测
    • 提交格式:Commitizen + 中文语义化前缀(feat、fix、perf、sec、ban),必须关联内部需求编号(如 LLM-2024)
    • 大文件管理:Git LFS 指针文件 + 内网 MinIO 存储桶,禁止直接拖入 repo
    • 评审 checklist:提示词是否包含敏感词、是否泄露训练语料版权文本
  2. CI 检查设计

    • 触发事件:PR open、synchronize、评论 /test 手动重跑
    • 资源池:
      – 轻量阶段(≤2 CPU):语法、单测、提示模板渲染测试
      – 重量阶段(A100 40G 或 昇腾 910B):LoRA 微调 1 step 收敛测试、PPL 指标回归
    • 缓存策略:模型权重缓存到宿主机 /mnt/model-cache,Docker 层缓存固化 pip+torch+apex 编译结果
    • 并行策略:pytest-xdist + ray 分布式执行 8 卡推理压测,超时 30 min 自动 kill
    • 质量门:
      – 代码覆盖率 ≥85%,提示模板分支覆盖 100%
      – vLLM 推理 QPS 下降 <5%
      – 显存峰值增长 <3%
    • 安全门:国密算法签名验证(SM2)、内部漏洞库(CNNVD)扫描 0 高危
    • 通知:PR 评论 + 飞书群 Bot @责任人,阻塞合并直至全部通过
  3. 国内合规细节

    • 数据不出境:CI 运行在内网 K8s,禁止拉取外网 huggingface.co,使用内网镜像站 hf-mirror.com.cn
    • 开源许可证冲突检测:使用北大开源合规扫描工具,GPL 组件不得进入推理镜像
    • 模型备案:生成式 AI 服务上线前需在“互联网信息服务算法备案系统”提交模型备案,CONTRIBUTING.md 中需提醒贡献者不得引入未备案权重

答案

示范回答(可直接背诵,控制在 2 分钟内):
“在我们团队,CONTRIBUTING.md 首先用中文写明许可证 + CLA + 模型使用协议,并给出内网 Harbor 镜像地址与GPU 驱动版本;任何权重文件必须走Git LFS + MinIO,禁止直接 push。提交格式采用 Commitizen,前缀必须带内部需求编号,如‘feat(prompt): LLM-2024 新增动态少样本模板’。
CI 方面,我使用GitLab-CI + 自建 K8s Runner;流水线拆成两阶段:

  1. 轻量阶段——black、ruff、pytest 单测 + 提示模板 Jinja2 语法检查,2 CPU 内完成;
  2. 重量阶段——申请 A100 节点,跑LoRA 微调 1 step 收敛测试与200 条金牌评测集回归,指标下降 >1% 或ModelScan 发现恶意权重即失败。
    所有日志与模型缓存落到宿主机 /mnt/model-cache,下次 PR 直接复用;最终覆盖率 ≥85%、QPS 下降 <5%、显存增长 <3% 才允许合并。整个流程30 分钟超时,飞书 Bot 实时通知,保证多人协作时既安全又高效。”

拓展思考

  1. 多模型并行分支策略:若业务需要同时维护7B、13B、70B三个尺寸,可在 CI 中引入矩阵策略,但需动态申请不同卡型(A100-40G vs. A100-80G),如何防止资源死锁?
  2. 提示词热更新:当产品经理5 分钟改一次提示时,无需重启推理服务,可把提示模板抽成ConfigMap,CI 只校验渲染结果+安全扫描,模型 Pod 通过 inotify 热加载,实现白天上线 0 中断。
  3. 国产化替代:如果公司全面转向昇腾 910B,CUDA 代码需通过 Torch_NPU 兼容层,CI 中应增加NPU 算子覆盖率检查,防止自定义 CUDA kernel 无法迁移导致回退。