如何构建中文 100 篇超长(>50k 字)摘要数据集?

解读

面试官想验证三件事:

  1. 你能否把“超长文本→高质量摘要”这一真实业务痛点拆解成可落地的数据工程;
  2. 你能否在合规、版权、隐私三条红线内搞定中文数据源;
  3. 你能否用LLMOps 思维把“标、审、测、迭代”做成可持续管线,而不是一次性手工活。
    因此,回答必须体现“百亿/千亿参数大模型”场景下的数据飞轮与质量-成本-速度三角平衡。

知识点

  1. 超长文本切分策略:篇章级、章节级、滑动窗口三级切分,保证语义完整性与位置编码不溢出。
  2. 摘要粒度对齐:先对齐“章节摘要→全文摘要”两级,再用指令模板让模型输出**<50 字导航摘要 + <500 字详细摘要**双格式,方便下游微调。
  3. 中文版权合规:优先使用国家图书馆公共版权库、中国知网开放获取论文、人民网/新华社开放授权新闻三类白名单;爬取商业内容必须拿到书面授权并做脱敏哈希存证。
  4. 人机协同标注:用百亿参数模型做冷启动生成→人工审核修正→对抗性质检(让另一模型挑事实错误)→一致性指标≥0.85才入库。
  5. 质量飞轮:每周抽 5% 数据做摘要忠实度、覆盖率、简洁度三维打分,低于阈值自动触发增量微调-回注-再标注闭环。
  6. 推理加速友好:摘要结果同步写入向量库,并保存原始文本分块 ID,方便后续RAG 外挂时快速定位长文段落。
  7. 隐私合规:涉及真实人物、机构时,用PIA(个人信息影响评估)流程做脱敏-合成-二次校验,确保不可还原。

答案

我把它拆成七步 LLMOps 管线,两周内可交付 100 篇 50k+ 字高质量中文摘要数据集,成本控制在2 万元以内(含人工审核)。

步骤 1 数据源白名单锁定

  • 国家图书馆公共版权古籍 40 篇(每篇 80k 字左右)
  • 中国科协开放获取学术专著 30 篇(每篇 60k 字)
  • 人民网 2013 年前历史稿件(已开放授权)30 篇(每篇 50k 字)
    全部下载后做MD5 去重,得到 102 篇候选。

步骤 2 三级切分与元数据

  • 用正则+句法依存做章节级切分,保证标题层级不丢;
  • 对每章再跑 4096 token 滑动窗口,overlap 256 token,生成chunk_id;
  • 最终得到 102 篇 × 平均 18 章 × 12 chunk ≈ 22 万条子段,全部写入MongoDB,字段含{book_id, chapter_id, chunk_id, raw_text, len(token)}。

步骤 3 冷启动摘要生成

  • 用公司自研千亿参数模型(已备案号)+8k 上下文窗口;
  • 提示模板:
    “请用中文为以下超长文本写一份导航摘要(≤50 字)和一份详细摘要(≤500 字),要求不遗漏关键事实、不引入外部知识。”
  • 每篇跑 3 次 decode,temperature=0.3,Self-Consistency 投票取最优。

步骤 4 人机协同标注

  • 外包 5 名中文硕士,按事实一致性、覆盖率、简洁度三维打分;
  • 采用双盲+交叉校验,一致性 κ>0.85 才入库;
  • 发现事实错误立即回注错误样本池,用于下周增量微调。

步骤 5 质量飞轮与迭代

  • 每周抽 5% 数据,用另一百亿参数裁判模型对比原文与摘要,输出Hallucination Score;
  • 若平均分<0.9,自动触发LoRA 增量微调(学习率 2e-5,步数 200),再把新模型回注步骤 3,形成数据-模型双轮驱动。

步骤 6 合规与存档

  • 所有原文与摘要做脱敏哈希(SM3)上链存证,版权授权书扫描件存入阿里云 OSS 加密 bucket;
  • 涉及个人信息段落用合成替换技术,PIA 报告提交法务留档。

步骤 7 交付格式

  • 最终给出JSONL: {book_id, nav_summary, detail_summary, chapter_summaries[], chunk_range[], hash, license_type}
  • 同时提供向量索引(102 篇 × 768 dim),方便下游RAG 服务直接加载。

两周后数据集规模:102 篇,总原文 5.8M 字,摘要 100% 通过质检,** hallucination <1.2%,成本 1.8 万元,满足百亿参数模型微调+提示工程**双场景需求。

拓展思考

  1. 如果未来要扩展到1 万篇,可把步骤 3-4 改成主动学习:先用小模型打伪标签,再让大模型不确定性采样挑出 20% 难例给人工,标注成本可降 55%。
  2. 对50 万字级超长文档(如法律卷宗),可引入递归摘要策略:先 chunk 摘要→再章节摘要→再全文摘要,三级注意力掩码对齐,保证关键证据不丢失。
  3. 若业务方要求生成式摘要可解释,可在摘要句末插入原文 chunk_id 超链,用户点击即可高亮定位到原始段落,实现生成-检索一体化体验。