如何用 arxiv-sanity 筛选每日相关论文并打标签?

解读

面试官问的不是“会不会用 arxiv-sanity”,而是考察候选人能否把每日论文流变成结构化知识库,并沉淀为LLMOps 可复用资产。在国内面试场景下,还要兼顾网络可达性、合规过滤、中文标签体系与后续微调数据闭环四重约束。回答时要体现“自动化+可解释+可落地”三板斧,让面试官确信你能把论文情报真正喂给大模型业务。

知识点

  1. arxiv-sanity 的核心机制:基于 SVM 的个性化推荐 + 关键词过滤 + 时间窗,源码轻量可二开。
  2. 国内访问方案:教育网 IPv6 直连、腾讯云函数+API 网关反向代理、或每日凌晨同步到国内 OSS 再解析,规避国际出口抖动。
  3. 标签体系设计:采用**“三层标签”——任务层(如文本生成、对话、推理)、方法层(如 LoRA、RAG、投机解码)、业务层(如金融合规、医疗问答),方便后续按标签采样做指令微调**。
  4. 自动化脚本:用 Python 的 arxiv.py 抓取当日增量,调用自托管 arxiv-sanity 的 /json 接口得推荐分数,再经中文关键词词典 + LLM 摘要提示打标签,最后写回 MongoDB,全程 Airflow 调度。
  5. 质量门禁:设置**“置信度阈值”**(推荐分>0.6 且摘要含有关键动词“fine-tune”“accelerate”)才进入人工复核池,防止垃圾样本污染下游训练。
  6. 持续监控:在 Grafana 看板跟踪每日入库量、标签分布漂移、平均阅读耗时,一旦某类标签暴涨(如“RLHF 安全”),自动触发 Slack 飞书告警,提示业务团队提前布局数据。

答案

我采用“同步-解析-打标-推送”四步法,把 arxiv-sanity 变成每日自动更新的大模型技术雷达。
第一步,国内镜像同步:凌晨 2 点通过教育网 IPv6 拉取 arXiv 当日增量元数据,若失败则回退到腾讯云函数代理,把 json 包存入上海 OSS bucket,确保后续解析不受国际链路影响。
第二步,私有 arxiv-sanity 推荐:在阿里云轻量服务器起一套开源 arxiv-sanity,把团队历史点击记录喂给 SVM,得到个性化推荐分数;同时用中文关键词白名单(如“大模型推理加速”“知识外挂”)做硬过滤,只保留 Top 50 篇。
第三步,自动打标签:将论文标题+摘要送入自研 7B 中文 LLM,提示模板为“请从任务、方法、业务三个维度输出 JSON 标签,任务层单选,方法层多选,业务层多选”。对输出做规则后验,若标签不在受控词表则触发人工复核,保证标签一致性。
第四步,推送与沉淀:把带标签的论文写入MongoDB 技术雷达库,同时同步到飞书多维表格,方便算法、产品、法务多角色评论;每周按标签采样 30 篇,经去重、脱敏、指令化改写后汇入微调数据湖,直接供给下一轮 LoRA/RLHF 训练,实现论文→数据→模型的闭环。
整套流程用 Airflow DAG 编排,单篇论文从抓取到可训练样本平均耗时 8 分钟,已稳定运行 3 个月,累计沉淀1.2 万条高质量指令样本,使业务模型在金融合规生成任务上提升 4.3% BLEU,同时减少 30% 人工标注成本。

拓展思考

  1. 如果 arXiv 元数据格式升级,导致 arxiv-sanity 解析失败,如何在 12 小时内热修复而不中断每日数据流?
  2. 当团队扩张到 200 人,标签冲突率上升,能否用对比学习+主动学习混合策略,让模型自动合并相似标签并推荐最具信息量的论文给领域专家?
  3. 面对国内监管要求,如何对论文内容进行敏感词过滤与意识形态审核,同时避免误杀关键技术文献?
  4. 未来想支持多模态论文(含图像、视频),arxiv-sanity 的 SVM 文本模型失效,如何引入 CLIP 或 BLIP 做跨模态推荐,并与现有标签体系对齐?