解读

面试官问“爬虫如何发现新网页”，并不是想听“百度自己找”这种笼统回答，而是考察你对中文互联网生态、主流爬虫（BaiduSpider、Bytespider、Sogou、360）工作逻辑、以及SEO可干预环节的系统性认知。回答时要体现三层能力：①技术原理（抓取、调度、更新）；②国内特色（备案、防火墙、内容审核、封闭生态）；③实战落地（如何让自家新页被第一时间发现）。务必用中文搜索场景举例，避免照搬Google专利。

知识点

1. 种子库与调度系统：百度把“可信站点库”作为种子，每日按权重分层调度。
2. 主动提交通道：百度搜索资源平台—普通收录、快速收录、API推送、Sitemap、ping；字节跳动为“头条搜索站长平台”；360为“360站长平台”。
3. 被动发现路径：
   ① 已收录页的“未抓取链接”提取；
   ② 高信任外链（政府/教育/新闻源）的反向链；
   ③ 浏览器、安全软件、CDN日志回传（国内特有）。
4. 发现≠抓取：发现后进入“待抓取队列”，由权重、robots、QPS配额、服务器稳定性共同决定是否分配蜘蛛。
5. 发现优先级因子：备案状态、主体历史、HTTPS、响应速度、内容新鲜度、行业敏感度（医疗、金融需先审后抓）。
6. 国内封闭生态：小程序、抖音图文、微信公众号文章默认屏蔽爬虫，需借助“小程序web化”“公众号页面收录”功能才能被百度发现。
7. 常见误区：
   ① 只提交首页，不提交详情页；
   ② 用海外服务器导致高延迟，蜘蛛主动降速；
   ③ 备案掉线触发“抓取熔断”。

答案

搜索引擎爬虫发现新网页在国内有“主动+被动”两条主线。
主动侧，百度、360、字节均提供站长平台，最快的是“API推送”：新页上线后200 ms内通过token接口推给百度，内容符合备案规范即可进入“天级抓取队列”；如站点已获得“快速收录”权益，24 h内可见快照。
被动侧，百度Spider会沿已收录高权重页的href继续爬行，因此把新页链接放在首页或频道页“最新推荐”模块，并确保锚文本绝对路径、无nofollow，可在30 min—2 h内被蜘蛛发现；若新页被人民网、新华网等白名单站点引用，发现速度可压缩到分钟级。
此外，百度对“已备案+HTTPS+1 s内响应”的站点给予双倍QPS配额，服务器稳定不封IP是持续发现的前提。总结：先备案、再推送、再挂高权重内链，新页即可在中文搜索生态里实现“分钟—小时级”发现。

拓展思考

1. 发现后仍不收录：排查“空短页”“模板化”“标题堆砌”“行业前置审批缺失”四大雷区。
2. 10 万级新页批量上线：采用“sitemap分片+并发API推送+服务器动态扩容”组合策略，并监控百度平台“抓取异常”曲线，出现404或502峰值立即熔断推送，避免整站降权。
3. 封闭内容破壁：抖音图文想做SEO，需使用“抖音Web化”生成静态URL，再通过头条搜索站长平台提交；微信小程序则需开启“web化开关”并配置业务域名，才能被百度Spider发现。
4. 长期无人维护的老站突然新增大量页面，易触发“异常增量”风控，应先做“历史数据备案”说明，分批上线，每批<5 %整站URL，降低误判风险。