解读

国内主流搜索引擎（百度、搜狗、360、神马）的爬虫预算（crawl budget）以“抓取配额”形式分配给站点。带多参数过滤的 URL 本质上是“同一列表页的不同切片”，在算法眼里属于“低价值重复面”。当这些切片组合爆炸时，爬虫会在同一商品池里反复兜圈，导致配额被稀释、新内容迟迟不被发现，甚至触发“垃圾URL”降权。面试时，面试官想听你能否把“爬虫视角—站点视角—业务视角”串起来，给出可落地的治理方案，而不是只背定义。

知识点

1. 组合爆炸：每增加一个筛选维度，URL 数量呈阶乘级增长，10 个属性即可产生百万级 URL。
2. 爬虫发现路径：列表页→分页→过滤页，若过滤页无唯一内容增益，爬虫会判定为“重复页面”。
3. 国内搜索配额机制：百度站长平台明确提示“无效参数抓取”会占用配额，严重者会被放入低优先级队列。
4. 权重分散：同一商品被多个参数 URL 引用，内部投票被拆分，导致主列表页排名下滑。
5. 日志信号：IIS/NGINX 日志里若出现大量 200+ 重复标题或重复描述，即被视为“资源浪费”铁证。
6. 治理四件套：robots 封禁、canonical 指向、noindex 标签、静态化映射；国内站点还需在百度搜索资源平台“参数处理”工具里主动声明无效参数。

答案

“多参数过滤 URL 会让爬虫在同一商品集合里产生几乎无限个重复入口，造成三方面浪费：
第一，抓取配额浪费。百度给站点的每日抓取次数有限，每多一个参数组合就占用一次抓取，导致新品页、活动页得不到及时收录。
第二，计算资源浪费。爬虫下载、解析、去重、建索引都需要服务器算力，重复参数页无新增内容，等于让百度做无用功。
第三，权重累积浪费。同一批商品被拆成多条 URL，内部链接权重被分散，主列表页无法集中投票，最终影响排名和流量。
治理上，我会先用站点日志统计参数使用频率，把从未带来 SEO 流量且没有搜索需求的维度（如‘库存状态’、‘上架时间’）在 robots.txt 中直接封禁；对可能有搜索价值的维度（如‘颜色’‘尺码’）采用 canonical 指向主列表，并在百度资源平台提交参数忽略规则；同时前端用 AJAX 局部刷新，不让筛选动作生成新 URL，从源头砍掉 90% 的无效面。这样可在两周内把爬虫抓取量降 40%，而有效页面收录率提升 20% 以上。”

拓展思考

1. 如果业务方坚持“每个筛选面都要被收录”，可用静态化目录策略，把“/color/red/size/xl/”变成静态路径，并为该路径生产 3 条以上独立内容（导购文案、场景图、测评视频），让页面真正“有增量信息”，从而从“重复面”升级为“聚合面”。
2. 对千万级商品平台，可引入“动态 sitemap”机制：每天把近 7 天带来搜索词的参数组合自动写入 sitemap，其余一律 noindex，既满足 SEO 又节省配额。
3. 结合国内小程序生态，可把高频筛选结果同步到百度智能小程序，借助小程序的“新资源通道”绕过抓取配额限制，实现双引擎流量。