列表页面_待解决问题_博问

当前位置：博问标签/列表页面/未解决/ 已解决

回答数

15 有很多筛选条件的列表页面如何防止被爬虫排列组合式的大量爬？

有一个网站，支持泛域名，即有很多二级域名，国内每个城市一个二级域名，网站有一个列表页面，有很多筛选条件，不同条件的组合对应不同的url 那么这样就有无数个url 。这样导致搜索引擎的爬虫不停的的爬

爬虫列表页面排列组合

step
浏览(308) 1年前