首页新闻找找看学习计划
当前位置: 博问标签 /列表页面/未解决/ 已解决
2
回答数

15 有很多筛选条件的列表页面如何防止被爬虫排列组合式的大量爬?

有一个网站,支持泛域名,即有很多二级域名,国内每个城市一个二级域名, 网站有一个列表页面,有很多筛选条件,不同条件的组合对应不同的url 那么这样就有无数个url 。 这样导致搜索引擎的爬虫不停的的爬