首页
新闻
搜索
专区
学院
园子
·
关注
·
粉丝
·
随便看看
·
消息
欢迎,请先
登录
或者
注册
。
登录
/
注册
闪存
博客
发言
小组
投递
新闻
提问
博问
添加
收藏
发布
招聘
文库
问题反馈
问题列表
我关注的
我的博问
博问标签
当前位置:
博问标签
/
列表页面
/
未解决
/
已解决
2
回答数
15
有很多筛选条件的列表页面如何防止被爬虫排列组合式的大量爬?
有一个网站,支持泛域名,即有很多二级域名,国内每个城市一个二级域名, 网站有一个列表页面,有很多筛选条件,不同条件的组合对应不同的url 那么这样就有无数个url 。 这样导致搜索引擎的爬虫不停的的爬
博问搜索
关于博问
»
博问帮助
»
园豆排名
»
发现问题
»
我有建议