首页新闻找找看学习计划

爬虫爬取数据

0
[已解决问题] 解决于 2018-03-12 15:26

爬取   j东 数据多了会不会被封ip? 有何技术可以防止被封? 谢谢!

and技术梦的主页 and技术梦 | 初学一级 | 园豆:17
提问于:2018-03-04 17:08
< >
分享
最佳答案
0

1. 爬取数据的时候,采用间隔的跳着遍历链接,打破爬虫顺序遍历的规律即可;

2. 或者不定时间间隔,同时打破顺序遍历规律.这样会慢一些.

奖励园豆:5
[0] | 小虾三级 |园豆:1255 | 2018-03-04 18:32

。。。。

cslj2013 | 园豆:200 (初学一级) | 2018-03-05 15:11

,,,,,

cslj2013 | 园豆:200 (初学一级) | 2018-03-05 15:12
其他回答(3)
0

百度:代理ip  不停的换ip就行了

吴瑞祥 | 园豆:28675 (高人七级) | 2018-03-05 09:20
0

1、随机性,不要固定模式

2、会更换ip

3、频率不要太快

兰冰点点 | 园豆:394 (菜鸟二级) | 2018-03-05 10:32
0

还可以在手机端使用自动化测试工具去爬取

ycyzharry | 园豆:18627 (专家六级) | 2018-03-05 14:21
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册