首页 新闻 会员 周边

爬虫爬取数据

0
[已解决问题] 解决于 2018-03-12 15:26

爬取   j东 数据多了会不会被封ip? 有何技术可以防止被封？ 谢谢！

and技术梦的主页 and技术梦 | 初学一级 | 园豆：7
提问于：2018-03-04 17:08
< >
分享
最佳答案
0

1. 爬取数据的时候,采用间隔的跳着遍历链接,打破爬虫顺序遍历的规律即可;

2. 或者不定时间间隔,同时打破顺序遍历规律.这样会慢一些.

奖励园豆：5
[0] | 小虾三级 |园豆：1257 | 2018-03-04 18:32

。。。。

cslj2013 | 园豆：200 (初学一级) | 2018-03-05 15:11

,,,,,

cslj2013 | 园豆：200 (初学一级) | 2018-03-05 15:12
其他回答(3)
0

百度:代理ip  不停的换ip就行了

吴瑞祥 | 园豆：29449 (高人七级) | 2018-03-05 09:20
0

1、随机性，不要固定模式

2、会更换ip

3、频率不要太快

兰冰点点 | 园豆：401 (菜鸟二级) | 2018-03-05 10:32
0

还可以在手机端使用自动化测试工具去爬取

ycyzharry | 园豆：25651 (高人七级) | 2018-03-05 14:21
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。