首页新闻找找看学习计划

网络爬虫爬去网站时,IP被封,怎么破?

0
悬赏园豆:50 [待解决问题]

自己写了个网络爬虫爬去程序,但是爬取大概100条的时候,就被封了,request中设置了user-agent和cookie。应该是ip被封的问题,有没有什么好的方法?(除了放慢爬取频率),不知道那些开源的网络爬虫是怎么解决这个问题的?

alab的主页 alab | 初学一级 | 园豆:19
提问于:2012-10-30 18:26
< >
分享
所有回答(7)
0

可以使用代理IP。或者使用代理软件,来更改IP。

itaozi | 园豆:1053 (小虾三级) | 2012-10-30 19:06
0

用代理,respose发现异常就换IP

田林九村 | 园豆:2367 (老鸟四级) | 2012-10-30 20:14

我只有一台PC机,代理IP怎么换?

支持(2) 反对(0) alab | 园豆:19 (初学一级) | 2012-10-31 11:44

@alab: 找翻——墙工具

支持(0) 反对(0) sym_cn | 园豆:798 (小虾三级) | 2012-11-01 09:52

@sym_cn: 嗯

支持(0) 反对(0) alab | 园豆:19 (初学一级) | 2012-11-01 11:52
0

我的爬虫爬了好多电商网站 没有被封ip

倒是大众点评爬到一定数量就需要输入验证码了

oppoic | 园豆:560 (小虾三级) | 2012-10-31 08:32
0

你爬谁的?当初在第一家公司的时候,一个同事写的爬百度和谷歌的新闻,是用了4个IP,轮换着爬。。。

顾晓北 | 园豆:9922 (大侠五级) | 2012-10-31 09:22

豆瓣图书,我没4个IP呢

支持(0) 反对(0) alab | 园豆:19 (初学一级) | 2012-10-31 11:42

@alab: 那你就看看上面的回复吧,用代理什么的,这我就不了解了。

支持(0) 反对(0) 顾晓北 | 园豆:9922 (大侠五级) | 2012-11-01 09:25
0

重启路由 ip就变了

王大湿 | 园豆:457 (菜鸟二级) | 2012-11-01 20:58

需要用代码实现的

支持(0) 反对(1) alab | 园豆:19 (初学一级) | 2012-11-01 23:00
0

哥们你这个问题是怎么解决的呢,我也在爬豆瓣,但是即使将速度放慢到1000ms每次,依然能够被识别出来,然后封了。求解决方案啊!!

keyseeker | 园豆:202 (菜鸟二级) | 2013-03-17 15:04
0

................现在什么年代了,现在各大网站的反爬虫机制越来越强,你们爬这些站,最好用分布式高匿名代理IP去爬这些。一般地域分布越广越好。
我用的是阿布云代理,还可以
www.abuyun.com

dgivan | 园豆:202 (菜鸟二级) | 2016-08-30 11:24
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册