采集网站数据如何防止被封IP

悬赏园豆：5 [已关闭问题] 关闭于 2014-03-31 14:10

目前最常见的就是代理IP 但是如何获取大规模的代理IP了？
例如采集某个搜索引擎
例如采集某些新闻网站之类的

求大神指教防屏蔽策略谢谢了

落幕残情 | 初学一级 | 园豆：34
提问于：2014-03-28 15:04

< >

所有回答(4)

凭什么不需别人封IP?

服务器在人家那里

[秦时明月] | 园豆：738 (小虾三级) | 2014-03-28 16:21

买个宽带账号被封了调用拨号接口自动换ip

露水丛生 | 园豆：202 (菜鸟二级) | 2014-03-28 16:36

人家封IP段

支持(0) 反对(0) [秦时明月] | 园豆：738 (小虾三级) | 2014-03-28 17:24

@Moon.Orm塑造Orm经典: 竟然有封段的。网通电信移动一样来一个用来拨号

支持(0) 反对(0) 露水丛生 | 园豆：202 (菜鸟二级) | 2014-03-28 18:04

是啊，现在越来越多的网站开始反采集了，是个头疼的问题，我也经常遇到啊！！！

我曾经看过一篇文章介绍如何应对网站屏蔽IP的，讲的很好， http://www.site-digger.com/html/articles/20150919/100.html，作者是一位资深的爬虫开发者。

红冰 | 园豆：202 (菜鸟二级) | 2015-10-20 12:51

推荐使用神箭手云爬虫，完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。

简单几行 javascript 就可以实现复杂的爬虫，同时提供很多功能函数：反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等，这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。

sosozzzx | 园豆：302 (菜鸟二级) | 2016-09-18 17:05

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。