首页新闻找找看学习计划

采集网站数据如何防止被封IP

0
悬赏园豆:5 [已关闭问题] 关闭于 2014-03-31 14:10

目前最常见的就是代理IP  但是如何获取大规模的代理IP了?
例如采集某个搜索引擎
例如采集某些新闻网站之类的

 

求大神指教  防屏蔽策略   谢谢了

落幕残情的主页 落幕残情 | 初学一级 | 园豆:9
提问于:2014-03-28 15:04
< >
分享
所有回答(4)
0

凭什么不需别人封IP?

服务器在人家那里

【秦时明月】 | 园豆:803 (小虾三级) | 2014-03-28 16:21
0

买个宽带账号  被封了 调用拨号接口 自动换ip

露水丛生 | 园豆:202 (菜鸟二级) | 2014-03-28 16:36

人家封IP段

支持(0) 反对(0) 【秦时明月】 | 园豆:803 (小虾三级) | 2014-03-28 17:24

@Moon.Orm塑造Orm经典: 竟然有封段的。 网通 电信 移动一样来一个用来拨号

支持(0) 反对(0) 露水丛生 | 园豆:202 (菜鸟二级) | 2014-03-28 18:04
0

是啊,现在越来越多的网站开始反采集了,是个头疼的问题,我也经常遇到啊!!!

我曾经看过一篇文章介绍如何应对网站屏蔽IP的,讲的很好, http://www.site-digger.com/html/articles/20150919/100.html,作者是一位资深的爬虫开发者。

红冰 | 园豆:202 (菜鸟二级) | 2015-10-20 12:51
0

推荐使用神箭手云爬虫,完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 

简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。 

sosozzzx | 园豆:302 (菜鸟二级) | 2016-09-18 17:05
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册