网站设置了反爬虫，怎么办

悬赏园豆：10 [待解决问题]

要爬取网页，如www.39.net网站里的数据，但是该网页却设置了反爬虫，不能把网页爬下来，请问，如何才能把网页爬下来，谢谢，急用。。。。

爬虫反爬虫

式圣2012 | 初学一级 | 园豆：196
提问于：2012-03-10 11:19

< >

所有回答(1)

没发现这个站有反爬虫啊，你遇到了什么问题？

丁学 | 园豆：18730 (专家六级) | 2012-03-10 12:21

就是不能把这个网站的页面以及和这个网站有相关的链接网站的页面通过代码自动下载下来

支持(0) 反对(0) 式圣2012 | 园豆：196 (初学一级) | 2012-03-10 12:35

@式圣2012: 看起来是正常的，所有的东西也都在网页源代码里，并没有什么限制，你的代码是怎么抓取的？具体遇到什么问题？

支持(0) 反对(0) 丁学 | 园豆：18730 (专家六级) | 2012-03-10 17:14

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。