首页新闻找找看学习计划

关于爬虫可以绕过登录是怎么实现的呢?

0
[已解决问题] 解决于 2013-01-28 13:31

网上老是有人说自己写的爬虫绕开  会员登录  去下载只有会员才能看的小说,这是如何实现的?谢谢!!1

FallingStone的主页 FallingStone | 初学一级 | 园豆:38
提问于:2013-01-22 17:20
< >
分享
最佳答案
0

服务器端并不能识别你的程序是浏览器还是爬虫,浏览器本身也是程序,只要爬虫在传输数据上表现和浏览器完全一样,理论上浏览器能看到的东西爬虫都能看到。

服务器一般是靠cookie来区分登陆还是非登陆用户,只要爬虫携带认证后的用户的cookie,对于服务器那边来说,会认为你是个登陆后的会员用户,便把登陆后的信息返回给你了。

这种方式本身还是要有个合法的会员信息的,用现成cookie也好,靠爬虫模拟登陆新生成的cookie也好,没有这个的话是无法表明你是个会员用户的,所谓绕开会员登录只是一个宣称手段罢了。

奖励园豆:5
天方 | 大侠五级 |园豆:5262 | 2013-01-23 18:41
其他回答(3)
0

带上能够通过验证的请求头就可以了。

````` | 园豆:14268 (专家六级) | 2013-01-23 10:34
0

cookie

wdwwtzy | 园豆:226 (菜鸟二级) | 2013-01-23 12:11
0

我也常看小说,小说的登陆为了方便都是cookie存储的,

估计爬虫读出浏览器中所有cookie循环登陆的

你给cookie的key,val都加密,再在一定时间内登陆超过一定的次数就不允许登陆

hongdada | 园豆:216 (菜鸟二级) | 2013-01-23 18:03
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册