首页 新闻 赞助 找找看

如果爬一个网站,在得到了cookie保存cookie的情况下还不能够直接post成功的话。 可能会是什么地方的因素

0
悬赏园豆:20 [已解决问题] 解决于 2015-12-03 13:28

最近公司在做一些对网站信息的采集,所以用到了爬虫。我也只是个初学者。

 

 在略微了解相关的HttpWebResponse,HttpWebRequest之后。在网上找了一些资料看了看。

最开始抓取一些没有权限验证的网页数据,一蹴而就。后来碰到有cookie验证的,也找了一些资料解决了问题。

 

 现在采集的一个站点,在得到cookie保存了了cookie的情况下,直接post ,给我的返回值是"",空的,什么都没有。在地址栏直接回车那个url+参数,都会返回一些错误信息。但是当我自己写方法post的时候就没有返回值。post方法上应该存在的问题不大。 

 

  想问问各路大神,会有什么方面的原因而导致这个问题的存在呢?

  请各位帮帮忙吧!!!

 谢谢了

深海小鱼干的主页 深海小鱼干 | 初学一级 | 园豆:184
提问于:2015-12-02 18:00
< >
分享
最佳答案
0

权限验证网页需要输入用户信息的,除非你把用户输入处理了,否则只是保存cookie是不行的,用户验证时cookie是需要变化的

收获园豆:10
2012 | 高人七级 |园豆:21228 | 2015-12-03 09:41

用户账号和密码我是输入了的,所以才能得到登录后的cookie, 现在的问题是。 得到了 保存了 cookie,模拟登录后的某个post请求。 返回值是为空的 !   就是这个 问题

深海小鱼干 | 园豆:184 (初学一级) | 2015-12-03 10:25
其他回答(1)
1

有cookie的话,每次传输过来会在request里面也有cookie。只是要分清流程,抓包看看流程

收获园豆:10
powerixao | 园豆:401 (菜鸟二级) | 2015-12-02 20:26

  这个我知道, 看清楚我的问题问的是啥撒,   我估计是在我做这个POST之前还需要一个验证, 不然的话 ,cookie 我也拿到了。但是post的返回值就是为空。

支持(0) 反对(0) 深海小鱼干 | 园豆:184 (初学一级) | 2015-12-03 08:55
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册