最近公司在做一些对网站信息的采集,所以用到了爬虫。我也只是个初学者。
在略微了解相关的HttpWebResponse,HttpWebRequest之后。在网上找了一些资料看了看。
最开始抓取一些没有权限验证的网页数据,一蹴而就。后来碰到有cookie验证的,也找了一些资料解决了问题。
现在采集的一个站点,在得到cookie保存了了cookie的情况下,直接post ,给我的返回值是"",空的,什么都没有。在地址栏直接回车那个url+参数,都会返回一些错误信息。但是当我自己写方法post的时候就没有返回值。post方法上应该存在的问题不大。
想问问各路大神,会有什么方面的原因而导致这个问题的存在呢?
请各位帮帮忙吧!!!
谢谢了
权限验证网页需要输入用户信息的,除非你把用户输入处理了,否则只是保存cookie是不行的,用户验证时cookie是需要变化的
用户账号和密码我是输入了的,所以才能得到登录后的cookie, 现在的问题是。 得到了 保存了 cookie,模拟登录后的某个post请求。 返回值是为空的 ! 就是这个 问题
有cookie的话,每次传输过来会在request里面也有cookie。只是要分清流程,抓包看看流程
这个我知道, 看清楚我的问题问的是啥撒, 我估计是在我做这个POST之前还需要一个验证, 不然的话 ,cookie 我也拿到了。但是post的返回值就是为空。