主要难点在于cookie的获取上面。之前我看园子里大神爬300WQQ数据,然后学着它爬空间日志,只能爬自己的,爬详细资料什么的老出问题,说是需要登录,请求时需要发送cookie,这点比较难,除非手动的伪装cookie发送过去,但有效性就是问题,复用性更是问题,同求答案,怎么样才能不让cookie成为困扰
这个问题我不清楚,只提供个思路。可以去Git上找些开源的项目看看别人如何处理
1、先调用会写入Cookie的地址,然后拿到响应头中的Set-Cookie的值
2、之后调用别的地址的时候,将上一步取到的Cookie值写入到请求头的Cookie中就可以了。
这是个好办法,试试看