java爬虫爬取网页信息模拟登录,刚开始以为登录之后获取cookie然后通过cookie就可以了,但是爬取的网站并没有cookie,好像是通过localstorage进行验证的,我用的是webmagic,想问一下怎么解决这个登录问题
是的,现在很多网站不适用 cookie了, 使用的是 LocalStorage 或者 SessionStorage, 这种情况下,都是 将 token放到 header 或者 直接放到 url里, 你查看一下网站 使用的是 header 还是 url 携带 token就行了。
嗯 是的 在hedaer里面放的token 我也这么模拟的 但是还是跳转到登录界面。。
兄弟 看看能怎么解决不 我被这个东西卡住一天了。。
@那一年,我二十二: 这个估计要看看后台是怎样接收 token的,先在浏览器里操作一下, 用 fiddler之类的工具监控一下, 看看浏览器里是怎样 发送 token的,
多说无益,发下url
公司内部系统 只有内网能访问 我就是先拿这个练练手