首页 新闻 搜索 专区 学院

java爬虫

0
悬赏园豆:30 [待解决问题]

java爬虫爬取网页信息模拟登录,刚开始以为登录之后获取cookie然后通过cookie就可以了,但是爬取的网站并没有cookie,好像是通过localstorage进行验证的,我用的是webmagic,想问一下怎么解决这个登录问题

那一年,我二十二的主页 那一年,我二十二 | 初学一级 | 园豆:81
提问于:2021-04-08 19:42
< >
分享
所有回答(2)
0

是的,现在很多网站不适用 cookie了, 使用的是 LocalStorage 或者 SessionStorage, 这种情况下,都是 将 token放到 header 或者 直接放到 url里, 你查看一下网站 使用的是 header 还是 url 携带 token就行了。

WebAssembly | 园豆:206 (菜鸟二级) | 2021-04-08 20:31

嗯 是的 在hedaer里面放的token 我也这么模拟的 但是还是跳转到登录界面。。

支持(0) 反对(0) 那一年,我二十二 | 园豆:81 (初学一级) | 2021-04-08 20:38

兄弟 看看能怎么解决不 我被这个东西卡住一天了。。

支持(0) 反对(0) 那一年,我二十二 | 园豆:81 (初学一级) | 2021-04-08 20:43

@那一年,我二十二: 这个估计要看看后台是怎样接收 token的,先在浏览器里操作一下, 用 fiddler之类的工具监控一下, 看看浏览器里是怎样 发送 token的,

支持(0) 反对(0) WebAssembly | 园豆:206 (菜鸟二级) | 2021-04-08 22:31
0

多说无益,发下url

小小咸鱼YwY | 园豆:2608 (老鸟四级) | 2021-04-09 09:24

公司内部系统 只有内网能访问 我就是先拿这个练练手

支持(0) 反对(0) 那一年,我二十二 | 园豆:81 (初学一级) | 2021-04-09 10:36
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册