首页 新闻 会员 周边 捐助

使用selenium + phantomeJS 或者谷歌火狐的浏览器插件怎么设置headers里的referer参数?

0
悬赏园豆:20 [已解决问题] 解决于 2018-05-13 10:37

本人在使用selenuim爬取今日头条的时后

发现每次运行程序打开的第一个页面数据一样

使用chromedriver测试发现headers相比电脑浏览器少了一个参数referer,随怀疑是因为这个参数导致这样的问题,在网上寻找未解 , 想请教各位大佬怎么设定这个参数 如下图:

 

此为代码打开的chromdriver的headers

 

 

此为电脑chrome打开的headers

自说自话唉的主页 自说自话唉 | 初学一级 | 园豆:193
提问于:2018-05-11 16:06
< >
分享
最佳答案
1

今日头条就不要用selenium去爬取了 给个例子

Python爬取今日头条JS内容

另外需要注意的是 爬取的频次不要太频繁哦 

收获园豆:20
ycyzharry | 高人七级 |园豆:25683 | 2018-05-13 02:31

感谢大佬,还没仔细看,不过简短的看了一下,应该能解决问题,再次感谢

自说自话唉 | 园豆:193 (初学一级) | 2018-05-13 10:37

发现已经过时,没解决问题,

自说自话唉 | 园豆:193 (初学一级) | 2018-05-25 15:34
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册