本人在使用selenuim爬取今日头条的时后
发现每次运行程序打开的第一个页面数据一样
使用chromedriver测试发现headers相比电脑浏览器少了一个参数referer,随怀疑是因为这个参数导致这样的问题,在网上寻找未解 , 想请教各位大佬怎么设定这个参数 如下图:
此为代码打开的chromdriver的headers
此为电脑chrome打开的headers
今日头条就不要用selenium去爬取了 给个例子
Python爬取今日头条JS内容
另外需要注意的是 爬取的频次不要太频繁哦
感谢大佬,还没仔细看,不过简短的看了一下,应该能解决问题,再次感谢
发现已经过时,没解决问题,