首页新闻找找看学习计划

scrapy自带去重和设置随机的useragent会冲突吗?

0
[待解决问题]

scrapy自带去重原理是说:对Request的method,url,body,headers进行消息摘要。
那么我设置了随机的user-agent,对于同一个url,user-agent不同,即headers不同,会去重吗?
还是scrapy会在headers里面不对useragent进行摘要呢?

SheaJin的主页 SheaJin | 菜鸟二级 | 园豆:202
提问于:2019-06-16 22:00
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册