首页 新闻 搜索 专区 学院
0
回答数

待解决问题 scrapy自带去重和设置随机的useragent会冲突吗?

scrapy自带去重原理是说:对Request的method,url,body,headers进行消息摘要。 那么我设置了随机的user-agent,对于同一个url,user-agent不同,即he