首页 新闻 会员 周边
0
回答数

待解决问题 scrapy自带去重和设置随机的useragent会冲突吗？

scrapy自带去重原理是说：对Request的method，url，body，headers进行消息摘要。 那么我设置了随机的user-agent，对于同一个url，user-agent不同，即he
scrapy
SheaJin的主页 SheaJin
浏览(328) 4年前