scrapy自带去重原理是说：对Request的method，url，body，headers进行消息摘要。 那么我设置了随机的user-agent，对于同一个url，user-agent不同，即headers不同，会去重吗？ 还是scrapy会在headers里面不对useragent进行摘要呢？
微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈。
