如图,这中间十分钟干啥了...
emmm....猜测了一下,有可能是上面最后一条链接连接的时间太长了?但是也不至于10分钟吧,也没个超时啥的或者是重试(Retrying)耗费的时间太久了?会不会有可能是处理了301导致的呢?
这中间将近七分钟,都干啥了...
观测了一下,好像只有scrapy.extensions.logstats在这个时候,才会长时间停顿...百度了一下scrapy.extensions.logstats并没有相关结果...
scrapy.extensions.logstats