首页 新闻 会员 周边 捐助

scrapy 运行的过程中,为什么中间会有很长时间的停顿?

0
[已关闭问题] 关闭于 2019-05-14 14:33

如图,这中间十分钟干啥了...

emmm....猜测了一下,有可能是上面最后一条链接连接的时间太长了?但是也不至于10分钟吧,也没个超时啥的
或者是重试(Retrying)耗费的时间太久了?
会不会有可能是处理了301导致的呢?

这中间将近七分钟,都干啥了...

观测了一下,好像只有scrapy.extensions.logstats在这个时候,才会长时间停顿...
百度了一下scrapy.extensions.logstats并没有相关结果...

会发光的主页 会发光 | 菜鸟二级 | 园豆:258
提问于:2019-04-19 16:10
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册