使用scrapy-redis进行分布式爬虫时，发现用2台电脑爬取数据时，一台能爬而另一台不能爬

悬赏园豆：50 [已解决问题] 解决于 2018-09-13 16:38

使用scrapy-redis进行分布式爬虫时，发现用2台电脑爬取数据时，一台能爬而另一台不能爬。如果只使用单独一台都可以爬，但同时一起爬就只能有一台可以爬取，另外一台不能爬取，不能爬取是报错如下：

python scrapy-redis分布式爬虫

silence-cc | 初学一级 | 园豆：138
提问于：2018-08-25 15:14

< >

最佳答案

原因为settings.py文件里面的异步请求数CONCURRENT_REQUESTS设置过大导致的

Configure maximum concurrent requests performed by Scrapy (default: 16)

CONCURRENT_REQUESTS

silence-cc | 初学一级 |园豆：138 | 2018-09-13 16:35

其他回答(2)

redis没连上啊。

你是把redis放在采集的机器上了吗？

先测试一下这台机器能不能连另一台的redis哦。

收获园豆：30

Masako | 园豆：1893 (小虾三级) | 2018-08-28 17:43

现在2个爬虫端都可以连接redis数据库，但问题仍旧没有解决

支持(0) 反对(0) silence-cc | 园豆：138 (初学一级) | 2018-09-08 18:17

上面图片连接拒绝是用ubuntu爬虫端爬取完数据时出现的，但我用windows爬虫端却一直没能爬取

支持(0) 反对(0) silence-cc | 园豆：138 (初学一级) | 2018-09-08 18:21

master上开Redis数据库, slave连接master上的Redis数据库,而数据爬取全部由slave去做,master负责监控就好

收获园豆：20

gavin-C | 园豆：224 (菜鸟二级) | 2018-09-13 14:10

谢谢，已经解决了。原因是2个爬虫端的设置异步请求数过大导致的。

支持(0) 反对(0) silence-cc | 园豆：138 (初学一级) | 2018-09-13 16:32

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。