怎么提高网络爬虫的并发数
0
悬赏园豆：50
[已解决问题]
解决于 2015-12-21 16:10
我用多线程写了个网络爬虫，爬虫爬取和解析的时间都是非常短的，现在一个爬虫进程爬取速度是每秒爬取1000条。
服务器的性能是完全ok的，网速，cpu，内存，硬盘读写占用都很少，在20%左右，如果多开几个进程，单个爬虫的速度不受影响，还是1000/s。
我现在想提高单个爬虫的并发量，多线程用的Task，但我发现程序里面开20个Task和开100个Task，速度都是1000/s
我不清楚到底哪里限制了速度，还是说一个进程的极限就是如此，无法再提高。
最佳答案
1
线程数。带宽。是最大的限制，将下载和磁盘IO操作异步化，能优化一些
收获园豆：50
