首页新闻找找看学习计划
当前位置: 博问标签 /进程池/未解决/ 已解决
3
回答数

30 python进程池爬取速度比单线程还要慢,求一个可实现的代码方案。

一开始,我用的是单线程,爬完整个397页数据用时,其中如果不向数据库写入是62秒左右,如果要向数据库插入文件需要82秒 后来我改成了进程池模式,4进程爬取,其中不向数据库写入用时22秒左右 ,进程池4