最开始采用单线程抓取:大概是1.5秒一条
因为想要提高抓取效率就采用了多线程,但发现效率并没有明显的提高,大概1。0--到2.0左右,其中我使用了线程池控制线程数量,同时我在查看抓取的时的流量的时候,发现流量并没有达到最大值,一般就是保持在单线程那个水平,好像每次也都是只有一条线程在访问似的。(我最小线程设置20以上)
想不通的一点就是我没使用现场吃,就是我单独开40个线程来抓取的时候,能达到0.5秒每条,甚至更快,麻烦高手能帮我分析下么??能有更好的解决办法么。
我的目的是想提高抓取效率!!
检查下线程池,确定下是不是开启了多个线程在运行抓取!
不知道你的多线程是怎么实现的?
只能提高总的工作效率吧?