首页 新闻 搜索 专区 学院

多线程 抓取 效率问题

0
悬赏园豆:100 [已关闭问题] 关闭于 2011-02-15 16:53

最开始采用单线程抓取:大概是1.5秒一条

因为想要提高抓取效率就采用了多线程,但发现效率并没有明显的提高,大概1。0--到2.0左右,其中我使用了线程池控制线程数量,同时我在查看抓取的时的流量的时候,发现流量并没有达到最大值,一般就是保持在单线程那个水平,好像每次也都是只有一条线程在访问似的。(我最小线程设置20以上)

想不通的一点就是我没使用现场吃,就是我单独开40个线程来抓取的时候,能达到0.5秒每条,甚至更快,麻烦高手能帮我分析下么??能有更好的解决办法么。

我的目的是想提高抓取效率!!

East神奇的主页 East神奇 | 初学一级 | 园豆:21
提问于:2011-02-11 14:50
< >
分享
所有回答(3)
0

检查下线程池,确定下是不是开启了多个线程在运行抓取!

头衔 | 园豆:364 (菜鸟二级) | 2011-02-11 17:47
0

不知道你的多线程是怎么实现的?

I,Robot | 园豆:9583 (大侠五级) | 2011-02-11 21:48
0

只能提高总的工作效率吧?

写代码的小2B | 园豆:4355 (老鸟四级) | 2011-02-14 10:29
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册