首页 新闻 赞助 找找看

写了一个采集的WINFORM,10W数据花费4小时+

0
悬赏园豆:50 [已解决问题] 解决于 2010-06-03 11:38

有什么方法可以优化采集+入库的速度?

假装90后的主页 假装90后 | 初学一级 | 园豆:6
提问于:2010-05-19 20:48
< >
分享
最佳答案
0

多线程,线程池。

再不行msmq用上。再不行,在数据存储方面在弄弄

收获园豆:10
谢小漫 | 菜鸟二级 |园豆:436 | 2010-05-19 21:21
其他回答(4)
0

你得说明 采集花了多少时间 ,存储花了多少时间,看你时间耗在哪呀。

收获园豆:10
千羽 | 园豆:666 (小虾三级) | 2010-05-19 20:51
基本上是在采集,入库的速度应该是很快的 我吧两个步骤分开试过了。如果开多线程采集,入库的时候会不会冲突
支持(0) 反对(0) 假装90后 | 园豆:6 (初学一级) | 2010-05-19 21:03
采集 这东西,只能看你的算法罗辑写的好不好了,不过一般时间都是耗在服务器之间的通信上。你说的冲突是只什么呀?是去重问题吗?都是insert 库不会有冲突,
支持(0) 反对(0) 千羽 | 园豆:666 (小虾三级) | 2010-05-19 22:06
0

用treadpool应该没有什么问题。

数据存储,使用事务,批量数据插入。

10万条记录4个小时?太慢了吧。

我这边做的,2个小时采集加数据过滤。可以取200万以上的东西。

你的性能太差了。

收获园豆:10
Blood | 园豆:185 (初学一级) | 2010-05-19 23:58
0

我这边的方法是,用多细程先采集并过滤到本地,然后统一发布到服务器。

收获园豆:10
Astar | 园豆:40805 (高人七级) | 2010-05-20 07:02
0

上面的同志们的网速太牛逼了.而且目标网站也太弱了.我采集国外的无限级分类,2个小时才能采7千多.不能多开线程,因为对方限制了,而且网速也慢.

收获园豆:10
young5335 | 园豆:205 (菜鸟二级) | 2010-05-20 09:35
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册