写了一个采集的WINFORM，10W数据花费4小时+

悬赏园豆：50 [已解决问题] 解决于 2010-06-03 11:38

有什么方法可以优化采集+入库的速度？

.NET技术 C#

假装90后 | 初学一级 | 园豆：6
提问于：2010-05-19 20:48

< >

最佳答案

多线程，线程池。

再不行msmq用上。再不行，在数据存储方面在弄弄

收获园豆：10

谢小漫 | 菜鸟二级 |园豆：436 | 2010-05-19 21:21

其他回答(4)

你得说明采集花了多少时间，存储花了多少时间，看你时间耗在哪呀。

收获园豆：10

千羽 | 园豆：666 (小虾三级) | 2010-05-19 20:51

基本上是在采集，入库的速度应该是很快的我吧两个步骤分开试过了。如果开多线程采集，入库的时候会不会冲突

支持(0) 反对(0) 假装90后 | 园豆：6 (初学一级) | 2010-05-19 21:03

采集这东西，只能看你的算法罗辑写的好不好了，不过一般时间都是耗在服务器之间的通信上。你说的冲突是只什么呀？是去重问题吗？都是insert 库不会有冲突，

支持(0) 反对(0) 千羽 | 园豆：666 (小虾三级) | 2010-05-19 22:06

用treadpool应该没有什么问题。

数据存储，使用事务，批量数据插入。

10万条记录4个小时？太慢了吧。

我这边做的，2个小时采集加数据过滤。可以取200万以上的东西。

你的性能太差了。

收获园豆：10

Blood | 园豆：185 (初学一级) | 2010-05-19 23:58

我这边的方法是，用多细程先采集并过滤到本地，然后统一发布到服务器。

收获园豆：10

Astar | 园豆：40805 (高人七级) | 2010-05-20 07:02

上面的同志们的网速太牛逼了.而且目标网站也太弱了.我采集国外的无限级分类,2个小时才能采7千多.不能多开线程,因为对方限制了,而且网速也慢.

收获园豆：10

young5335 | 园豆：205 (菜鸟二级) | 2010-05-20 09:35

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。