首页新闻找找看学习计划

海量数据比对!!

0
悬赏园豆:30 [已解决问题] 解决于 2015-03-18 11:18

我每天要接受第三方提供的一个execl表格,里面的数据有上百万,然后和我的数据库里面的一个表比对(比对某个字段)。如果不一样,记录下来。有什么好的办法嘛?

noert的主页 noert | 初学一级 | 园豆:43
提问于:2013-11-22 17:24
< >
分享
最佳答案
0

可以考虑先将Excel的单字段数据导入数据库,然后用sql语句校对。

收获园豆:10
幻天芒 | 高人七级 |园豆:36522 | 2013-11-23 00:08

我试了,而且在数据库中匹配,但老感觉,倒入数据库不好。对数据库空间感觉压力挺大的,不知道是不是。

noert | 园豆:43 (初学一级) | 2013-11-24 23:05

@noert: 建新库校对就行了。这点压力对数据库来说不算什么。

幻天芒 | 园豆:36522 (高人七级) | 2013-11-27 14:39
其他回答(3)
0

关注下,希望高人提供有效的算法

收获园豆:2
平常心队长 | 园豆:1113 (小虾三级) | 2013-11-22 17:35
0

beyond compare  数据比较

收获园豆:8
喵喵喵猫 | 园豆:1742 (小虾三级) | 2013-11-23 10:01
0

你的数据库的表内容多吗? 如果不多的话就把你的表全部读入到内存中,存成hash表之类的查询型结构,在内存中比较比数据库sql比较快多了。

收获园豆:5
天方 | 园豆:5264 (大侠五级) | 2013-11-24 21:14

有十几个字段,我在想啊,读取execl中要是用多线程怎么把数据读取出来,然后跟数据库中的数据匹配呢?

支持(0) 反对(0) noert | 园豆:43 (初学一级) | 2013-11-24 23:08
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册