海量数据比对！！

悬赏园豆：30 [已解决问题] 解决于 2015-03-18 11:18

我每天要接受第三方提供的一个execl表格，里面的数据有上百万，然后和我的数据库里面的一个表比对（比对某个字段）。如果不一样，记录下来。有什么好的办法嘛？

noert | 初学一级 | 园豆：34
提问于：2013-11-22 17:24

< >

最佳答案

可以考虑先将Excel的单字段数据导入数据库，然后用sql语句校对。

收获园豆：10

幻天芒 | 高人七级 |园豆：37175 | 2013-11-23 00:08

我试了，而且在数据库中匹配，但老感觉，倒入数据库不好。对数据库空间感觉压力挺大的，不知道是不是。

noert | 园豆：34 (初学一级) | 2013-11-24 23:05

@noert: 建新库校对就行了。这点压力对数据库来说不算什么。

幻天芒 | 园豆：37175 (高人七级) | 2013-11-27 14:39

其他回答(3)

关注下,希望高人提供有效的算法

收获园豆：2

平常心队长 | 园豆：1113 (小虾三级) | 2013-11-22 17:35

beyond compare 数据比较

收获园豆：8

喵喵喵猫 | 园豆：1742 (小虾三级) | 2013-11-23 10:01

你的数据库的表内容多吗？如果不多的话就把你的表全部读入到内存中，存成hash表之类的查询型结构，在内存中比较比数据库sql比较快多了。

收获园豆：5

天方 | 园豆：5407 (大侠五级) | 2013-11-24 21:14

有十几个字段，我在想啊，读取execl中要是用多线程怎么把数据读取出来，然后跟数据库中的数据匹配呢？

支持(0) 反对(0) noert | 园豆：34 (初学一级) | 2013-11-24 23:08

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。