如何存储巨量的数据

悬赏园豆：20 [待解决问题]

做数据采集，千万级别的数据，如何一次性的存入到数据库中，相关内容位ole对象，长二进制

默默者 | 初学一级 | 园豆：184
提问于：2022-07-22 16:19

< >

所有回答(3)

很多数据库都提供批量入库的解决方案，建议根据具体的数据库来找资料。园子里也有相关的文章：SQLServer数据批量导入的几种方式

会长 | 园豆：12401 (专家六级) | 2022-07-22 17:17

我们也和你类似有个类似的场景，最开始用mongodb存数据，mongodb性能很好，但是，它太吃资源了，而且可能是我们使用的不对，动不动死掉，数据备份还麻烦，简直要了老命了，后来我们直接自己按时间写文件，虽然不甚理想，但是比mongodb事情顺多了，所以mark下，看看能不能学习到更好的方案

WmW | 园豆：424 (菜鸟二级) | 2022-07-22 17:25

文件是要存的，但是也需要往数据库里面存

支持(0) 反对(0) 默默者 | 园豆：184 (初学一级) | 2022-07-22 17:28

使用sqlite就足够了,本人亲自测试单表20亿行数据没出现任何问题
采集过程先建立一个内存库往内存库里存
根据一定的条件把内存里的数据往硬盘里导
模运算是个好东西可以根据某些id 取模来计算出存放的位置来这样分表分库都可以实现无限制储存而且又能保证不重复

开窍 | 园豆：136 (初学一级) | 2022-07-23 11:46

我用的是Access

支持(0) 反对(0) 默默者 | 园豆：184 (初学一级) | 2022-07-23 13:44

@默默者: access不要去深入研究只是用来入门还可以,入门了立马转sqlite
因为access跟sqlite相比就好比一个2块钱的塑料玩具车跟跑车比,没有可比性.深入研究也是浪费时间
以后数据大了就扛不住了

支持(0) 反对(0) 开窍 | 园豆：136 (初学一级) | 2022-07-23 13:46

使用SQLlite放这么多数据，风险太大了吧，万一文件损坏呢。

支持(0) 反对(0) 会长 | 园豆：12401 (专家六级) | 2022-07-25 08:51

@会长: 以前用access坏过一次就再也不用access了
自从用sqlite从来没坏过 sqlite不会那么容易坏的
再说了数据多了肯定要备份的因为就算不怕文件坏我还怕硬盘坏呢
我对硬盘突然坏掉的担心要大于sqlite文件突然坏掉的担心

支持(0) 反对(0) 开窍 | 园豆：136 (初学一级) | 2022-07-31 04:31

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。