首页 新闻 会员 周边 捐助

大数据并发存储有没有什么比较好的数据库推荐

0
悬赏园豆:20 [已解决问题] 解决于 2021-01-08 18:43

之前用的是mongodb,用了后发现,mongdb不适合我们,mongdb为了查询性能,吃了太多的内存了,很笨重,而且它进行数据备份还巨麻烦,占用了磁盘还不会释放,坑的一批

我们这边主要是对大量数据的保存有比较高的需求,数据是按照时间顺序存储的,查询上基本没有什么太高的性能要求,不用缓存热数据,由于数据量大,我们的用的又是云服务,所以要定时的从服务器备份转移数据到本地,释放磁盘空间,节省开支

WmW的主页 WmW | 菜鸟二级 | 园豆:424
提问于:2020-12-22 19:04
< >
分享
最佳答案
1

既然数据可以迁移到本地, 那用什么数据库都是好的. 每一个月/ 天 一个database/table. 然后直接数据库文件copy下来就完事了.

如果大量数据需要在同一个库而且是时序类型的, 比如几百亿, 可以考虑像 tidb, yugabyte, cassandra等.

收获园豆:20
czd890 | 专家六级 |园豆:14488 | 2020-12-23 00:26
其他回答(4)
0

如果仅仅是因为这个,直接搞云mongo?比如阿里云的?

顾晓北 | 园豆:10893 (专家六级) | 2020-12-22 19:36
0

1 云服务比如Azure Cloud、阿里云等
2 大数据集群Hive + HBase

ycyzharry | 园豆:25683 (高人七级) | 2020-12-22 22:27
0

要个啥数据库。

IO操作,数据直接写文件里,文件名就是时间,一个时间段的放一个文件里。

Jaguar_Jacky | 园豆:458 (菜鸟二级) | 2020-12-24 18:00
0

了解一下  《操作系统》等,磁盘是块设备,不管你cpu多块,到达磁盘接口都是队列,所谓并行 写入 本身就是伪命题。

几乎所有提供了Index等基础数据功能的模块或者软件 都会提供 内存占用的参数设置。

你无非就是想做个周期 策略而已,自行分个周期Interval,然后 获取 删除就搞定了,这个删除不是delete rows 1 billion,是del file。

花飘水流兮 | 园豆:13595 (专家六级) | 2020-12-27 14:51
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册