之前用的是mongodb,用了后发现,mongdb不适合我们,mongdb为了查询性能,吃了太多的内存了,很笨重,而且它进行数据备份还巨麻烦,占用了磁盘还不会释放,坑的一批
我们这边主要是对大量数据的保存有比较高的需求,数据是按照时间顺序存储的,查询上基本没有什么太高的性能要求,不用缓存热数据,由于数据量大,我们的用的又是云服务,所以要定时的从服务器备份转移数据到本地,释放磁盘空间,节省开支
既然数据可以迁移到本地, 那用什么数据库都是好的. 每一个月/ 天 一个database/table. 然后直接数据库文件copy下来就完事了.
如果大量数据需要在同一个库而且是时序类型的, 比如几百亿, 可以考虑像 tidb, yugabyte, cassandra等.
如果仅仅是因为这个,直接搞云mongo?比如阿里云的?
1 云服务比如Azure Cloud、阿里云等
2 大数据集群Hive + HBase
要个啥数据库。
IO操作,数据直接写文件里,文件名就是时间,一个时间段的放一个文件里。
了解一下 《操作系统》等,磁盘是块设备,不管你cpu多块,到达磁盘接口都是队列,所谓并行 写入 本身就是伪命题。
几乎所有提供了Index等基础数据功能的模块或者软件 都会提供 内存占用的参数设置。
你无非就是想做个周期 策略而已,自行分个周期Interval,然后 获取 删除就搞定了,这个删除不是delete rows 1 billion,是del file。