首页新闻找找看学习计划

每天1亿条数据,用那种存储方案较好?

0
悬赏园豆:30 [已解决问题] 解决于 2016-05-06 21:58

系统每分钟产生10万条左右的数据,都是int、float等简单数据类型,需要长期存储。数据存储后不需要修改,只会按时间执行查询。

是存成本地的二进制文件,还是使用现成的数据库。考虑到系统的性能和编程的简洁,方案的优雅,不知用哪种方案比较好。

各位高手们有没有比较好的方案推荐呢?多谢回复!

行一山人的主页 行一山人 | 菜鸟二级 | 园豆:235
提问于:2016-05-05 21:07
< >
分享
最佳答案
1

大概来说,你每个月的存储空间需求是y=(4x+8)*24*30/1000,单位是GB

x是你每条数据所包含的数据类型的数目,4x表示每个数据类型都只占4bytes,只是简化计算用

这笔直的一条直线。

把数据按时间关系分别存储在不同的机器上,然后查询的时候批量查询。咦,这解决方案好熟悉,考虑下hadoop?

 

当然,如果单位是土豪,可以配个几十TB的SSD和几十TB的内存,这样的话,单机也妥妥的。

 

收获园豆:8
c99 | 小虾三级 |园豆:1838 | 2016-05-05 22:47
其他回答(5)
1

根本不需要什么数据库,分分钟搞定没压力,如果要数据库,mongodb可以推荐下

收获园豆:2
上帝之城 | 园豆:2452 (老鸟四级) | 2016-05-05 21:50
1

长期存储,不修改,按时间查询。那么存储的时候就必须含有时间信息。

因为时间是有序线性增长的,所以查询时很好做的。因为数据的数量比较大,而数据的总量不是很大,可以考虑直接写二进制文件。

 

收获园豆:8
乌合之众 | 园豆:230 (菜鸟二级) | 2016-05-05 21:50
1

你需要的是文件系统.

收获园豆:2
吴瑞祥 | 园豆:28745 (高人七级) | 2016-05-05 22:46
0

简单数据,数据量较大,mongo和cassandra。

 

另外,直接按照时间来存文件,旧数据压缩存储也是可行的。具体还需要参考你的使用场景。

收获园豆:8
幻天芒 | 园豆:36544 (高人七级) | 2016-05-06 00:18
0

可以考虑选择MongoDB,MongoDB萌阔论坛上有相关文章,希望可以帮助到你。
萌阔论坛:http://forum.foxera.com/mongodb/topic/444/对比mysql-什么场景更适用mongodb?un=Jesse

JesseShi | 园豆:274 (菜鸟二级) | 2017-06-20 09:52
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册