首页新闻找找看学习计划

物联网数据采集处理框架

0
悬赏园豆:5 [待解决问题]

公司要挑战下物联网,没办法,只能硬着头皮上,这2天查了很多资料,一头雾水;
目前存储决定用spark+mongdb;还有一点,就是设备数据采集,一台设备提交的数据每秒可能很多,而且来自不同的设备,协议也不同,需要解析,这样就需要一个中间件去初步解析后在去存储,但是这部在大数量解析时,性能很差,有没有有这方面经验的指点一二:
自己想的是设备数据先直接存到数据库中,然后自动服务去解析数据中的数据,然后转到其他地方,不知道这样延迟怎么样;

哈哈啊的主页 哈哈啊 | 初学一级 | 园豆:5
提问于:2018-10-24 13:46
< >
分享
所有回答(3)
0

这个方案应该是挺多的。
像是生产者消费者模式,数据流模式

博学多思 | 园豆:89 (初学一级) | 2018-10-24 14:23
-1

采集器(协议适配)=>接收Server(协议越简单越好,为节约吞吐,还按照最低要求Interval打包发送)=>总线(也应注意Interval问题)=>订阅分发 实时计算等。持久化数据库这类一般用叫Historian之类的,应对超高速写入。慢慢搞,祝好运。

花飘水流兮 | 园豆:10297 (专家六级) | 2018-10-24 18:52
0

感觉压力比较大的地方,需要做负载均衡,多节点并行处理。你可以设置多个中间件进行解析。

保镖 | 园豆:391 (菜鸟二级) | 2018-10-25 08:14
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册