首页 新闻 搜索 专区 学院

物联网数据采集处理框架

0
悬赏园豆:5 [已解决问题] 解决于 2020-10-09 19:12

公司要挑战下物联网,没办法,只能硬着头皮上,这2天查了很多资料,一头雾水;
目前存储决定用spark+mongdb;还有一点,就是设备数据采集,一台设备提交的数据每秒可能很多,而且来自不同的设备,协议也不同,需要解析,这样就需要一个中间件去初步解析后在去存储,但是这部在大数量解析时,性能很差,有没有有这方面经验的指点一二:
自己想的是设备数据先直接存到数据库中,然后自动服务去解析数据中的数据,然后转到其他地方,不知道这样延迟怎么样;

哈哈啊的主页 哈哈啊 | 初学一级 | 园豆:6
提问于:2018-10-24 13:46
< >
分享
最佳答案
0

采集器(协议适配)=>接收Server(协议越简单越好,为节约吞吐,还按照最低要求Interval打包发送)=>总线(也应注意Interval问题)=>订阅分发 实时计算等。持久化数据库这类一般用叫Historian之类的,应对超高速写入。慢慢搞,祝好运。

收获园豆:2
花飘水流兮 | 专家六级 |园豆:12031 | 2018-10-24 18:52
其他回答(2)
0

这个方案应该是挺多的。
像是生产者消费者模式,数据流模式

收获园豆:2
博学多思 | 园豆:84 (初学一级) | 2018-10-24 14:23
0

感觉压力比较大的地方,需要做负载均衡,多节点并行处理。你可以设置多个中间件进行解析。

收获园豆:1
保镖 | 园豆:637 (小虾三级) | 2018-10-25 08:14
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册