首页 新闻 会员 周边 捐助

大数据：如何模拟2000万辆车并发发送数据

0
悬赏园豆：50 [已解决问题] 解决于 2016-12-17 19:32

应该如何实现2000万辆车并发发送数据，数据内容可以包括车辆的经纬度位置，目前的车况数据等等；数据发送频率设置为每辆车每十秒发送一条数据。请问应该如何实现？

考虑使用spark或者storm？

如何实现这么大量数据的产生。。。请教各路大神，感激不尽！！！

chen-kh的主页 chen-kh | 初学一级 | 园豆：116
提问于：2016-12-11 19:25
< >
分享
最佳答案
1

200万/s这个发送频率在服务端进来的时候就尽量横向扩吧，这里主要是rpc框架的选择和数据的序列化反序列化速度，而考虑到带宽则需要选择序列化结果小的或者压缩比大的方式，比如thrift等。而你说的spark或者storm这些都是后置计算的，这个和数据如何生产没多大关系

收获园豆：50
Daniel Cai | 专家六级 |园豆：10424 | 2016-12-12 09:13
其他回答(2)
0

2000千万/10. 200万/s的并发。然后你这是要对你的服务器进行压测么？

czd890 | 园豆：14488 (专家六级) | 2016-12-11 19:39

哈哈哈，其实不是。。。打算把数据生产到kafka，之后做一些数据处理。

支持(0) 反对(0) chen-kh | 园豆：116 (初学一级) | 2016-12-12 20:55
0

用路由器应该是可以的.不过我不会.

吴瑞祥 | 园豆：29449 (高人七级) | 2016-12-11 22:20

恩。。。请问这跟路由器有什么关系？

支持(0) 反对(0) chen-kh | 园豆：116 (初学一级) | 2016-12-12 20:33

@chen-kh: 直接发出你要的包啊.路由器的发包效率可高了.

支持(0) 反对(0) 吴瑞祥 | 园豆：29449 (高人七级) | 2016-12-12 20:48
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。