首页 新闻 会员 周边 捐助

大数据实时分析架构需要哪些框架、组件?

0
悬赏园豆:50 [待解决问题]

业务场景:目前存入MySQL中部分历史业务数据,时时刻刻也会产生数据。根据这些数据做一个实时分析架构实现,初学者还不是很懂,望谅解。打算搭建一个简单的实时分析仓库。
思路:接入MySQL中的业务数据,通过Kafka连接,使用SparkStreaming消费数据,然后直接输出到MySQL中,前端采用帆软直连MySQL开启实时性。
需求:

  1. 现需要在前端可视化展示能实时的查询业务数据
  2. 每隔半个小时刷新可视化页面的数据
  3. 每天更新业务的数据

疑问:
1.架构设计缺陷,还需要什么其他的组件
2.怎么每隔半小时或一天执行job,定时调度任务

Simon_Yu的主页 Simon_Yu | 初学一级 | 园豆:152
提问于:2020-04-07 22:17
< >
分享
所有回答(1)
0

疑问2:可以试试开启一个异步线程,每次间隔固定的时间执行一项操作。
疑问1:这方面我不是很懂,我同学做过大数据。

mirage_mc | 园豆:261 (菜鸟二级) | 2020-04-08 12:05
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册