业务场景:目前存入MySQL中部分历史业务数据,时时刻刻也会产生数据。根据这些数据做一个实时分析架构实现,初学者还不是很懂,望谅解。打算搭建一个简单的实时分析仓库。
思路:接入MySQL中的业务数据,通过Kafka连接,使用SparkStreaming消费数据,然后直接输出到MySQL中,前端采用帆软直连MySQL开启实时性。
需求:
- 现需要在前端可视化展示能实时的查询业务数据
- 每隔半个小时刷新可视化页面的数据
- 每天更新业务的数据
疑问:
1.架构设计缺陷,还需要什么其他的组件
2.怎么每隔半小时或一天执行job,定时调度任务