业务场景:目前存入MySQL中部分历史业务数据,时时刻刻也会产生数据。根据这些数据做一个实时分析架构实现,初学者还不是很懂,望谅解。打算搭建一个简单的实时分析仓库。
思路:接入MySQL中的业务数据,通过Kafka连接,使用SparkStreaming消费数据,然后直接输出到MySQL中,前端采用帆软直连MySQL开启实时性。
需求:
疑问:
1.架构设计缺陷,还需要什么其他的组件
2.怎么每隔半小时或一天执行job,定时调度任务
疑问2:可以试试开启一个异步线程,每次间隔固定的时间执行一项操作。
疑问1:这方面我不是很懂,我同学做过大数据。