首页新闻找找看学习计划

日志采集不知道详细的流程

0
悬赏园豆:200 [待解决问题]

就是想问一下,我在问一个问题,就是日志采集,实时的,Flume +Kafka+SparkStreaming,然后进行数据可视化,其中,日志数据到Flume这一块,数据进行处理吗,还是源日志数据,还是直接下沉到Kafka 让SparkStreaming进行数据分析处理,然后到 redis 进行数据可视化。
日志采集详细流程是什么样的,就Flume这块,source连接到指定的数据源,在source把数据传到channel时候要先把日志数据通过spark job 进行处理清晰获取到有效数据再给channel

极海听雷的主页 极海听雷 | 初学一级 | 园豆:2
提问于:2019-03-15 19:41
< >
分享
所有回答(1)
0
三人乐乐 | 园豆:3195 (老鸟四级) | 2019-03-16 11:31
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册