日志采集不知道详细的流程

悬赏园豆：200 [待解决问题]

就是想问一下，我在问一个问题，就是日志采集，实时的，Flume +Kafka+SparkStreaming,然后进行数据可视化，其中，日志数据到Flume这一块，数据进行处理吗，还是源日志数据，还是直接下沉到Kafka 让SparkStreaming进行数据分析处理，然后到 redis 进行数据可视化。
日志采集详细流程是什么样的，就Flume这块，source连接到指定的数据源，在source把数据传到channel时候要先把日志数据通过spark job 进行处理清晰获取到有效数据再给channel

日志采集大数据

极海听雷 | 初学一级 | 园豆：2
提问于：2019-03-15 19:41

< >

所有回答(1)

看下有帮助吗：
https://blog.csdn.net/kwu_ganymede/article/details/50761952
https://www.jianshu.com/p/8d34a9a5fc01
https://bit1129.iteye.com/blog/2185928

三人乐乐 | 园豆：4823 (老鸟四级) | 2019-03-16 11:31

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。

日志采集不知道详细的流程

欢迎，请先登录或者注册。