使用kafka收集日志和存储
0
悬赏园豆：10
[待解决问题]
需求：通过kafka把读到日志文件统一收集放在一个地方
问题：
1，现在在一台机器上可能会同时产生多份不同路径下的日志文件，我怎么保证能同时读到，并且读完了继续保持读文件状态（因为日志文件可能会随时产生，我需要在发现新的日志记录时及时读到kafka中）？
2，如果能读到不同路径下日志消息到kafka中，我在consumer端接收日志的时候怎么区分那条日志来自那台机器的那个程序或者是更详细点哪个进程或线程产生的呢？
3，如果现在读着读着，程序挂了，或者机器宕机了，那么我再次启动程序，怎么能做到让程序从上次读到的日志开始读，而不是从头开始读能？
所有回答(1)
0
讲个道理，日志入Kafka，读取文件的方式，太low了，如果你是Java程序，推荐自己写一个appender，把日志写到Kafka上
好吧，有没有使用python编程的方法
@star====: Logstash，ELK这套
