首页 新闻 搜索 专区 学院

logstash利用s3插件采集数据,但是kibana上数据晚了40分钟,如何调整?

0
悬赏园豆:100 [待解决问题]

在采集aws-s3上存放的日志时,logstash-input-s3 配置的interval=10 ,即更新间隔为10s,但是sincedb文件记录的采集时间总是比真实数据晚40分钟,请问应该如何调整?

上图为s3的数据和kibana数据

xiaoloutingfengyu的主页 xiaoloutingfengyu | 初学一级 | 园豆:102
提问于:2021-05-24 16:10
< >
分享
所有回答(1)
0

时区问题吧

czd890 | 园豆:11848 (专家六级) | 2021-05-26 17:52

时区是一致的,如果是时区应该差几个小时而不是几十分钟

支持(0) 反对(0) xiaoloutingfengyu | 园豆:102 (初学一级) | 2021-05-26 18:10

@xiaoloutingfengyu:

9:56, 9:38 没有40分钟呀

s3 文件的文件名称上的时间和上传时间也问题呀.

支持(0) 反对(0) czd890 | 园豆:11848 (专家六级) | 2021-05-26 18:19

@czd890: S3文件名表示日志产生的当地之间,后面的修改时间表示北京时间,在kibana当时间差达到40分钟左右时,logstash会再次开始采集,直到时间差缩短至15分钟左右

支持(0) 反对(0) xiaoloutingfengyu | 园豆:102 (初学一级) | 2021-05-26 18:23

@czd890: 感觉是采集频率的问题,您这边清楚s3插件采集频率怎么配置吗?除 interval 之外?

支持(0) 反对(0) xiaoloutingfengyu | 园豆:102 (初学一级) | 2021-05-26 19:15
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册