logstash利用s3插件采集数据，但是kibana上数据晚了40分钟，如何调整？

悬赏园豆：100 [待解决问题]

在采集aws-s3上存放的日志时，logstash-input-s3 配置的interval=10 ，即更新间隔为10s，但是sincedb文件记录的采集时间总是比真实数据晚40分钟，请问应该如何调整？

上图为s3的数据和kibana数据

xiaoloutingfengyu | 初学一级 | 园豆：102
提问于：2021-05-24 16:10

< >

所有回答(2)

时区问题吧

czd890 | 园豆：14488 (专家六级) | 2021-05-26 17:52

时区是一致的，如果是时区应该差几个小时而不是几十分钟

支持(0) 反对(0) xiaoloutingfengyu | 园豆：102 (初学一级) | 2021-05-26 18:10

@xiaoloutingfengyu:

9:56, 9:38 没有40分钟呀

s3 文件的文件名称上的时间和上传时间也问题呀.

支持(0) 反对(0) czd890 | 园豆：14488 (专家六级) | 2021-05-26 18:19

@czd890: S3文件名表示日志产生的当地之间，后面的修改时间表示北京时间，在kibana当时间差达到40分钟左右时，logstash会再次开始采集，直到时间差缩短至15分钟左右

支持(0) 反对(0) xiaoloutingfengyu | 园豆：102 (初学一级) | 2021-05-26 18:23

@czd890: 感觉是采集频率的问题，您这边清楚s3插件采集频率怎么配置吗？除 interval 之外？

支持(0) 反对(0) xiaoloutingfengyu | 园豆：102 (初学一级) | 2021-05-26 19:15

我也遇到了这样的问题，把ALB的日志存储到s3上，logstash采集的时候会有十几分钟的延迟，请问楼主目前解决这个问题了吗，如果解决了麻烦告知一下解决办法，谢谢

徐似安然Aaron | 园豆：202 (菜鸟二级) | 2023-09-16 16:14

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。