关于kafka重复消费的问题你们是怎么解决的?我看网上说引入第三方中间键redis, 每次消费前先判断该消息是否存在Redis, 没有则进行消费, 消费完再将该条记录的唯一标识存入Redis中。 重复消费是因为业务处理完后偏移量修改失败的导致的, 但是引入Redis的也话会出现Redis写失败啊, 问题就没解决啊
这不很简单吗,生产者发送消息时,定义消息的唯一ID,消费者接受消息时,将此条消息放在数据库里,如果有重复ID,就舍弃。
消费方保证幂等。