当 Kafka 作为数据源时,我对 Apache Flink 如何处理提交偏移有点困惑。
我已经配置了消费者组,可以正常消费消息并提交消息(因为我在 flink 上启用了检查点)。但是当我在 k8s 上重新启动部署时,即使消费者的 LAG 为零,所有消息也会再次被消费。似乎 flink 只是忽略了消费者提交偏移量。
我读了一些相关内容,似乎需要在某处存储状态,但我不明白如果我已经提交了偏移量,为什么还需要它。
当 Kafka 作为数据源时,我对 Apache Flink 如何处理提交偏移有点困惑。
我已经配置了消费者组,可以正常消费消息并提交消息(因为我在 flink 上启用了检查点)。但是当我在 k8s 上重新启动部署时,即使消费者的 LAG 为零,所有消息也会再次被消费。似乎 flink 只是忽略了消费者提交偏移量。
我读了一些相关内容,似乎需要在某处存储状态,但我不明白如果我已经提交了偏移量,为什么还需要它。