提问者:小点点

如何让kafka连接从上次失败中获取消息


我正在使用弹性搜索Kafka连接在独立模式下。我不困惑使用哪种配置来启动Kafka连接并从最后一个故障点开始。

例如,生产者将继续推动记录进入Kafka和消费者,因为弹性搜索接收器连接器正在消费,现在我的由于某种原因我的消费者下降了,但我的骄傲将继续推动信息进入Kafka。现在,当我修复了ES sink连接器端的问题后,如果我重新启动ES sink连接器,它应该从上次故障中选择,而不是从开始或最近的故障中选择,而是从上次故障中选择。如果失败后收到了10条消息,则当es接收器连接器启动时,它应该首先接收10条消息,然后是最新消息。

请帮助配置 。


共1个答案

匿名用户

Kafka Connect充当任何其他Kafka消费者。当您重新启动时,使用者将回滚到上次提交的偏移量位置。这是默认行为,在Connect中没有更改它的设置。