kafka消息丢失?可能和seekToEnd有关

最近遇到kafka消息丢失的偶现问题,排查许久都没找到原因。后面通读代码,才发现消息丢失和seekToEnd有关。

我有一套环境是HA架构,3个节点,每个节点有多个app,每个app启动时会向zk注册,然后利用zk选出主app,zk选出主之后,被选为主的app则有资格作为kafka消息的接收者,根据收到的kafka消息进行相应业务的处理。

偶现问题就是当某个app被zk选为主之后,平台会向其发送"你是主"的消息,但该app却没收到"你是主"的消息。

虽然代码中使用了seekToEnd方法,该方法的意思就是读取最近的一个消息,但问题不是这个方法导致的。而是,注册kafka消费者的时机不对导致的。

以下是导致问题发生的伪代码:

java 复制代码
    public static void main(String[] args) {
        try {
            initLogger();

            // 连接zk
            connect2Zk();

			// 连接kafka
            connect2Kafka();
			
        } catch (Exception e) {
            e.printStackTrace();
            log.error("failed to start server", e);
        }
    }

顺便看下使用seekToEnd的代码是怎么写的:

java 复制代码
public class MyAppConsumer implements Runnable {

    public MyAppConsumer (String gid, List<String> topics) {
        init(gid, topics);
    }

    @Override
    public void run() {
        try {
            consumer = new KafkaConsumer<>(props);
            consumer.subscribe(this.topics);
            consumer.seekToEnd(new ArrayList<>());
            log.info("Start Consumer: {} {}", gid, topics);
        } catch (Exception e) {
            
        }
        while (isRunning) {
            try {
                ConsumerRecords<String, String> records = consumer.poll(100);
                handleRecords(records);
                .......

            } catch (Exception e) {

            }
        }
    }    
}

由于这个是偶现问题,所以复现不容易。可以通过增加日志打印,在发送"你是主"的消息和app连接kafka成功,变成kafka消费者的地方增加详细的日志打印,以此来确认问题。

这里我们就靠口述问题发生的场景了:当连接kafka的方法(connect2Kafka)在连接zk(connect2Zk)之后,如果zk选主完成,kafka的连接还未成功,则会导致问题发生。因为zk选主完成之后,平台就会向对应的app发送"你是主"的消息,而此时该app还未连接到kafka,还不是kafka的消费者,当连接kafka成功之后,因为使用了seekToEnd方法,因此该app只会读取最新的消息,之前的都丢弃了,那么就永远也收不到"你是主"的消息了。

既然发生问题的原因找到了,那改起来也就很方便了,将连接kafka的方法(connect2Kafka)放在连接zk(connect2Zk)之前就可以了。伪代码如下:

java 复制代码
    public static void main(String[] args) {
        try {
            initLogger();

			// 连接kafka
            connect2Kafka();

            // 连接zk
            connect2Zk();
			
        } catch (Exception e) {
            e.printStackTrace();
            log.error("failed to start server", e);
        }
    }

回头想想,一般我们遇到的偶现问题,就会觉得很头疼,但当哪天心情好的时候,去慢慢梳理一下代码,也许你就会发现,好家伙,自己给自己挖了一个大坑!!!

相关推荐
深圳蔓延科技19 小时前
Kafka的高性能之路
后端·kafka
努力的小郑1 天前
从一次分表实践谈起:我们真的需要复杂的分布式ID吗?
分布式·后端·面试
AAA修煤气灶刘哥2 天前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云云原生2 天前
嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%
kafka·serverless
Aomnitrix2 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐2 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询2 天前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams2 天前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
在未来等你2 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试