Kafka中commitAsync的使用与实例解析

2501_903238652025-02-21 8:51

在使用Apache Kafka进行消息处理时，正确管理偏移量（offset）是确保数据一致性和可靠性的重要环节。Kafka提供了多种方式来提交偏移量，其中commitAsync()方法是一种高效且灵活的选择。本文将通过一个完整的实例，详细介绍如何在Kafka中使用commitAsync()方法来异步提交偏移量。

  1. 为什么需要异步提交偏移量？
    在Kafka中，偏移量用于记录消费者消费消息的位置。默认情况下，Kafka消费者会自动提交偏移量，但这种方式可能会导致数据丢失或重复消费。通过将enable.auto.commit设置为false，并手动调用commitAsync()方法，我们可以更精确地控制偏移量的提交时机，从而提高系统的可靠性和性能。
  2. 示例项目配置
    在开始之前，我们需要配置Kafka的生产者和消费者属性。以下是示例代码中的配置类ExampleConfig，它为生产者和消费者提供了基本的配置参数。
    java复制
    package com.logicbig.example;

import java.util.Properties;

public class ExampleConfig {

public static final String BROKERS = "localhost:9092";

复制代码 
public static Properties getProducerProps() {
    Properties props = new Properties();
    props.put("bootstrap.servers", BROKERS);
    props.put("acks", "all");
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    return props;
}

public static Properties getConsumerProps() {
    Properties props = new Properties();
    props.setProperty("bootstrap.servers", BROKERS);
    props.setProperty("group.id", "testGroup");
    props.setProperty("enable.auto.commit", "false");
    props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    return props;
}

}

  1. 创建Kafka主题

在运行消费者和生产者之前，我们需要创建一个Kafka主题。以下代码展示了如何使用AdminClient创建一个名为example-topic-2020-5-28的主题，并设置其分区数为1。

java复制

package com.logicbig.example;

import org.apache.kafka.clients.admin.AdminClient;

import org.apache.kafka.clients.admin.AdminClientConfig;

import org.apache.kafka.clients.admin.NewTopic;

import java.util.Collections;

import java.util.Properties;

import java.util.stream.Collectors;

public class TopicCreator {

public static void main(String\[\] args) throws Exception {

createTopic("example-topic-2020-5-28", 1);

}

复制代码 
private static void createTopic(String topicName, int numPartitions) throws Exception {
    Properties config = new Properties();
    config.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, ExampleConfig.BROKERS);
    AdminClient admin = AdminClient.create(config);

    boolean alreadyExists = admin.listTopics().names().get().stream()
            .anyMatch(existingTopicName -> existingTopicName.equals(topicName));

    if (alreadyExists) {
        System.out.printf("topic already exits: %s%n", topicName);
    } else {
        System.out.printf("creating topic: %s%n", topicName);
        NewTopic newTopic = new NewTopic(topicName, numPartitions, (short) 1);
        admin.createTopics(Collections.singleton(newTopic)).all().get();
    }

    System.out.println("-- describing topic --");
    admin.describeTopics(Collections.singleton(topicName)).all().get()
            .forEach((topic, desc) -> {
                System.out.println("Topic: " + topic);
                System.out.printf("Partitions: %s, partition ids: %s%n", desc.partitions().size(),
                        desc.partitions()
                                .stream()
                                .map(p -> Integer.toString(p.partition()))
                                .collect(Collectors.joining(",")));
            });

    admin.close();
}

}

运行上述代码后，将创建一个名为example-topic-2020-5-28的主题，分区数为1。

  1. 使用commitAsync()提交偏移量

接下来，我们将通过一个完整的消费者和生产者示例，展示如何使用commitAsync()方法异步提交偏移量。

生产者代码

生产者代码将向example-topic-2020-5-28主题发送4条消息。

java复制

package com.logicbig.example;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.ProducerRecord;

public class CommitAsyncExample {

private static String TOPIC_NAME = "example-topic-2020-5-28";

复制代码 
private static void sendMessages() {
    Properties producerProps = ExampleConfig.getProducerProps();
    KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps);

    for (int i = 0; i < 4; i++) {
        String value = "message-" + i;
        System.out.printf("Sending message topic: %s, value: %s%n", TOPIC_NAME, value);
        producer.send(new ProducerRecord<>(TOPIC_NAME, value));
    }

    producer.flush();
    producer.close();
}

public static void main(String[] args) throws Exception {
    sendMessages();
}

}

消费者代码

消费者代码将订阅example-topic-2020-5-28主题，并使用commitAsync()方法异步提交偏移量。

java复制

package com.logicbig.example;

import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.apache.kafka.clients.consumer.ConsumerRecords;

import org.apache.kafka.clients.consumer.KafkaConsumer;

import org.apache.kafka.clients.consumer.OffsetAndMetadata;

import org.apache.kafka.common.TopicPartition;

import java.time.Duration;

import java.util.*;

public class CommitAsyncExample {

private static String TOPIC_NAME = "example-topic-2020-5-28";

private static KafkaConsumer<String, String> consumer;

private static TopicPartition topicPartition;

复制代码 
public static void main(String[] args) throws Exception {
    Properties consumerProps = ExampleConfig.getConsumerProps();
    consumer = new KafkaConsumer<>(consumerProps);
    topicPartition = new TopicPartition(TOPIC_NAME, 0);
    consumer.assign(Collections.singleton(topicPartition));

    printOffsets("before consumer loop", consumer, topicPartition);
    sendMessages();
    startConsumer();
}

private static void startConsumer() {
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(5));
        for (ConsumerRecord<String, String> record : records) {
            System.out.printf("consumed: key = %s, value = %s, partition id= %s, offset = %s%n",
                    record.key(), record.value(), record.partition(), record.offset());
        }

        if (records.isEmpty()) {
            System.out.println("-- terminating consumer --");
            break;
        }

        printOffsets("before commitAsync() call", consumer, topicPartition);
        consumer.commitAsync();
        printOffsets("after commitAsync() call", consumer, topicPartition);
    }

    printOffsets("after consumer loop", consumer, topicPartition);
}

private static void printOffsets(String message, KafkaConsumer<String, String> consumer, TopicPartition topicPartition) {
    Map<TopicPartition, OffsetAndMetadata> committed = consumer.committed(new HashSet<>(Arrays.asList(topicPartition)));
    OffsetAndMetadata offsetAndMetadata = committed.get(topicPartition);
    long position = consumer.position(topicPartition);
    System.out.printf("Offset info %s, Committed: %s, current position %s%n", message,
            offsetAndMetadata == null ? null : offsetAndMetadata.offset(), position);
}

private static void sendMessages() {
    Properties producerProps = ExampleConfig.getProducerProps();
    KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps);

    for (int i = 0; i < 4; i++) {
        String value = "message-" + i;
        System.out.printf("Sending message topic: %s, value: %s%n", TOPIC_NAME, value);
        producer.send(new ProducerRecord<>(TOPIC_NAME, value));
    }

    producer.flush();
    producer.close();
}

}

  1. 运行结果分析

运行上述消费者代码后，输出结果如下：

复制

Offset info before consumer loop, Committed: null, current position 0

Sending message topic: example-topic-2020-5-28, value: message-0

Sending message topic: example-topic-2020-5-28, value: message-1

Sending message topic: example-topic-2020-5-28, value: message-2

Sending message topic: example-topic-2020-5-28, value: message-3

consumed: key = null, value = message-0, partition id= 0, offset = 0

consumed: key = null, value = message-1, partition id= 0, offset = 1

consumed: key = null, value = message-2, partition id= 0, offset = 2

consumed: key = null, value = message-3, partition id= 0, offset = 3

Offset info before commitAsync() call, Committed

相关推荐
jyOverQ8 小时前
RabbitMQ 延迟消息怎么实现？TTL 与死信队列
分布式·后端·rabbitmq·ruby
百万运营Pro9 小时前
用 Astro + Supabase 从零构建全网盘聚合搜索引擎：PGroonga 中文检索实战
搜索引擎·前端框架·node.js·个人开发·学习方法·ai编程·资源分享
zcmodeltech9 小时前
工程车模型多车型动作控制系统设计与实现方案——基于STM32与Modbus RTU的挖掘机、装载机、自卸车、起重机、电力工程车全场景控制方案，服务范围覆盖全国
分布式·stm32·单片机·嵌入式硬件·交互
StevenSurpass12 小时前
智能工厂场景：FastPrintAgent 分布式打印中间件落地应用方案
分布式·mqtt·http·中间件·打印·fastreport
江畔柳前堤1 天前
具身智能全景深度指南（2026年9月版）：从“会聊天的AI“到“能干活的机器“
大数据·javascript·图像处理·人工智能·分布式·智慧城市·原型模式
夕除1 天前
redis--010
笔记·分布式·学习
寻求出路的程序媛1 天前
分布式 & 高性能 & 高可用 体系、学习重点、面试点
分布式·后端·面试·性能优化
东小黑1 天前
mac安装RabbitMQ
分布式·rabbitmq
您^_^1 天前
DeepSeek-Harness 升级排障完全指南：三类本地残留逐个拆解
人工智能·windows·个人开发·deepseekharness·deepseekv4pro
zhougl9961 天前
从ZooKeeper到微服务生态：分布式协调核心原理
分布式·微服务·zookeeper
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02GitHub 镜像站点03ZCode 周末送额度活动开启：3 亿 Token 免费领取04历年考研数学一、数学二、数学三真题试卷及答案PDF05蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接062026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？07微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新08AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路09Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费10VSCode SSH 连接远程服务器后，Codex 插件登录失败