Kafka 中的偏移量是什么?它解决了哪些问题?

在 Kafka 中,偏移量(offset)是为分区中的每条记录(消息)分配的唯一标识符。偏移量是 Kafka 用来维护分区内消息顺序的连续整数。它们帮助生产者、消费者和代理(broker)追踪消息在分区中的具体位置。

Kafka 中的偏移量工作原理
生产者行为:

生产者将消息写入特定主题的分区。每条新消息都会被追加到日志中,Kafka 会为其分配下一个连续的偏移量。

生产者并不直接管理偏移量,这一过程由 Kafka 自动处理。

消费者行为:

消费者从分区中获取消息,并负责提交偏移量。

  • 已提交偏移量(Committed Offset) :消费者成功处理的最后偏移量。

    消费者可以指定开始读取的偏移量:

  • 最早(Earliest):从分区的开头开始读取。

  • 最新(Latest):仅读取新消息。

代理的角色:

代理将消息及其关联的偏移量存储在日志中。偏移量在分区内是不可变的且唯一的。

实时示例:支付处理系统

场景:一个电子商务系统使用 Kafka 处理支付交易。

    1. 主题(Topic)payment-transactions

    包含支付请求,每条支付记录包括交易 ID(transactionId)、金额(amount)和状态(status)等详情。

    1. 分区(Partitions)

    假设该主题有 3 个分区以实现负载均衡:

  • • 分区 0:偏移量 [0, 1, 2, 3...]

  • • 分区 1:偏移量 [0, 1, 2, 3...]

  • • 分区 2:偏移量 [0, 1, 2, 3...]

    1. 生产者(Producer)

    支付网关生产者将支付请求写入 Kafka,消息分布在各个分区中。

    1. 消费者(Consumers)

    支付处理微服务中的消费者读取消息以处理支付:

    • • 消费者 A 处理分区 0。

    • • 消费者 B 处理分区 1。

    • • 消费者 C 处理分区 2。

    1. 偏移量追踪
    • 处理后提交:每次处理完一条支付记录后,消费者提交最后成功处理的消息的偏移量。

    • • 如果消费者在处理分区 0 的偏移量 3 后失败,下一个消费者(或重启后)将从偏移量 4 继续。

    偏移量管理及示例

    Kafka 提供两种偏移量管理策略:

      1. 自动偏移量管理(默认)

      Kafka 以固定间隔自动提交偏移量。
      风险:即使消息未被处理,也可能被标记为已处理。

      1. 手动偏移量管理

      消费者在处理消息后显式提交偏移量。

      提供更多控制权并保证处理完成。

    以下是手动偏移量管理的代码示例:

    go 复制代码
    import org.apache.kafka.clients.consumer.ConsumerRecord;
    import org.apache.kafka.clients.consumer.ConsumerRecords;
    import org.apache.kafka.clients.consumer.KafkaConsumer;
    
    import java.time.Duration;
    import java.util.Collections;
    import java.util.Properties;
    
    publicclassManualOffsetExample {
        publicstaticvoidmain(String[] args) {
            Propertiesprops=newProperties();
            props.put("bootstrap.servers", "localhost:9092");
            props.put("group.id", "payment-group");
            props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
            props.put("enable.auto.commit", "false"); // 禁用自动提交
    
            KafkaConsumer<String, String> consumer = newKafkaConsumer<>(props);
            consumer.subscribe(Collections.singletonList("payment-transactions"));
    
            try {
                while (true) {
                    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                    for (ConsumerRecord<String, String> record : records) {
                        System.out.printf("Processing transaction with offset %d: %s%n", 
                            record.offset(), record.value());
                        
                        // 此处添加业务逻辑,例如处理支付
                        
                        // 处理完成后手动提交偏移量
                        consumer.commitSync();
                    }
                }
            } finally {
                consumer.close();
            }
        }
    }
    偏移量管理的优势
      1. 可重放性(Replayability)

      Kafka 允许消费者通过重置偏移量重新读取消息,例如重新处理失败的交易。

      1. 并行性(Parallelism)

      在分区主题中,消费者可以独立管理偏移量,实现可扩展的并行处理。

      1. 容错性(Fault Tolerance)

      如果消费者失败,另一个消费者可以从最后提交的偏移量继续处理。

    实时问题:消费者失败

    场景

    • • 一个支付消费者在处理分区 0 的偏移量 4 后崩溃。

    • • 消费者组的另一个实例接管并从偏移量 4 恢复处理。

相关推荐
DavidSoCool12 分钟前
RabbitMQ使用topic Exchange实现微服务分组订阅
分布式·微服务·rabbitmq
掘金-我是哪吒1 小时前
分布式微服务系统架构第158集:JavaPlus技术文档平台日更-JVM基础知识
jvm·分布式·微服务·架构·系统架构
东窗西篱梦2 小时前
Redis集群部署指南:高可用与分布式实践
数据库·redis·分布式
Acrel_Fanny2 小时前
Acrel-1000系列分布式光伏监控系统在湖北荆门一马光彩大市场屋顶光伏发电项目中应用
分布式
xufwind2 小时前
spark standlone 集群离线安装
大数据·分布式·spark
半新半旧3 小时前
Redis集群和 zookeeper 实现分布式锁的优势和劣势
redis·分布式·zookeeper
亲爱的非洲野猪3 小时前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe3 小时前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪4 小时前
2、Connecting to Kafka
分布式·ai·kafka
Edingbrugh.南空5 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式