kafka怎么保证消息不被重复消费

在 Kafka 中,要保证消息不被重复消费,可从消费者端和生产者端分别采取不同策略,下面为你详细介绍:

消费者端实现幂等消费

幂等消费是指对同一条消息,无论消费多少次,产生的业务结果都是一样的。

业务层面实现幂等性
  • 唯一标识法:生产者在发送消息时,为每条消息添加一个全局唯一的 ID,如 UUID。消费者在消费消息时,先根据这个唯一 ID 去业务系统中查询该消息是否已经被处理过。如果已经处理过,则直接忽略;如果没有处理过,则进行业务处理,并记录该消息的处理状态。

python

复制代码
import uuid

# 生产者添加唯一 ID
message_id = str(uuid.uuid4())
message = {'id': message_id, 'data': 'your data'}
producer.send('your_topic', message)

# 消费者检查唯一 ID
processed_ids = set()
for message in consumer:
    message_id = message.value.get('id')
    if message_id in processed_ids:
        continue
    # 处理消息
    process_message(message.value)
    processed_ids.add(message_id)
  • 状态机法:对于一些有状态的业务场景,可以使用状态机来控制消息的处理逻辑。每个消息对应一个状态转换,只有在满足特定状态条件时才处理消息,避免重复处理。例如,订单状态从 "未支付" 到 "已支付",只有当订单处于 "未支付" 状态时,才处理支付消息。
精确一次消费语义

Kafka 从 0.11.0.0 版本开始引入了精确一次消费(EOS)语义。通过使用 Kafka 的事务和幂等生产者特性,可以保证消息在生产者端和消费者端的精确一次处理。

python

复制代码
from kafka import KafkaProducer, KafkaConsumer
from kafka.errors import KafkaError

# 生产者配置
producer = KafkaProducer(
    bootstrap_servers='localhost:9092',
    enable_idempotence=True,
    transactional_id='my_transactional_id'
)
producer.init_transactions()

try:
    producer.begin_transaction()
    producer.send('your_topic', b'your_message')
    producer.commit_transaction()
except KafkaError as e:
    producer.abort_transaction()
    print(f"Transaction aborted: {e}")

# 消费者配置
consumer = KafkaConsumer(
    'your_topic',
    bootstrap_servers='localhost:9092',
    isolation_level='read_committed'
)

for message in consumer:
    print(f"Received message: {message.value}")

生产者端避免重复发送

幂等生产者

Kafka 的幂等生产者可以保证在生产者重试时,不会向 Kafka 主题重复写入相同的消息。通过设置 enable.idempotence=true 来开启幂等生产者特性。

python

复制代码
from kafka import KafkaProducer

producer = KafkaProducer(
    bootstrap_servers='localhost:9092',
    enable_idempotence=True
)
事务生产者

事务生产者可以将多个消息的发送操作封装在一个事务中,保证这些消息要么全部成功发送,要么全部失败。如果发送过程中出现错误,可以通过回滚事务来避免部分消息重复发送。

python

复制代码
from kafka import KafkaProducer
from kafka.errors import KafkaError

producer = KafkaProducer(
    bootstrap_servers='localhost:9092',
    enable_idempotence=True,
    transactional_id='my_transactional_id'
)
producer.init_transactions()

try:
    producer.begin_transaction()
    producer.send('your_topic', b'message1')
    producer.send('your_topic', b'message2')
    producer.commit_transaction()
except KafkaError as e:
    producer.abort_transaction()
    print(f"Transaction aborted: {e}")

其他辅助措施

手动提交偏移量

消费者默认是自动提交偏移量的,这可能会导致在消息处理过程中出现异常时,偏移量已经提交,从而造成消息重复消费。可以将 enable.auto.commit 设置为 false,改为手动提交偏移量,只有在消息处理成功后才提交偏移量。

python

复制代码
from kafka import KafkaConsumer

consumer = KafkaConsumer(
    'your_topic',
    bootstrap_servers='localhost:9092',
    enable_auto_commit=False
)

for message in consumer:
    try:
        process_message(message.value)
        consumer.commit()
    except Exception as e:
        print(f"Error processing message: {e}")
合理设置重试机制

在生产者和消费者的重试机制中,要合理设置重试次数和重试间隔,避免因过度重试导致消息重复消费。同时,要对重试失败的情况进行记录和处理,以便后续排查问题

相关推荐
liulilittle4 小时前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
码字的字节4 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
武子康7 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
itLaity12 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_5298353512 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生
smileNicky13 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三13 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby
Java初学者小白13 小时前
秋招Day19 - 分布式 - 分布式事务
java·分布式
程序员小羊!15 小时前
Zookeeper 3.6.3【详细技术讲解】整
分布式·zookeeper·云原生
是2的10次方啊17 小时前
微信公众号阅读量为什么会不一致?一文读懂分布式系统的那些事儿
分布式