Kafka 生产者和消费者高级用法

Kafka 生产者和消费者高级用法

1 生产者的事务支持

Kafka 从版本0.11开始引入了事务支持,使得生产者可以实现原子操作,确保消息的可靠性。

java 复制代码
// 示例代码:使用 Kafka 事务
producer.initTransactions();
try {
   
   
    producer.beginTransaction();
    producer.send(new ProducerRecord<>("my-topic", "key", "value"));
    producer.send(new ProducerRecord<>("my-other-topic", "key", "value"));
    producer.commitTransaction();
} catch (ProducerFencedException | OutOfOrderSequenceException | AuthorizationException e) {
   
   
    producer.close();
} catch (KafkaException e) {
   
   
    producer.close();
    throw e;
}

2 消费者的多线程处理

在高吞吐量的场景下,多线程消费消息是提高效率的重要手段。消费者可以通过多线程同时处理多个分区的消息。

java 复制代码
// 示例代码:多线程消费者
properties.put("max.poll.records", 500);
properties.put("max.poll.interval.ms", 300000);

Consumer<String, String> consumer = new KafkaConsumer<>(properties);

// 订阅主题 "my-topic"
consumer.subscribe(Collections.singletonList("my-topic"));

// 多线程消费消息
int numberOfThreads = 5;
ExecutorService executor = Executors.newFixedThreadPool(numberOfThreads);
while (true) {
   
   
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
   
   
        executor.submit(() -> processRecord(record));
    }
}

// 关闭消费者
consumer.close();
executor.shutdown();

3 自定义序列化和反序列化

Kafka 默认提供了一些基本的序列化和反序列化器,但你也可以根据需求自定义实现。这在处理复杂数据结构时非常有用。

java 复制代码
// 示例代码:自定义序列化器
public class CustomSerializer implements Serializer<MyObject> {
   
   
    @Override
    public byte[] serialize(String topic, MyObject data) {
   
   
        // 实现自定义序列化逻辑
    }
}
相关推荐
milanyangbo7 小时前
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
分布式·后端·云原生·架构
失散137 小时前
分布式专题——1.1 Redis单机、主从、哨兵、集群部署
java·数据库·redis·分布式·架构
你我约定有三9 小时前
软件启动时加配置文件 vs 不加配置文件
java·分布式·zookeeper
励志成为糕手12 小时前
ZooKeeper架构深度解析:分布式协调服务的核心设计与实现
大数据·分布式·zookeeper·架构·一致性
瑞瑞绮绮13 小时前
分布式事务的Java实践
java·分布式·springcloud
孤独的复仇者13 小时前
RabbitMQ高级:延迟消息
分布式·rabbitmq
AMiner:AI科研助手16 小时前
警惕!你和ChatGPT的对话,可能正在制造分布式妄想
人工智能·分布式·算法·chatgpt·deepseek
码luffyliu19 小时前
消息队列 :Kafka 核心要点总结
分布式·kafka·消息队列·mq
运维老司机1 天前
Kafka 开启 SASL_PLAINTEXT 双监听器认证(内网/外网)
分布式·kafka·linq
冰芒芒1 天前
Kafka如何保证高可用
kafka