java Kafka批量消费和单个消费消息

1、批量消费消息

1.1 配置参数

fetch.min.bytes:拉取的最小字节数

fetch.max.bytes:拉取的最大字节数

max.partition.fetch.bytes:分区拉取的最大字节数

fetch.max.wait.ms:拉取操作的最大等待时间

max.poll.records:拉取操作最大获取的记录数量

以上参数决定了一次消费能消费多少条消息。

java 复制代码
    @Bean
    public KafkaListenerContainerFactory<?> kafkaBatchConsumerFactory() {
        return batchFactory(consumerConfig(KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_BATCH_GROUP, KafkaConsumerResetOffsetEnum.EARLIEST.getType()));
    }

1.2 消费代码

java 复制代码
    @KafkaListener(groupId = KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_BATCH_GROUP,
            topics = KafkaTopicConstant.KAFKA_TOPIC,
            containerFactory = "kafkaBatchConsumerFactory")
    public void batchConsume(List<ConsumerRecord<String, String>> records, Acknowledgment ack) {
        String topicName = KafkaTopicConstant.KAFKA_TOPIC;
        try {
            List<String> valueList = records.stream()
                    .map(ConsumerRecord::value).collect(Collectors.toList());
            for (String value : valueList) {
                log.info("批量消费topic:{}, value:{}", topicName, value);
            }
            ack.acknowledge();
        } catch (Exception e) {
            log.error("kafka消费{}:", topicName, e);
        }
    }

1.3 消费结果

2、单个消费消息

2.1 配置参数

java 复制代码
    @Bean
    public KafkaListenerContainerFactory<?> kafkaSingleConsumerFactory() {
        ConcurrentKafkaListenerContainerFactory<Integer, String> resultFactory = batchFactory(consumerConfig(KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_SINGLE_GROUP, KafkaConsumerResetOffsetEnum.EARLIEST.getType()));
        resultFactory.setBatchListener(false);
        return resultFactory;
    }

2.2 消费代码

java 复制代码
    @KafkaListener(groupId = KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_SINGLE_GROUP,
            topics = KafkaTopicConstant.KAFKA_TOPIC,
            containerFactory = "kafkaSingleConsumerFactory")
    public void singleConsume(ConsumerRecord<String, String> records, Acknowledgment ack) {
        String topicName = KafkaTopicConstant.KAFKA_TOPIC;
        try {
            log.info("单个消费 topic:{}, value:{}", topicName, records.value());
            ack.acknowledge();
        } catch (Exception e) {
            log.error("kafka消费{}:", topicName, e);
        }
    }

2.3 消费结果

注:

部分代码未能在博客内体现,请点击以下链接跳转至Gitee的xudongbase项目的kafka分支。

xudongbase: 主要是项目中可以用到的共通方法,现有easyexcel分支在持续更新中。欢迎大家Star和提交Issues。easyexcel分支:批量设置样式,批量添加批注,批量合并单元格,设置冻结行和列,设置行高列宽,隐藏行和列,绑定下拉框数据,设置水印,插入图片 - Gitee.comhttps://gitee.com/xudong_master/xudongbase/tree/kafka/

相关推荐
写bug写bug7 小时前
分布式锁的使用场景和常见实现(下)
分布式·后端·面试
喂完待续19 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
yh云想1 天前
《从入门到精通:Kafka核心原理全解析》
分布式·kafka
武子康1 天前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
ModelWhale1 天前
“大模型”技术专栏 | 浅谈基于 Kubernetes 的 LLM 分布式推理框架架构:概览
分布式·kubernetes·大模型
愿天堂没有C++1 天前
C++——分布式
分布式
UPToZ1 天前
【Docker】搭建一个高性能的分布式对象存储服务 - MinIO
分布式·docker·容器
前端世界2 天前
鸿蒙任务调度机制深度解析:优先级、时间片、多核与分布式的流畅秘密
分布式·华为·harmonyos
A尘埃2 天前
金融项目高可用分布式TCC-Transaction(开源框架)
分布式·金融·开源