java Kafka批量消费和单个消费消息

1、批量消费消息

1.1 配置参数

fetch.min.bytes:拉取的最小字节数

fetch.max.bytes:拉取的最大字节数

max.partition.fetch.bytes:分区拉取的最大字节数

fetch.max.wait.ms:拉取操作的最大等待时间

max.poll.records:拉取操作最大获取的记录数量

以上参数决定了一次消费能消费多少条消息。

java 复制代码
    @Bean
    public KafkaListenerContainerFactory<?> kafkaBatchConsumerFactory() {
        return batchFactory(consumerConfig(KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_BATCH_GROUP, KafkaConsumerResetOffsetEnum.EARLIEST.getType()));
    }

1.2 消费代码

java 复制代码
    @KafkaListener(groupId = KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_BATCH_GROUP,
            topics = KafkaTopicConstant.KAFKA_TOPIC,
            containerFactory = "kafkaBatchConsumerFactory")
    public void batchConsume(List<ConsumerRecord<String, String>> records, Acknowledgment ack) {
        String topicName = KafkaTopicConstant.KAFKA_TOPIC;
        try {
            List<String> valueList = records.stream()
                    .map(ConsumerRecord::value).collect(Collectors.toList());
            for (String value : valueList) {
                log.info("批量消费topic:{}, value:{}", topicName, value);
            }
            ack.acknowledge();
        } catch (Exception e) {
            log.error("kafka消费{}:", topicName, e);
        }
    }

1.3 消费结果

2、单个消费消息

2.1 配置参数

java 复制代码
    @Bean
    public KafkaListenerContainerFactory<?> kafkaSingleConsumerFactory() {
        ConcurrentKafkaListenerContainerFactory<Integer, String> resultFactory = batchFactory(consumerConfig(KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_SINGLE_GROUP, KafkaConsumerResetOffsetEnum.EARLIEST.getType()));
        resultFactory.setBatchListener(false);
        return resultFactory;
    }

2.2 消费代码

java 复制代码
    @KafkaListener(groupId = KafkaConsumerGroupIdConstant.KAFKA_CONSUMER_SINGLE_GROUP,
            topics = KafkaTopicConstant.KAFKA_TOPIC,
            containerFactory = "kafkaSingleConsumerFactory")
    public void singleConsume(ConsumerRecord<String, String> records, Acknowledgment ack) {
        String topicName = KafkaTopicConstant.KAFKA_TOPIC;
        try {
            log.info("单个消费 topic:{}, value:{}", topicName, records.value());
            ack.acknowledge();
        } catch (Exception e) {
            log.error("kafka消费{}:", topicName, e);
        }
    }

2.3 消费结果

注:

部分代码未能在博客内体现,请点击以下链接跳转至Gitee的xudongbase项目的kafka分支。

xudongbase: 主要是项目中可以用到的共通方法,现有easyexcel分支在持续更新中。欢迎大家Star和提交Issues。easyexcel分支:批量设置样式,批量添加批注,批量合并单元格,设置冻结行和列,设置行高列宽,隐藏行和列,绑定下拉框数据,设置水印,插入图片 - Gitee.comhttps://gitee.com/xudong_master/xudongbase/tree/kafka/

相关推荐
没有bug.的程序员15 分钟前
服务治理与 API 网关:微服务流量管理的艺术
java·分布式·微服务·架构·wpf
心态特好22 分钟前
解锁分布式唯一 ID:技术、实践与最佳方案
分布式·生活
shinelord明3 小时前
【大数据技术实战】Kafka 认证机制全解析
大数据·数据结构·分布式·架构·kafka
BUTCHER56 小时前
Kafka多网卡环境配置
分布式·kafka
鸿蒙小白龙7 小时前
openharmony之分布式蓝牙实现多功能场景设备协同实战
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony
鸿蒙小白龙8 小时前
openharmony之分布式购物车开发实战
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony
小蜗牛编程实录8 小时前
一文搞懂分布式事务:从理论到实践方案
分布式·后端
鸿蒙小白龙8 小时前
openharmony之分布式相机开发:预览\拍照\编辑\同步\删除\分享教程
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony
没有bug.的程序员8 小时前
电商系统分布式架构实战:从单体到微服务的演进之路
java·分布式·微服务·云原生·架构·监控体系·指标采集
居7然10 小时前
DeepSeek-7B-chat 4bits量化 QLora 微调
人工智能·分布式·架构·大模型·transformer