SpringBoot+Kafka

文章目录


一、依赖

xml 复制代码
<!-- spring-kafka(与kafka的版本一致) -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.5.1.RELEASE</version>
</dependency>

二、配置文件

yml 复制代码
spring:
  kafka:
    # kafka地址,集群用逗号分隔(localhost:9092,localhost:9093)。缺省:localhost:9092
    bootstrap-servers: localhost:9092
    # 生产者
    #producer:
      # key的序列化方式,缺省:org.apache.kafka.common.serialization.StringSerializer
      #key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # value的序列化方式,缺省:org.apache.kafka.common.serialization.StringSerializer
      #value-serializer: org.apache.kafka.common.serialization.StringSerializer
    # 消费者
    consumer:
      # 消费者组
      group-id: testGroup
      # 自动偏移量
        # earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
        # latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
        # none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常
      auto-offset-reset: latest
      # key的序列化方式,缺省:org.apache.kafka.common.serialization.StringSerializer
      #key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # value的序列化方式,缺省:org.apache.kafka.common.serialization.StringSerializer
      #value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    #listener:
      # SINGLE-单个消费;BATCH-批量消费。缺省SINGLE
      #type: BATCH
      # 消费者监听的主题不存在时,启动项目是否报错。缺省:false
      #missing-topics-fatal: false

三、API

1、生产者

java 复制代码
/**
 * 生产消息
 *
 * @author kimi
 * @date 2023/2/18
 */
@Component
public class ProducerMsg {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;


    /**
     * 生产消息
     *
     * @param msg
     */
    public void send(String topic, String msg) {
        kafkaTemplate.send(topic, msg);
    }

    /**
     * 生产消息+回调
     *
     * @param topic
     * @param msg
     */
    public void sendCallback(String topic, String msg) {
        kafkaTemplate.send(topic, msg).addCallback(new ListenableFutureCallback<SendResult<String, String>>() {

            //成功的回调
            @Override
            public void onSuccess(SendResult<String, String> stringStringSendResult) {
                RecordMetadata recordMetadata = stringStringSendResult.getRecordMetadata();
                //主题
                final String topic = recordMetadata.topic();
                //分区
                final int partition = recordMetadata.partition();
                //偏移量
                final long offset = recordMetadata.offset();
                System.err.println(String.format("生产消息成功:topic: %s,partition: %s,offset: %s", topic, partition, offset));
            }

            //失败的回调
            @Override
            public void onFailure(Throwable throwable) {

            }
        });
    }

}

2、消费者

java 复制代码
/**
 * 消费者
 *
 * @author kimi
 * @date 2023/2/18
 */
@Component
public class ConsumeMsg {

    /**
     * 单个消费
     *
     * @param consumer
     */
    @KafkaListener(topics = {"USER", "LOG"})
    public void consumeSingle(ConsumerRecord<String, String> consumer) {
        System.err.println("监听到kafka消息: " + consumer);
        final String topic = consumer.topic();
        final String value = consumer.value();
    }

    /**
     * 批量消费
     * 需将配置文件中的listener.type设置成BATCH
     *
     * @param consumers
     */
    //@KafkaListener(topics = {"USER", "LOG"})
    public void consumeBatch(List<ConsumerRecord<String, String>> consumers) {
        consumers.forEach(consumer -> {
            final String topic = consumer.topic();
            final String value = consumer.value();

            System.err.println(String.format("topic: %s,value: %s", topic, value));
        });
    }

}
相关推荐
黄雪超42 分钟前
Kafka——关于Kafka动态配置
大数据·分布式·kafka
bing_1581 小时前
如何利用 Redis 的原子操作(INCR, DECR)实现分布式计数器?
数据库·redis·分布式
阿明 -李明2 小时前
银行账户风险防控数字化的应用与实践
大数据·postgresql·flink·kafka
爱思德学术7 小时前
中国计算机学会(CCF)推荐学术会议-A(软件工程/系统软件/程序设计语言):FSE 2026
分布式·软件工程·软件构建
Code季风12 小时前
API 网关与服务发现:实现动态路由与智能请求转发的原理揭秘
分布式·微服务
怒码ing14 小时前
分布式事务----spring操作多个数据库,事务以及事务回滚还有用吗
数据库·分布式·spring
你我约定有三14 小时前
分布式微服务--Nacos作为配置中心(一)
分布式·微服务·架构
小熊h14 小时前
【分布式的个人博客部署】
linux·运维·服务器·分布式
你我约定有三14 小时前
分布式微服务--Nacos作为配置中心(补)关于bosststrap.yml与@RefreshScope
java·分布式·spring cloud·微服务·架构
宸津-代码粉碎机16 小时前
LLM 模型部署难题的技术突破:从轻量化到分布式推理的全栈解决方案
java·大数据·人工智能·分布式·python