JAVA(SpringBoot)集成Kafka实现消息发送和接收。

SpringBoot集成Kafka实现消息发送和接收。

君子之学贵一,一则明,明则有功

一、Kafka 简介

Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,最初由 LinkedIn 公司开发,并于 2011 年开源。它是一种高吞吐量的分布式发布 - 订阅消息系统,以可持久化、高吞吐、低延迟、高容错等特性而著称。

Kafka 主要由生产者(Producer)、消费者(Consumer)、主题(Topic)、分区(Partition)和代理(Broker)等组件构成。生产者负责将数据发送到 Kafka 集群,消费者从集群中读取数据。主题是一种逻辑上的分类,数据被发送到特定的主题。每个主题又可以划分为多个分区,以实现数据的并行处理和提高系统的可扩展性。代理则是 Kafka 集群中的服务器节点,负责接收和存储生产者发送的数据,并为消费者提供数据读取服务。

二、Kafka 功能

消息队列功能:Kafka 可以作为消息队列使用,在应用程序之间传递消息。生产者将消息发送到主题,不同的消费者可以从主题中订阅并消费消息,实现应用程序解耦。例如,在电商系统中,订单生成模块可以将订单消息发送到 Kafka 主题,后续的库存管理、物流配送等模块可以从该主题消费订单消息,各自独立处理,降低模块间的耦合度。

数据存储功能:Kafka 具有持久化存储能力,它将消息数据存储在磁盘上,并且通过多副本机制保证数据的可靠性。即使某个节点出现故障,数据也不会丢失。这种特性使得 Kafka 不仅可以作为消息队列,还能用于数据的长期存储和备份,例如用于存储系统的操作日志,方便后续的数据分析和故障排查。

流处理功能:Kafka 可以与流处理框架(如 Apache Flink、Spark Streaming 等)集成,对实时数据流进行处理。通过将实时数据发送到 Kafka 主题,流处理框架可以从主题中读取数据并进行实时计算、分析和转换。例如,在实时监控系统中,通过 Kafka 收集服务器的性能指标数据,然后使用流处理框架对这些数据进行实时分析,及时发现性能异常并发出警报。

三、POM依赖

复制代码
    <!-- kafka-->
    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
        <version>2.8.11</version>
    </dependency>

四、配置文件

java 复制代码
spring:
  # Kafka 配置
  kafka:
    # Kafka 服务器地址和端口 代理地址,可以多个
    bootstrap-servers: IP:9092
    # 生产者配置
    producer:
      # 发送失败时的重试次数
      retries: 3
      # 每次批量发送消息的数量,调整为较小值
      batch-size: 1
      # 生产者缓冲区大小
      buffer-memory: 33554432
      # 消息 key 的序列化器,将 key 序列化为字节数组
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 消息 value 的序列化器,将消息体序列化为字节数组
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    # 消费者配置
    consumer:
      # 当没有初始偏移量或当前偏移量不存在时,从最早的消息开始消费
      auto-offset-reset: earliest
      # 是否自动提交偏移量
      enable-auto-commit: true
      # 自动提交偏移量的时间间隔(毫秒),延长自动提交时间间隔
      auto-commit-interval: 1000
      # 消息 key 的反序列化器,将字节数组反序列化为 key
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 消息 value 的反序列化器,将字节数组反序列化为消息体
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

五、生产者

java 复制代码
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Component;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;

/**
 * 生产者
 *
 * @author chenlei
 */
@Slf4j
@Component
public class KafkaProducer {

    /**
     * KafkaTemplate
     */
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * 发送消息到指定的 Kafka 主题,并可指定分组信息
     *
     * @param topic   消息要发送到的 Kafka 主题
     * @param message 要发送的消息内容
     */
    public void sendMessage(String topic, String message) {
        // 使用 KafkaTemplate 发送消息,将消息发送到指定的主题
        ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send(topic, message);
        future.addCallback(new ListenableFutureCallback<SendResult<String, String>>() {
            @Override
            public void onSuccess(SendResult<String, String> result) {
                // 消息发送成功后的处理逻辑,可根据需要添加
                log.info("已发送消息=[" + message + "],其偏移量=[" + result.getRecordMetadata().offset() + "]");
            }

            @Override
            public void onFailure(Throwable ex) {
                // 消息发送失败后的处理逻辑,使用日志记录异常
                log.error("发送消息=[" + message + "] 失败", ex);
            }
        });
    }
}

六、消费者

java 复制代码
import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

/**
 * @author 消费者
 * chenlei
 */
@Slf4j
@Component
public class KafkaConsumer {

    /**
     * 监听 Kafka 主题方法。
     *
     * @param record 从 Kafka 接收到的 ConsumerRecord,包含消息的键值对
     */
    @KafkaListener(topics = {"topic"}, groupId = "consumer.group-id", concurrency = "5")
    public void listen(ConsumerRecord<?, ?> record) {
        // 打印接收到的消息的详细信息
        log.info("接收到 Kafka 消息: 主题 = {}, 分区 = {}, 偏移量 = {}, 键 = {}, 值 = {}",
                record.topic(), record.partition(), record.offset(), record.key(), record.value());
    }
}
相关推荐
prince052 小时前
Kafka 生产者和消费者高级用法
分布式·kafka·linq
六毛的毛2 小时前
Springboot开发常见注解一览
java·spring boot·后端
AntBlack2 小时前
拖了五个月 ,不当韭菜体验版算是正式发布了
前端·后端·python
31535669132 小时前
一个简单的脚本,让pdf开启夜间模式
前端·后端
uzong3 小时前
curl案例讲解
后端
菜萝卜子3 小时前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka
开开心心就好3 小时前
免费PDF处理软件,支持多种操作
运维·服务器·前端·spring boot·智能手机·pdf·电脑
一只叫煤球的猫3 小时前
真实事故复盘:Redis分布式锁居然失效了?公司十年老程序员踩的坑
java·redis·后端
猴哥源码3 小时前
基于Java+SpringBoot的农事管理系统
java·spring boot
csdn_aspnet4 小时前
在 Windows 上安装和运行 Apache Kafka
windows·kafka