Spring Boot 集成 Apache Kafka 实战指南

Apache Kafka 是一个分布式流处理平台,广泛用于构建实时数据管道、日志聚合系统和事件溯源架构。Spring Boot 提供了对 Kafka 的良好集成支持,使得开发者可以非常便捷地在项目中使用 Kafka。

本文将手把手教你如何在 Spring Boot 项目中集成 Kafka,包括生产者(Producer)和消费者(Consumer)的实现,并提供完整的代码示例。


开发环境准备

  • Java 17+
  • Maven 或 Gradle
  • Spring Boot 3.x
  • Apache Kafka 3.0+(本地或远程)
  • IDE(如 IntelliJ IDEA、VS Code)

创建 Spring Boot 项目

你可以通过 Spring Initializr 创建一个新的 Spring Boot 项目,选择以下依赖:

  • Spring Web
  • Spring for Apache Kafka

或者手动添加 pom.xml 中的依赖:

xml 复制代码
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

Spring Boot 会自动管理版本兼容性,无需手动指定版本号。


配置 Kafka 连接信息

application.ymlapplication.properties 文件中配置 Kafka 相关参数:

application.yml 示例:

yaml 复制代码
spring:
  kafka:
    bootstrap-servers: localhost:9092
    consumer:
      group-id: my-group
      auto-offset-reset: earliest
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

编写 Kafka 生产者(Producer)

创建一个服务类用于发送消息到 Kafka 主题。

KafkaProducer.java

java 复制代码
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Service;

@Service
public class KafkaProducer {

    private final KafkaTemplate<String, String> kafkaTemplate;

    public KafkaProducer(KafkaTemplate<String, String> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message);
        System.out.println("Sent message: " + message);
    }
}

编写 Kafka 消费者(Consumer)

使用 @KafkaListener 注解监听特定主题的消息。

KafkaConsumer.java

java 复制代码
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;

@Service
public class KafkaConsumer {

    @KafkaListener(topics = "test-topic", groupId = "my-group")
    public void listen(ConsumerRecord<String, String> record) {
        System.out.printf("Received message: topic - %s, partition - %d, offset - %d, key - %s, value - %s%n",
                record.topic(), record.partition(), record.offset(), record.key(), record.value());
    }
}

添加 REST 接口用于测试发送消息

为了方便测试,我们可以创建一个简单的 REST 控制器来触发消息发送。

KafkaController.java

java 复制代码
import org.springframework.web.bind.annotation.*;
import org.springframework.beans.factory.annotation.Autowired;

@RestController
@RequestMapping("/kafka")
public class KafkaController {

    @Autowired
    private KafkaProducer kafkaProducer;

    @PostMapping("/send")
    public String sendMessage(@RequestParam String msg) {
        kafkaProducer.sendMessage("test-topic", msg);
        return "Message sent: " + msg;
    }
}

启动 Kafka 环境(可选)

如果你还没有运行 Kafka,可以按照以下步骤快速启动:

启动 Zookeeper(Kafka 依赖)

bash 复制代码
bin/zookeeper-server-start.sh config/zookeeper.properties

启动 Kafka 服务

bash 复制代码
bin/kafka-server-start.sh config/server.properties

创建测试 Topic

bash 复制代码
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

测试接口

启动 Spring Boot 应用后,访问如下接口发送消息:

复制代码
POST http://localhost:8080/kafka/send?msg=HelloKafka

观察控制台输出,确认是否收到类似以下内容:

复制代码
Received message: topic - test-topic, partition - 0, offset - 5, key - null, value - HelloKafka

扩展功能建议

  • 使用 JSON 格式传输对象(自定义序列化/反序列化)
  • 多消费者组配置与负载均衡
  • 异常处理与重试机制(@DltHandler, SeekToCurrentErrorHandler
  • Kafka Streams 实现实时流处理逻辑
  • 配置 SSL、SASL 安全认证
  • 结合 Spring Cloud Stream 构建云原生事件驱动架构

参考文档


小结

通过本篇文章,你已经掌握了在 Spring Boot 中集成 Kafka 的完整流程,包括配置、生产者、消费者以及 REST 接口调用测试。Kafka 在现代微服务架构中扮演着重要角色,掌握其集成方式将极大提升你的开发能力。

注意:确保 Kafka 服务已启动且网络可达,否则连接会失败。生产环境中请使用更完善的配置和异常处理机制。

相关推荐
come112343 分钟前
深入Spring Boot的核心——配置管理(指南四)
java·spring boot·后端
come1123427 分钟前
深入分析JAR和WAR包的区别 (指南七)
android·spring boot·后端
武昌库里写JAVA41 分钟前
Java 设计模式在 Spring 框架中的实践:工厂模式与单例模式
java·vue.js·spring boot·sql·学习
千里码aicood1 小时前
springboot+vue心理健康服务小程序(源码+文档+调试+基础修改+答疑)
数据库·vue.js·spring boot
李慕婉学姐1 小时前
【开题答辩过程】以《基于SpringBoot+Vue的扶贫助农平台的设计与实现》为例,不会开题答辩的可以进来看看
vue.js·spring boot·后端
麦兜*1 小时前
Redis高可用架构设计:主从复制、哨兵、Cluster集群模式深度对比
java·数据库·spring boot·redis·spring·spring cloud·缓存
kangaroo.1 小时前
基于EasyExcel、FastExcel封装spring boot starter
spring boot·easyexcel·fastexcel
义薄云天us1 小时前
Apache NuttX 入门指南
apache·rtos·nuttx
come112342 小时前
深入Spring Boot生态中最核心部分 数据库交互spring-boot-starter-data-jpa和Hibernate (指南五)
数据库·spring boot·hibernate
咖啡Beans2 小时前
SpringBoot+Ehcache使用示例
java·spring boot