Kafka + Spring Boot 终极整合指南

Kafka + Spring Boot 终极整合指南

基于 Spring Boot 3.2 + Kafka 3.7 的 生产级 实践 含 Docker 快速启动、自动配置源码、高级特性、压测调优 全流程


目录

  1. 导语
  2. 环境准备
  3. Docker 一键启动 Kafka
  4. Spring Boot 项目搭建
  5. 自动配置源码走读
  6. 生产者(Producer)高级特性
  7. 消费者(Consumer)高级特性
  8. 事务与幂等性
  9. Kafka Streams 微服务
  10. 压测与调优
  11. 常见问题 FAQ
  12. 总结

导语

"Spring Boot + Kafka" = 高吞吐、低延迟、水平扩展 的 事件驱动 架构基石。 本文从 Docker 启动 到 生产调优 一条龙的 可复制 方案。


环境准备

组件 版本
JDK 17+
Spring Boot 3.2.x
Kafka 3.7.x
Maven 3.9+
Docker 24+

Docker 一键启动 Kafka

bash 复制代码
# 1. 启动 ZooKeeper(Kafka 3.7 仍支持 ZK 模式)
docker run -d --name zookeeper -p 2181:2181 zookeeper:3.8

# 2. 启动 Kafka
docker run -d --name kafka \
  -p 9092:9092 \
  -e KAFKA_BROKER_ID=1 \
  -e KAFKA_ZOOKEEPER_CONNECT=host.docker.internal:2181 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://host.docker.internal:9092 \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
  confluentinc/cp-kafka:7.6.0

验证:docker exec kafka kafka-topics.sh --list --bootstrap-server localhost:9092


Spring Boot 项目搭建

1. 引入依赖

xml 复制代码
<dependencies>
    <!-- Web 测试用 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!-- Kafka -->
    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
    </dependency>
    <!-- JSON 序列化 -->
    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.apache.kafka</groupId>
                <artifactId>kafka-clients</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>3.7.0</version>
    </dependency>
</dependencies>

2. 配置(application.yml)

yaml 复制代码
spring:
  kafka:
    bootstrap-servers: host.docker.internal:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
      acks: all
      retries: 3
      batch-size: 16384
      linger-ms: 5
    consumer:
      group-id: order-group
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.springframework.kafka.support.serializer.JsonDeserializer
      properties:
        spring.json.trusted.packages: "*"

自动配置源码走读

1. 入口:KafkaAutoConfiguration

java 复制代码
@AutoConfiguration
@ConditionalOnClass(KafkaTemplate.class)
@EnableConfigurationProperties(KafkaProperties.class)
public class KafkaAutoConfiguration {

    @Bean
    @ConditionalOnMissingBean
    public ProducerFactory<?, ?> producerFactory(KafkaProperties properties) {
        return new DefaultKafkaProducerFactory<>(properties.buildProducerProperties());
    }

    @Bean
    @ConditionalOnMissingBean
    public KafkaTemplate<?, ?> kafkaTemplate(ProducerFactory<?, ?> producerFactory) {
        return new KafkaTemplate<>(producerFactory);
    }
}

2. 消费者工厂

java 复制代码
@Bean
@ConditionalOnMissingBean(ConsumerFactory.class)
public ConsumerFactory<?, ?> consumerFactory(KafkaProperties properties) {
    return new DefaultKafkaConsumerFactory<>(properties.buildConsumerProperties());
}

默认 单例 、配置绑定 、条件注入 三板斧。


生产者(Producer)高级特性

1. 异步发送 + 回调

java 复制代码
@RestController
@RequestMapping("/send")
public class ProducerController {

    @Autowired
    private KafkaTemplate<String, Object> template;

    @GetMapping("/{msg}")
    public CompletableFuture<String> send(@PathVariable String msg) {
        return template.send("demo-topic", msg)
                       .thenApply(result -> "Sent: " + result.getRecordMetadata().offset());
    }
}

2. 事务消息

java 复制代码
@Transactional
public void sendInTransaction(List<Order> orders) {
    orders.forEach(o -> template.send("order-topic", o));
}

需开启事务:spring.kafka.producer.transaction-id-prefix=tx-


消费者(Consumer)高级特性

1. 并发消费

java 复制代码
@KafkaListener(topics = "demo-topic", groupId = "demo-group", concurrency = "6")
public void listen(String data, Acknowledgment ack) {
    process(data);
    ack.acknowledge(); // 手动提交
}

2. 批量消费

java 复制代码
@KafkaListener(topics = "batch-topic")
public void batchListen(List<ConsumerRecord<String, Object>> records) {
    records.forEach(r -> process(r.value()));
}

配置:spring.kafka.listener.type=batch


事务与幂等性

1. 幂等 Producer

properties 复制代码
spring.kafka.producer.acks=all
spring.kafka.producer.retries=3
spring.kafka.producer.enable-idempotence=true

2. 事务样例

java 复制代码
@Transactional
public void createOrder(Order order) {
    template.executeInTransaction(t -> {
        t.send("order-topic", order);
        t.send("stock-topic", order);
        return null;
    });
}

Kafka Streams 微服务

1. 引入依赖

xml 复制代码
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams</artifactId>
</dependency>

2. 拓扑定义

java 复制代码
@Bean
public KStream<String, Order> stream(StreamsBuilder builder) {
    KStream<String, Order> source = builder.stream("order-topic");
    source.filter((k, v) -> v.getAmount() > 100)
          .to("big-order-topic");
    return source;
}

压测与调优

1. 压测命令

bash 复制代码
kafka-producer-perf-test.sh \
  --topic demo-topic --num-records 1000000 --record-size 1024 \
  --throughput -1 --producer-props bootstrap.servers=localhost:9092

2. 调优清单

参数 建议值 说明
batch.size 32 KB 提高吞吐
linger.ms 5-20 ms 延迟换吞吐
compression.type lz4 压缩比 + CPU 平衡
fetch.min.bytes 1 KB 减少空拉取

常见问题 FAQ

问题 解决
消息丢失 acks=all + 手动提交
重复消费 幂等 Producer + 事务
消费延迟 增加分区 + 提高并发

总结

Spring Boot + Kafka = 事件驱动 的 高吞吐 架构 从 Docker 启动 到 生产调优 ,本文提供 全流程可复制 方案。 掌握 自动配置、事务、Streams、压测 四板斧,即可轻松构建 万级 TPS 的 实时系统!

相关推荐
Csvn34 分钟前
Nginx 缓存体系:三层 key、七态 X-Cache-Status 与锁/stale 策略
后端·nginx
时间海8712 小时前
前端表单如何防止重复提交
后端
稀土蚯蚓2 小时前
OLAP 分析引擎:StarRocks、Doris、ES、ClickHouse,存算分离、列式存储 Parquet
后端
旋律4142 小时前
序列化与反序列化
后端
TSuperman4 小时前
一次由高危漏洞引发的 Nginx 1.30.7 跨发行版安全升级实战
后端
静水深码4 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范
码云社区5 小时前
Spring Boot智慧物业系统源码:合同到期提醒、续签资料与资产协作
java·spring boot·后端·物业管理·物业系统·智慧物业
旋律4146 小时前
数据倾斜
后端
泡海椒6 小时前
jquick-pdf 热力图实战:Object 数组三元素的数据契约与模板还原
后端
行百里er6 小时前
【Spring Insight 技术分享】如何给 AI 接口调用做滑动窗口限流
spring boot·后端·spring cloud