Kafka + Spring Boot 实战入门

1. Docker 快速搭建

bash 复制代码
# docker-compose.yml
version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.5.0
    ports:
      - "2181:2181"
  kafka:
    image: confluentinc/cp-kafka:7.5.0
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
bash 复制代码
docker-compose up -d

2. Spring Boot 集成

2.1 添加依赖

xml 复制代码
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2.2 配置

yaml 复制代码
spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: my-group
      auto-offset-reset: earliest

3. 生产者

java 复制代码
@Service
public class KafkaProducerService {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message).addCallback(
            result -> log.info("发送成功"),
            ex -> log.error("发送失败", ex)
        );
    }

    public void sendWithKey(String topic, String key, String message) {
        kafkaTemplate.send(topic, key, message);
    }
}

4. 消费者

java 复制代码
@Service
public class KafkaConsumerService {

    @KafkaListener(topics = "my-topic", groupId = "my-group")
    public void consume(ConsumerRecord<String, String> record) {
        log.info("收到消息: {}", record.value());
    }

    @KafkaListener(topics = "my-topic", groupId = "my-group", concurrency = "3")
    public void consumeMulti(ConsumerRecord<String, String> record) {
        log.info("收到消息: {}", record.value());
    }
}

5. 消息序列化

5.1 JSON 序列化

yaml 复制代码
spring:
  kafka:
    producer:
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
    consumer:
      value-deserializer: org.springframework.kafka.support.serializer.JsonDeserializer
      properties:
        spring.json.trusted.packages: com.example.*
java 复制代码
// 发送对象
kafkaTemplate.send("order-topic", order);

// 消费对象
@KafkaListener(topics = "order-topic")
public void consumeOrder(Order order) {
    log.info("收到订单: {}", order);
}

6. 常见问题

6.1 消息丢失

yaml 复制代码
spring:
  kafka:
    producer:
      acks: all  # 必须等所有副本确认
    consumer:
      enable-auto-commit: false  # 手动提交
java 复制代码
@KafkaListener(topics = "my-topic")
public void consume(ConsumerRecord<String, String> record, Acknowledgment ack) {
    try {
        processMessage(record.value());
        ack.acknowledge();  // 手动提交
    } catch (Exception e) {
        log.error("处理失败", e);
    }
}

6.2 消息重复

业务层面实现幂等:

java 复制代码
@KafkaListener(topics = "order-topic")
public void consume(ConsumerRecord<String, String> record) {
    String id = record.key();
    if (redis.setIfAbsent(id, "1")) {
        processMessage(record.value());
    }
}

6.3 消息顺序

相同 key 发送到相同分区:

java 复制代码
kafkaTemplate.send("order-topic", orderId, message);

7. 总结

  • Docker 一键搭建 Kafka 环境
  • 生产者 通过 KafkaTemplate 发送消息
  • 消费者 通过 @KafkaListener 监听消息
  • 序列化 支持 String 和 JSON
  • 可靠投递 生产者 acks=all + 消费者手动提交
相关推荐
大胖爱学习_MJ1 分钟前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
吃我一窝jio14 分钟前
Java博客极简写作三支柱
java
知识搬运临时工18 分钟前
双路服务器跑得比单路慢:JVM 没看见内存的距离
java·后端
吃我一窝jio1 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
Flynn Liang1 小时前
Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践
java·redis·性能优化·jackson·序列化·protobuf
Yeats_Liao2 小时前
物联网平台优化系列(三):全局懒加载吞掉 MQTT 初始化
java·物联网·struts
千寻技术帮2 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
好用斋2 小时前
拾光坞G2使用新版Docker懒人包:一键安装、一键升级、一键卸载
java·docker·容器
码云社区2 小时前
Spring Boot陪诊陪护系统源码:医院目录、服务项目与城市业务配置
java·spring boot·后端·陪诊陪护·医院陪诊·医院陪护·陪护小程序
码云社区2 小时前
Spring Boot云快充协议源码:充电桩远程重启、参数配置与升级运维方案
运维·spring boot·后端·充电桩·充电系统·充电软件