Spring Boot 集成 Kafka 及实战技巧总结

一、Spring Boot 集成 Kafka

添加依赖

xml 复制代码

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

配置 Kafka

在 application.yml 中配置生产者和消费者参数：

yaml 复制代码

spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      acks: all  # 确保消息可靠投递
      retries: 3  # 重试次数
    consumer:
      group-id: my-group
      auto-offset-reset: earliest
      enable-auto-commit: false  # 手动提交偏移量
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

生产者示例

java 复制代码

@Service
public class KafkaProducer {
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }
}

消费者示例

java 复制代码

@Service
public class KafkaConsumer {
    @KafkaListener(topics = "my-topic", groupId = "my-group")
    public void listen(String message) {
        // 处理消息逻辑
    }
}

二、实战技巧

消息顺序性保证
- 对需要顺序处理的消息设置相同的 key，确保同一 key 的消息发送到同一分区。
- 消费者端设置 max.poll.records=1（单次拉取1条消息）或使用单线程消费。

消息重试与死信队列（DLQ）

java 复制代码

@RetryableTopic(
    attempts = "3",  // 重试3次
    backoff = @Backoff(delay = 1000, multiplier = 2),
    topicSuffixingStrategy = TopicSuffixingStrategy.SUFFIX_WITH_INDEX_VALUE
)
@KafkaListener(topics = "my-topic")
public void consume(String message) {
    // 业务逻辑
}

重试失败后，消息会自动发送到 my-topic-retry-0、my-topic-retry-1 等死信队列。

批量消费

yaml 复制代码

spring:
  kafka:
    consumer:
      max-poll-records: 500  # 单次拉取最大消息数
      fetch-min-size: 5242880  # 最小拉取数据量（5MB）

java 复制代码

@KafkaListener(topics = "my-topic", groupId = "my-group")
public void listen(List<String> messages) {
    // 批量处理消息
}

事务消息

java 复制代码

@Transactional
public void sendTransactionalMessage(String topic, String message) {
    kafkaTemplate.send(topic, message);
    // 其他数据库操作（如JPA）
}

确保 Kafka 事务与数据库事务一致性。

三、性能调优

生产者调优
- 批处理 ：增大 batch.size（如16KB）和 linger.ms（如20ms），提升吞吐量。
- 压缩：设置 compression.type=snappy 或 gzip，减少网络传输开销。
- 异步发送 ：使用 kafkaTemplate.send() 的非阻塞方式，配合回调处理结果。
消费者调优
- 并发消费 ：设置 concurrency=3（每个消费者实例启动3个线程）。
- 调整拉取参数 ：
  yaml 复制代码
```
spring:
  kafka:
    consumer:
      fetch-max-wait-ms: 500  # 拉取等待时间
      fetch-min-bytes: 1024    # 最小拉取数据量
```
- 心跳超时 ：调整 session.timeout.ms 和 heartbeat.interval.ms，避免不必要的重平衡。
分区与消费者数量
- 分区数 >= 消费者数量，避免空闲消费者。
- 单个分区的消费速率应匹配生产速率，防止消息积压。
JVM 与操作系统优化
- 调整 Kafka JVM 堆内存（如 -Xmx4G -Xms4G）。
- 优化 Linux 文件描述符限制和网络缓冲区。

四、监控与运维

监控指标
- 生产者：消息发送速率、失败重试次数。
- 消费者：消费延迟（lag）、提交偏移量频率。
- Broker：分区数、ISR（In-Sync Replicas）状态。

集成 Prometheus

xml 复制代码

<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-prometheus</artifactId>
</dependency>

暴露 Kafka 客户端指标到 Prometheus。

动态扩缩容
- 根据负载动态调整消费者数量（如 Kubernetes HPA）。
- 使用 kafka-topics.sh 动态增加分区。

五、常见问题

消息重复消费
- 原因：消费者提交偏移量失败后重试。
- 解决：业务逻辑幂等处理（如数据库唯一键）。
消息积压
- 临时方案：增加消费者实例或分区数。
- 长期方案：优化消费者处理逻辑（如异步处理、批量消费）。
消费者无法启动
- 检查 group-id 是否冲突，或删除旧的消费者组偏移量。

六、总结

核心配置 ：合理设置 acks、retries、batch.size、max.poll.records。
最佳实践：幂等消费、异步处理、监控告警。
性能关键：分区数、批量处理、压缩和网络优化。

通过以上配置和技巧，可以显著提升 Kafka 在 Spring Boot 中的性能和可靠性。