Kafka07-集成-尚硅谷

4-Kafka 集成

### 文章目录

  • [4-Kafka 集成](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)
  • [@toc](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)
  • [4.2 Java 应用场景](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)
  • [4.2.1 Spring Boot 集成](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)
  • [4.2.1.1 创建 Spring Boot 项目](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)
  • [4.2.1.2 编写功能代码](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)
  • [4.2.1.3 集成测试步骤](#文章目录 4-Kafka 集成 @[toc] 4.2 Java 应用场景 4.2.1 Spring Boot 集成 4.2.1.1 创建 Spring Boot 项目 4.2.1.2 编写功能代码 4.2.1.3 集成测试步骤)

4.2 Java 应用场景

4.2.1 Spring Boot 集成
4.2.1.1 创建 Spring Boot 项目
  1. 使用 Spring Initializr 或 IDE 新建 Maven 项目,parent 指向 spring-boot-starter-parent 3.0.5,JDK 17。
  2. pom.xml 核心依赖:
    • spring-boot-starter-web(排除 logging)
    • spring-kafka
    • kafka-clients 3.6.1
    • 工具:lombokfastjson、hutool-json、hutool-db
  3. resources/application.yml 关键配置:
    • bootstrap-servers: localhost:9092
    • Producer:acks=all、retries=0、batch-size=16384、buffer-memory=33554432
    • Consumer:group-id=test、auto-offset-reset=earliest、enable-auto-commit=true、max-poll-records=2
    • Listener:type=batch、concurrency=2、missing-topics-fatal=true
    • Server:port=9999
4.2.1.2 编写功能代码
  1. 配置常量类 SpringBootKafkaConfig:定义 TOPIC_TEST = "test"GROUP_ID = "test"
  2. 生产者控制器 KafkaProducerController
    • POST /kafka/produce
    • 接收任意 JSON → JSONUtil.toJsonStrkafkaTemplate.send
  3. 批量消费者 KafkaDataConsumer
    • @KafkaListener(topics = TOPIC_TEST, groupId = GROUP_ID)
    • 接收 List<String>,逐条解析并打印 "data" 字段
4.2.1.3 集成测试步骤
  1. 启动 ZooKeeper
  2. 启动 Kafka
  3. 启动 Spring Boot 应用(端口 9999)
  4. 用 Postman 向 http://localhost:9999/kafka/produce 发 POST 请求,观察控制台消费者输出
相关推荐
DLYSB_2 天前
Kafka 消费倾斜死锁与 Partition 掉队:我用 Rust 写了个“数据管道物理哨兵”,比 Grafana 报警快了 18 秒
rust·kafka·grafana·报警灯
creator_Li2 天前
Kafka消费者offset提交
kafka
TDengine (老段)2 天前
TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
大数据·数据库·物联网·flink·kafka·时序数据库·tdengine
apgk12 天前
基于Canal实现mysql数据同步到消息队列(RabbitMQ/Kafka)详细操作教程
docker·kafka·rabbitmq
liudashuang20173 天前
Kafka Producer 隐藏深坑:Sender 线程自阻塞(自死锁)导致 BufferExhaustedException 完整复盘
java·分布式·kafka·linq
小张同学a.3 天前
ELK企业级日志分析平台3——ES数据备份 & 集群监控 & ELFK+Kafka 架构部署
linux·运维·elk·elasticsearch·架构·kafka·filebeat
富士康质检员张全蛋3 天前
Kafka 的Log-Log Compaction
kafka
富士康质检员张全蛋7 天前
Kafka 事物
kafka
wear工程师7 天前
Kafka 消费者心跳正常,为什么还会被踢出组?拆清 max.poll.interval.ms
java·kafka
成为你的宁宁9 天前
【Kafka KRaft 集群】
分布式·kafka