Kafka + Kafka-UI - 技术栈

文章目录

前言
- [🐳 一、使用纯 Kafka + Kafka-UI （无 Zookeeper）Docker 配置](#🐳 一、使用纯 Kafka + Kafka-UI （无 Zookeeper）Docker 配置)
- [🚀 启动步骤](#🚀 启动步骤)
- [✅ 服务启动后地址](#✅ 服务启动后地址)
- [🔥 注意事项（使用 Kraft）](#🔥 注意事项（使用 Kraft）)
- [✅ NestJS Kafka 连接不变](#✅ NestJS Kafka 连接不变)
- [🧠 额外补充](#🧠 额外补充)
- [📦 kafka/README.md 内容：](#📦 kafka/README.md 内容：)
[Kafka Kraft 模式部署指南](#Kafka Kraft 模式部署指南)
- [🐳 使用 Docker-Compose 快速启动](#🐳 使用 Docker-Compose 快速启动)
- [🌐 服务地址](#🌐 服务地址)
- [🛠️ 常用运维指令](#🛠️ 常用运维指令)
- - 查看所有容器状态
  - [查看 Kafka UI 日志](#查看 Kafka UI 日志)
  - [查看 Kafka Broker 日志](#查看 Kafka Broker 日志)
  - [创建 Topic（进入 Kafka 容器内部执行）](#创建 Topic（进入 Kafka 容器内部执行）)
  - [查看 Topic 列表](#查看 Topic 列表)
  - [查看 Topic 消息](#查看 Topic 消息)
- [⚡ NestJS 配置 Kafka](#⚡ NestJS 配置 Kafka)
- [🚨 注意事项](#🚨 注意事项)

前言

✅ 使用 不需要 Zookeeper 的 Kafka ------ 那就是 Kafka KRaft 模式 （KRaft = Kafka Raft Metadata Mode），从 Kafka 2.8+ 起官方支持，3.3+ 开始默认推荐。

这样可以：

去掉 zookeeper 依赖
简化部署，性能更高
更符合现在 Kafka 的新一代标准架构

🐳 一、使用纯 Kafka + Kafka-UI （无 Zookeeper）Docker 配置

这里直接给你新版 docker-compose.yml（最新流行写法）👇：

yaml 复制代码

version: '3.8'

services:
  kafka:
    image: bitnami/kafka:3.6
    container_name: kafka
    ports:
      - '9092:9092'
    environment:
      - KAFKA_CFG_NODE_ID=0 
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_LOG_DIRS=/bitnami/kafka/data
      - KAFKA_KRAFT_CLUSTER_ID=替换成base64的uuid
      - ALLOW_PLAINTEXT_LISTENER=yes
    volumes:
      - kafka_data:/bitnami/kafka

  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    container_name: kafka-ui
    ports:
      - '8080:8080'
    environment:
      - KAFKA_CLUSTERS_0_NAME=kraft-kafka
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092
      - DYNAMIC_CONFIG_ENABLED=true

volumes:
  kafka_data:

🚀 启动步骤

bash 复制代码

docker-compose up -d

✅ 服务启动后地址

服务	地址	说明
Kafka Broker	`localhost:9092`	NestJS 直接连
Kafka UI	http://localhost:8080	查看 Topic、消息

🔥 注意事项（使用 Kraft）

说明	备注
控制器	Kafka 自己用 Raft 协议管理元数据，不再需要 ZooKeeper
单节点开发环境	OK，生产建议部署多节点控制器
镜像推荐	使用 `bitnami/kafka`，官方纯净版 Kraft 支持最好

✅ NestJS Kafka 连接不变

ts 复制代码

new Kafka({
  clientId: 'seckill-service',
  brokers: ['localhost:9092'],
});

🧠 额外补充

特性	Zookeeper版 Kafka	Kraft版 Kafka
简单性	❌ 复杂	✅ 简洁
启动速度	慢	快
部署节点数量	多	少
生产是否推荐使用	需要搭建多个 Broker	需要搭建多个 Controller Broker

✅ kafka/README.md 运维指令集和最佳实践

📦 kafka/README.md 内容：

Kafka Kraft 模式部署指南

🐳 使用 Docker-Compose 快速启动

bash 复制代码

cd kafka
docker-compose up -d

✅ 启动以下容器：

kafka （KRaft模式，无需Zookeeper）
kafka-ui（管理界面）

🌐 服务地址

服务	地址	说明
Kafka Broker	`localhost:9092`	供 NestJS 项目连接使用
Kafka UI	http://localhost:8080	可视化查看 Topic / 消费者组等信息

🛠️ 常用运维指令

查看所有容器状态

bash 复制代码

docker ps

查看 Kafka UI 日志

bash 复制代码

docker-compose logs kafka-ui

查看 Kafka Broker 日志

bash 复制代码

docker-compose logs kafka

创建 Topic（进入 Kafka 容器内部执行）

bash 复制代码

docker exec -it kafka bash

# 创建 topic
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic seckill-orders --partitions 3 --replication-factor 1

查看 Topic 列表

bash 复制代码

kafka-topics.sh --bootstrap-server localhost:9092 --list

查看 Topic 消息

bash 复制代码

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic seckill-orders --from-beginning

⚡ NestJS 配置 Kafka

NestJS 项目中连接 Kafka：

ts 复制代码

new Kafka({
  clientId: 'seckill-service',
  brokers: ['localhost:9092'],
});

🚨 注意事项

这是开发测试环境配置（单节点 Kraft）
生产环境应至少部署 3 个 Broker 节点，启用多控制器选举
确认端口号未被占用（默认 9092 / 8080）