Kafka 单节点部署(Docker Compose + 数据持久化)

一、环境准备

1️⃣ 拉取镜像

bash 复制代码
docker pull apache/kafka:3.8.1

2️⃣ 创建数据目录

bash 复制代码
mkdir -p /opt/services-data/kafka/{data,logs}
cd /opt/services-data/kafka

3️⃣ 设置权限(⚠️必须)

bash 复制代码
chown -R 1000:1000 /opt/services-data/kafka
chmod -R 755 /opt/services-data/kafka

👉 原因:Kafka 容器默认使用 UID 1000(appuser)

二、生成 Cluster ID(KRaft 必须)

bash 复制代码
docker run --rm apache/kafka:3.8.1 \
  /opt/kafka/bin/kafka-storage.sh random-uuid

👉 示例输出:

text 复制代码
06M1KKGfRuyK7XWurAYXkA

👉 记下来,后面要用

三、编写 docker-compose.yml

yaml 复制代码
version: '3.8'
services:
  kafka:
    image: apache/kafka:3.8.1
    container_name: kafka
    restart: always
    ports:
      - "9092:9092"
      - "9093:9093"
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: broker,controller
      KAFKA_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0.122:9092
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@192.168.0.122:9093
      KAFKA_LOG_DIRS: /var/lib/kafka/data
      CLUSTER_ID: 06M1KKGfRuyK7XWurAYXkA
      # 单节点必须设置
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
    volumes:
      - ./data:/var/lib/kafka/data
      - ./logs:/opt/kafka/logs

⚠️ 必改项

yaml 复制代码
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0.122:9092

👉 改成你服务器 IP

四、启动 Kafka

bash 复制代码
docker-compose up -d

查看日志

bash 复制代码
docker logs -f kafka

成功标志

text 复制代码
Kafka Server started

五、功能验证

1️⃣ 进入容器

bash 复制代码
docker exec -it kafka bash
cd /opt/kafka/bin

2️⃣ 创建 Topic

bash 复制代码
./kafka-topics.sh \
  --create \
  --topic test \
  --bootstrap-server 192.168.0.122:9092 \
  --partitions 1 \
  --replication-factor 1

3️⃣ 启动生产者

bash 复制代码
./kafka-console-producer.sh \
  --topic test \
  --bootstrap-server 192.168.0.122:9092

输入:

text 复制代码
hello
kafka

4️⃣ 启动消费者

bash 复制代码
./kafka-console-consumer.sh \
  --topic test \
  --bootstrap-server 192.168.0.122:9092 \
  --from-beginning

👉 正常输出:

text 复制代码
hello
kafka

六、总结

text 复制代码
✔ 使用 KRaft 模式,无需 Zookeeper
✔ Docker Compose 部署简单
✔ 数据目录持久化
✔ 支持外部访问
相关推荐
goehou16 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
lambo mercy16 小时前
01初识docker
运维·docker·容器
时间的拾荒人17 小时前
Docker 容器、仓库与数据管理实战
docker·容器·eureka
国科安芯18 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
时间的拾荒人19 小时前
Docker 入门实战:从核心概念、安装配置到镜像操作与 Dockerfile 定制
运维·docker·容器·eureka
时间的拾荒人20 小时前
Docker Compose 编排实战:从命令详解到 Redis Cluster 三主三从部署
docker·部署·集群
ClouGence21 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding2 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin