Docker中Kafka容器创建/更新Topic支持多分区

前提

自行通过docker部署好kafka,并启动相关容器。

假设Topic为http_capture。

bash 复制代码
#docker-kafka
kafka_dir=/opt/docker/kafka/build
sudo rm -rf ${kafka_dir}/*
cat > ${kafka_dir}/docker-compose.yml <<EOF
version: "3.3"
services:
  zookeeper:
    image: zookeeper:3.5.5
    restart: always
    container_name: dsms_zookeeper
    ports:
      - "2181:2181"
    environment:
      - ZOO_MY_ID=1

  kafka:
    image: wurstmeister/kafka:2.13-2.8.1
    restart: always
    container_name: dsms_kafka
    environment:
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_HOST_NAME=${local_ip}
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS=36000
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://${local_ip}:9092
      - KAFKA_LISTENERS=PLAINTEXT://:9092
    ports:
      - "9092:9092"
    expose:
      - "9092"
    depends_on:
      - zookeeper
EOF
cd ${kafka_dir} && sudo /opt/bin/docker-compose up -d

Docker中Kafka容器创建/更新Topic支持多分区

检测Kafka运行正常后,如果Topic为http_capture的主题存在,则更新分区为5个,若不存在Topic,则新建。

bash 复制代码
#!/bin/bash

# 检查 Kafka 容器是否正常运行
while ! docker ps --format '{{.Names}}' | grep -q "^dsms_kafka$"; do
    echo "等待 Kafka 容器启动..."
    sleep 5
done

echo "Kafka 容器已成功启动."

# 在 Kafka 容器内执行命令,将结果保存到临时文件中
docker exec dsms_kafka kafka-topics.sh --list --zookeeper zookeeper:2181 > /tmp/kafka_topics_list.txt

# 检查 http_capture 主题是否存在
if grep -q "^http_capture$" /tmp/kafka_topics_list.txt; then
    echo "更新 http_capture 主题分区数量..."
    docker exec dsms_kafka kafka-topics.sh --alter --topic http_capture --partitions 5 --zookeeper zookeeper:2181
else
    echo "创建新的 http_capture 主题..."
    docker exec dsms_kafka kafka-topics.sh --create --topic http_capture --partitions 5 --replication-factor 1 --zookeeper zookeeper:2181
    echo "新的 http_capture 主题创建成功."
fi

# 删除临时文件
rm -f /tmp/kafka_topics_list.txt
复制代码
相关推荐
时间的拾荒人6 分钟前
Docker Compose 编排实战:从命令详解到 Redis Cluster 三主三从部署
docker·部署·集群
goyeer37 分钟前
【Kubernetes】Kubernetes之CRI详解
java·容器·kubernetes
wz97541 小时前
Kubernetes Pod 深度详解:K8s 最小调度单元
云原生·容器·kubernetes
ClouGence1 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户36105886261218 小时前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
xbzb21 小时前
Kubernetes 节点删除后还有残留?drain、reset 与集群销毁重建全流程
容器·kubernetes·kubectl·集群·reset·drain
正在走向自律21 小时前
Infra 现代研发基础设施实战:从 IaC、K8s 到平台工程与可观测性
云原生·容器·kubernetes·terraform·github actions·infra
西木Qi21 小时前
Kafka消息中间件单机版安装配置
分布式·kafka
AI开源软件1 天前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office
csdn_aspnet1 天前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器