docker-compose方式启动Kafka Sasl加密认证(无zk)

首先参考文档,思考过程可以进行参考https://juejin.cn/post/7294556533932884020#heading-3

用的镜像是Bitnami,对SASL配置进行了简化,需要按照特定格式去配置jass验证

完整配置如下

镜像版本参考:https://hub.docker.com/r/bitnami/kafka/tags

KAFKA_KRAFT_CLUSTER_ID这里需要固定一个uuid

shell 复制代码
# 使用Linux工具生成Kafka格式的集群ID
UUID=$(uuidgen | tr -d '-')
echo $UUID | xxd -r -p | base64

启动以后宿主机kafka的目录结构如下

shell 复制代码
tree kafka/
kafka/
└── kafka
    ├── config
    └── data

我最终选择一个固定版本,防止某天重启后发生异常错误

yaml 复制代码
version: '3'
services:
  kafka:
    image: bitnami/kafka:3.5.1
    container_name: kafka
    ports:
      - "9092:9092"
    volumes:
      - /data/kafka:/bitnami
    environment:
      # KRaft 模式配置
      - KAFKA_CFG_NODE_ID=1
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka:9093
      
      # 监听配置
      - KAFKA_CFG_LISTENERS=SASL_PLAINTEXT://:9092,CONTROLLER://:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=SASL_PLAINTEXT://localhost:9092
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      
      # 集群ID
      - KAFKA_KRAFT_CLUSTER_ID=4Zndq6u1TWqoaPt1AwHAKg==
      
      # 客户端用户配置
      - KAFKA_CLIENT_USERS=admin,ttx
      - KAFKA_CLIENT_PASSWORDS=TC4xaEvCSGaMuCZT,iri17ttx
      
      # controller 用户配置
      - KAFKA_CFG_SASL_MECHANISM_CONTROLLER_PROTOCOL=PLAIN
      - KAFKA_CONTROLLER_USER=admin
      - KAFKA_CONTROLLER_PASSWORD=TC4xaEvCSGaMuCZT
      
      # broker间通信用户配置
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=SASL_PLAINTEXT
      - KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL=PLAIN
      - KAFKA_INTER_BROKER_USER=admin
      - KAFKA_INTER_BROKER_PASSWORD=TC4xaEvCSGaMuCZT
      
      # 其他配置
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      - ALLOW_PLAINTEXT_LISTENER=yes
    restart: unless-stopped
shell 复制代码
mkdir: cannot create directory '/bitnami/kafka/config': Permission denied`

对容器的kafka用户进行授权

shell 复制代码
chown 1001:1001 /data/kafka/
 docker-compose down && docker-compose up -d

测试用户名密码连接

shell 复制代码
docker exec -it kafka sh

cat > /tmp/client.properties << EOF
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="ttx" password="iri17ttx";
EOF

kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --command-config /tmp/client.properties --partitions 1 --replication-factor 1
kafka-topics.sh --list --bootstrap-server localhost:9092 --command-config /tmp/client.properties
相关推荐
计算机小手3 小时前
提升文档管理:推荐一键Docker部署的全文索引搜索引擎工具
经验分享·搜索引擎·docker·全文检索·开源软件
东风微鸣4 小时前
职场生存指南:如何优雅应对"双面人"同事
docker·云原生·kubernetes·可观察性
Java侠4 小时前
graylog6.3 docker-compose部署全流程
运维·docker·容器·graylog·docker compose
武子康7 小时前
大数据-58 Kafka 消息发送全流程详解:序列化、分区策略与自定义实现
大数据·后端·kafka
kfepiza7 小时前
Dockerfile模板 笔记250801
docker·容器
思辨共悟8 小时前
Kafka简述及学习课程
分布式·kafka
CodeWolf9 小时前
docker的基础命令
docker
正经教主9 小时前
【问题】Docker 容器内的应用(如n8n),访问不到外部主机的应用(如mysql)
tcp/ip·docker·容器
Asuicao9 小时前
最新docker国内镜像源地址大全
运维·docker·容器
xhdll9 小时前
embodied复现所需docker环境配置粗略流程
运维·docker·容器