Kafka消息中间件单机版安装配置

Kafka消息中间件单机版安装配置

  • [0 参考](#0 参考)
  • [1 创建相关目录](#1 创建相关目录)
  • [2 docker-compose.yaml](#2 docker-compose.yaml)

0 参考

Kafka消息中间件集群安装配置

1 创建相关目录

bash 复制代码
mkdir -p /opt/kafka/kafka_standalone/data
mkdir -p /opt/kafka/kafka_standalone/config

sudo chmod -R 777 /opt/kafka/kafka_standalone

2 docker-compose.yaml

  1. 部署前准备
bash 复制代码
# 1. 编辑.env 文件 注意HOST替换为主机ip
CLUSTER_ID=y2OnVDLzRYyxh3V156gnxw
HOST=192.168.1.102
  1. 编写 kafka_jaas.conf(认证配置)
bash 复制代码
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="kafka-dev"
    password="9r583tee0g"
    user_kafka-dev="9r583tee0g"
    user_admin="kafka-admin"
    user_client="cw2s92s5d";
};

KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="kafka-dev"
    password="9r583tee0g";
};
  1. 编写docker-compose.yaml文件
yaml 复制代码
version: "3.2"
services:
  kafka1:
    image: "bitnami/kafka:3.8.0"
    container_name: kafka1
    restart: always
    user: root
    # ===== 修复 pthread_create EPERM:放宽进程/线程数限制 =====
    pids_limit: 4096
    ulimits:
      nproc: 65535
      nofile:
        soft: 65535
        hard: 65535
    # ===== 修复 JVM 线程数:按 CPU 数量开的 GC/编译线程太多 =====
    mem_limit: 2g
    ports:
      - 9192:9092  # 外部客户端访问端口
      - 9193:9093  # Controller 监听端口,内部通信
    environment:
      - KAFKA_HEAP_OPTS=-Xmx1G -Xms1G
      # ===== 新增:压减 JVM GC/编译线程数,直接规避 GC Thread 创建失败 =====
      - KAFKA_JVM_PERFORMANCE_OPTS=-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:ActiveProcessorCount=2 -XX:ParallelGCThreads=2 -XX:ConcGCThreads=1 -XX:CICompilerCount=2
      # ===== 新增:让 Kafka 实际加载 JAAS 文件(之前挂载了但没引用)=====
      - KAFKA_OPTS=-Djava.security.auth.login.config=/opt/bitnami/kafka/config/kafka_jaas.conf
      ### 通用 KRaft 配置 ###
      - KAFKA_ENABLE_KRAFT=yes
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_LISTENERS=SASL_PLAINTEXT://:9092,CONTROLLER://:9093
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT
      - KAFKA_KRAFT_CLUSTER_ID=${CLUSTER_ID}
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093
      - ALLOW_PLAINTEXT_LISTENER=yes
      ### Broker 特定配置 ###
      - KAFKA_CFG_ADVERTISED_LISTENERS=SASL_PLAINTEXT://${HOST}:9192
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=SASL_PLAINTEXT
      - KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL=PLAIN
      # ===== 新增:客户端监听器也要启用 PLAIN 机制(默认是 GSSAPI,PLAIN 客户端会被拒)=====
      - KAFKA_CFG_SASL_ENABLED_MECHANISMS=PLAIN
      - KAFKA_BROKER_ID=1
      ### 可选:资源与性能 ###
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      - KAFKA_CFG_NODE_ID=1
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /opt/kafka/kafka_standalone/:/bitnami/kafka
      - /opt/kafka/kafka_standalone/kafka_jaas.conf:/opt/bitnami/kafka/config/kafka_jaas.conf:ro
    networks:
      - kafka-net

  kafka-ui:
    image: "provectuslabs/kafka-ui:latest"
    container_name: kafka-ui
    restart: always
    ports:
      - "9190:8080"
    environment:
      # ===== 新增:控制台登录认证 =====
      - AUTH_TYPE=LOGIN_FORM
      - SPRING_SECURITY_USER_NAME=kafka-admin
      - SPRING_SECURITY_USER_PASSWORD=kafka@9r583tee0g
      - KAFKA_CLUSTERS_0_NAME=local-kraft-cluster
      - KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=kafka1:9092
      - KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT
      - KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN
      # ===== 修正:用户名必须是 JAAS 里注册的 user_ 后面的名字 =====
      # user_admin="kafka-admin"  ->  用户名 admin,密码 kafka-admin
      - KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-admin";
    depends_on:
      kafka1:
        condition: service_started
    networks:
      - kafka-net

networks:
  kafka-net:
    driver: bridge
相关推荐
OriginCoding2 小时前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇1 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛1 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人1 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人2 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing3 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手4 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star4 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog5 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构