kafka 集群

部署准备

至少三台服务器,Zookeeper 集群

安装

Kafka 安装包准备

Kafka 下载页面

配置文件修改

server.properties

properties 复制代码
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The address the socket server listens on.
listeners=PLAINTEXT://x.x.x.x:9092
# A comma separated list of directories under which to store log files
# 数据文件存放地址
log.dirs=/home/bigdata/kafka/log
# Zookeeper connection string 
# 最后的 /kafka 是zk上的路径信息,如果不写,默认在根目录下展开 kafka 元数据信息,容易于其他系统冲突
zookeeper.connect=x.x.x.x:2181/kafka

分发配置文件到所有节点

shell 复制代码
# 复制 hadoop 安装包的解压文件夹到所有的机器
scp -r kafka_2.12-3.7.0 root@x.x.x.x:$PWD

其他节点配置文件修改

server.properties

修改 broker.id 。不能出现重复

properties 复制代码
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The address the socket server listens on.
listeners=PLAINTEXT://x.x.x.x:9092

配置环境变量

shell 复制代码
export export KAFKA_HOME=/usr/bigdata/kafka_2.12-3.7.0
export PATH=$PATH:$KAFKA_HOME/bin

启动集群

所有节点执行启动命令

shell 复制代码
kafka-server-start.sh -daemon ${配置文件绝对路径}
相关推荐
大数据007 小时前
CLICKHOUSE分布式表初体验
分布式·clickhouse
失散138 小时前
分布式专题——43 ElasticSearch概述
java·分布式·elasticsearch·架构
爬山算法11 小时前
Redis(66)Redis如何实现分布式锁?
数据库·redis·分布式
W.Buffer12 小时前
Kafka零拷贝原理深度解析:从传统拷贝痛点到工作实践优化
分布式·kafka
没有bug.的程序员13 小时前
服务治理与 API 网关:微服务流量管理的艺术
java·分布式·微服务·架构·wpf
心态特好13 小时前
解锁分布式唯一 ID:技术、实践与最佳方案
分布式·生活
shinelord明15 小时前
【大数据技术实战】Kafka 认证机制全解析
大数据·数据结构·分布式·架构·kafka
BUTCHER519 小时前
Kafka多网卡环境配置
分布式·kafka
鸿蒙小白龙19 小时前
openharmony之分布式蓝牙实现多功能场景设备协同实战
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony
鸿蒙小白龙21 小时前
openharmony之分布式购物车开发实战
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony