kafka 集群

部署准备

至少三台服务器,Zookeeper 集群

安装

Kafka 安装包准备

Kafka 下载页面

配置文件修改

server.properties

properties 复制代码
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The address the socket server listens on.
listeners=PLAINTEXT://x.x.x.x:9092
# A comma separated list of directories under which to store log files
# 数据文件存放地址
log.dirs=/home/bigdata/kafka/log
# Zookeeper connection string 
# 最后的 /kafka 是zk上的路径信息,如果不写,默认在根目录下展开 kafka 元数据信息,容易于其他系统冲突
zookeeper.connect=x.x.x.x:2181/kafka

分发配置文件到所有节点

shell 复制代码
# 复制 hadoop 安装包的解压文件夹到所有的机器
scp -r kafka_2.12-3.7.0 root@x.x.x.x:$PWD

其他节点配置文件修改

server.properties

修改 broker.id 。不能出现重复

properties 复制代码
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The address the socket server listens on.
listeners=PLAINTEXT://x.x.x.x:9092

配置环境变量

shell 复制代码
export export KAFKA_HOME=/usr/bigdata/kafka_2.12-3.7.0
export PATH=$PATH:$KAFKA_HOME/bin

启动集群

所有节点执行启动命令

shell 复制代码
kafka-server-start.sh -daemon ${配置文件绝对路径}
相关推荐
^辞安11 小时前
RocketMQ为什么自研Nameserver而不用zookeeper?
分布式·zookeeper·rocketmq
在未来等你13 小时前
Kafka面试精讲 Day 8:日志清理与数据保留策略
大数据·分布式·面试·kafka·消息队列
poemyang14 小时前
“你还活着吗?” “我没死,只是网卡了!”——来自分布式世界的“生死契约”
分布式
echoyu.14 小时前
消息队列-初识kafka
java·分布式·后端·spring cloud·中间件·架构·kafka
明达智控技术15 小时前
MR30分布式I/O在面机装备中的应用
分布式·物联网·自动化
JAVA学习通17 小时前
【RabbitMQ】---RabbitMQ 工作流程和 web 界面介绍
分布式·rabbitmq
cg.family18 小时前
Doris 消费kafka消息
kafka·doris
安卓开发者18 小时前
鸿蒙NEXT应用数据持久化全面解析:从用户首选项到分布式数据库
数据库·分布式·harmonyos
趴着喝可乐19 小时前
openEuler2403安装部署Kafka
kafka·openeuler
JAVA学习通21 小时前
【RabbitMQ】如何在 Ubuntu 安装 RabbitMQ
分布式·rabbitmq