kafka 集群

部署准备

至少三台服务器,Zookeeper 集群

安装

Kafka 安装包准备

Kafka 下载页面

配置文件修改

server.properties

properties 复制代码
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The address the socket server listens on.
listeners=PLAINTEXT://x.x.x.x:9092
# A comma separated list of directories under which to store log files
# 数据文件存放地址
log.dirs=/home/bigdata/kafka/log
# Zookeeper connection string 
# 最后的 /kafka 是zk上的路径信息,如果不写,默认在根目录下展开 kafka 元数据信息,容易于其他系统冲突
zookeeper.connect=x.x.x.x:2181/kafka

分发配置文件到所有节点

shell 复制代码
# 复制 hadoop 安装包的解压文件夹到所有的机器
scp -r kafka_2.12-3.7.0 root@x.x.x.x:$PWD

其他节点配置文件修改

server.properties

修改 broker.id 。不能出现重复

properties 复制代码
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The address the socket server listens on.
listeners=PLAINTEXT://x.x.x.x:9092

配置环境变量

shell 复制代码
export export KAFKA_HOME=/usr/bigdata/kafka_2.12-3.7.0
export PATH=$PATH:$KAFKA_HOME/bin

启动集群

所有节点执行启动命令

shell 复制代码
kafka-server-start.sh -daemon ${配置文件绝对路径}
相关推荐
pythonpioneer1 小时前
Ray Tune 强大的分布式超参数调优框架
分布式·其他
笨蛋少年派2 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
一只小透明啊啊啊啊4 小时前
Java电商项目中的概念: 高并发、分布式、高可用、微服务、海量数据处理
java·分布式·微服务
兜兜风d'15 小时前
RabbitMQ 七种工作模式全解析
分布式·rabbitmq
ErizJ15 小时前
IM|im-service
golang·kafka·go·im·心跳检测
沐浴露z15 小时前
Kafka 生产者详解(上):消息发送流程与API,分区,吞吐量与数据可靠性
java·kafka·消息队列
菜鸡儿齐15 小时前
kafka高可靠性
分布式·kafka
兜兜风d'18 小时前
RabbitMQ 持久性详解
spring boot·分布式·rabbitmq·1024程序员节
blammmp18 小时前
RabbitMQ :概述,Web界面介绍,快速上手,工作模式
java·分布式·rabbitmq
Empty_77719 小时前
Ceph分布式存储
分布式·ceph