1.安装部署
1.1集群规划:
1.2集群部署:
官方下载地址:http://kafka.apache.org/downloads.html
首先要启动zookeeper集群:
bash
zkServer.sh start 默认启动方式
zk.sh start 也可以使用脚本启动
然后解压kafka安装包:
bash
cd /opt/installs/ #进入安装包的存放目录下
tar -zxvf kafka_2.12-3.0.0.tgz
然后重命名:
bash
mv kafka_2.12-3.0.0/ kafka3
进入到/opt/installs/kafka3 目录,修改配置文件
bash
cd config/
vi server.properties
做以下修改
bash
#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以
配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/installs/kafka3/datas
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
分发安装包:
bash
scp /opt/installs/kafka3 root@hadoop12:/opt/installs
#或者使用自己的分发脚本
xsync.sh kafka3/
分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2 注:broker.id 不得重复,整个集群中唯一。
配置环境变量
bash
export KAFKA_HOME=/opt/installs/kafka3
export PATH=$PATH:$KAFKA_HOME/bin
分发一下:
xsync.sh /etc/profile
刷新一下环境变量 source /etc/profile
先启动 Zookeeper 集群,然后启动 Kafka
bash
xcall.sh zkServer.sh start
#依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka
bin/kafka-server-start.sh -daemon config/server.properties
没有配置同步脚本xcall要一个个启动哦
关闭集群 :
bash
bin/kafka-server-stop.sh
kafka的配置到此结束,小伙伴们有什么问题可以在评论区留言哦