Kafka 快速入门

小熊软糖^O^2024-11-09 12:57

1.安装部署

1.1集群规划：

1.2集群部署：

官方下载地址：http://kafka.apache.org/downloads.html

首先要启动zookeeper集群：

bash 复制代码

zkServer.sh start    默认启动方式
 zk.sh start    也可以使用脚本启动

然后解压kafka安装包：

bash 复制代码

cd /opt/installs/ #进入安装包的存放目录下
tar -zxvf kafka_2.12-3.0.0.tgz

然后重命名：

bash 复制代码

 mv kafka_2.12-3.0.0/ kafka3

进入到/opt/installs/kafka3 目录，修改配置文件

bash 复制代码

cd config/ 
vi server.properties

做以下修改

bash 复制代码

#broker 的全局唯一编号，不能重复，只能是数字。 
broker.id=0 
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以 
配置多个磁盘路径，路径与路径之间可以用"，"分隔 
log.dirs=/opt/installs/kafka3/datas 
#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理） 
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

分发安装包：

bash 复制代码

scp /opt/installs/kafka3 root@hadoop12:/opt/installs
#或者使用自己的分发脚本
xsync.sh kafka3/

分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2 注：broker.id 不得重复，整个集群中唯一。

配置环境变量

bash 复制代码

export KAFKA_HOME=/opt/installs/kafka3
export PATH=$PATH:$KAFKA_HOME/bin

分发一下：
xsync.sh /etc/profile

刷新一下环境变量 source /etc/profile

先启动 Zookeeper 集群，然后启动 Kafka

bash 复制代码

xcall.sh zkServer.sh start
#依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka
bin/kafka-server-start.sh -daemon config/server.properties

没有配置同步脚本xcall要一个个启动哦

关闭集群：

bash 复制代码

bin/kafka-server-stop.sh

kafka的配置到此结束，小伙伴们有什么问题可以在评论区留言哦