Kafka 快速入门

1.安装部署

1.1集群规划:

1.2集群部署:

官方下载地址:http://kafka.apache.org/downloads.html

首先要启动zookeeper集群:

bash 复制代码
zkServer.sh start    默认启动方式
 zk.sh start    也可以使用脚本启动 

然后解压kafka安装包:

bash 复制代码
cd /opt/installs/ #进入安装包的存放目录下
tar -zxvf kafka_2.12-3.0.0.tgz

然后重命名:

bash 复制代码
 mv kafka_2.12-3.0.0/ kafka3

进入到/opt/installs/kafka3 目录,修改配置文件

bash 复制代码
cd config/ 
vi server.properties

做以下修改

bash 复制代码
#broker 的全局唯一编号,不能重复,只能是数字。 
broker.id=0 
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以 
配置多个磁盘路径,路径与路径之间可以用","分隔 
log.dirs=/opt/installs/kafka3/datas 
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理) 
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

分发安装包:

bash 复制代码
scp /opt/installs/kafka3 root@hadoop12:/opt/installs
#或者使用自己的分发脚本
xsync.sh kafka3/ 

分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2 注:broker.id 不得重复,整个集群中唯一。

配置环境变量

bash 复制代码
export KAFKA_HOME=/opt/installs/kafka3
export PATH=$PATH:$KAFKA_HOME/bin

分发一下:
xsync.sh /etc/profile

刷新一下环境变量 source /etc/profile

先启动 Zookeeper 集群,然后启动 Kafka

bash 复制代码
xcall.sh zkServer.sh start
#依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka
bin/kafka-server-start.sh -daemon config/server.properties

没有配置同步脚本xcall要一个个启动哦

关闭集群 :

bash 复制代码
bin/kafka-server-stop.sh

kafka的配置到此结束,小伙伴们有什么问题可以在评论区留言哦

相关推荐
꧁薄暮꧂7 分钟前
kafka是如何处理数据乱序问题
分布式·kafka
songqq271 小时前
【快速解决】kafka崩了,重启之后,想继续消费,怎么做?
分布式·kafka
zmd-zk1 小时前
hive中windows子句的使用
大数据·数据仓库·hive·hadoop·windows·分布式·big data
斑驳竹影9 小时前
【RabbitMQ】之高可用集群搭建
分布式·rabbitmq
floret*10 小时前
Kafka高频面试题详解
分布式·kafka
Wlq041510 小时前
分布式技术缓存技术
分布式·缓存
明达技术10 小时前
LVDS高速背板总线:打造分布式I/O高效数据传输新境界
分布式·物联网·自动化·lvds
java1234_小锋10 小时前
分布式环境下宕机的处理方案有哪些?
分布式
大数据魔法师11 小时前
Hadoop生态圈框架部署(六)- HBase完全分布式部署
hadoop·分布式·hbase
知否&知否12 小时前
kafka中是如何快速定位到一个offset的
分布式·kafka