数据湖仓一体(二) 安装kafka

上传安装包到/opt/software目录并解压

bash 复制代码
[bigdata@node106 software]$ tar -zxvf kafka_2.12-3.5.2.tgz  -C /opt/services/ 

重命名kafka

bash 复制代码
[bigdata@node106 software]$ mv kafka_2.12-3.5.2 kafka_3.5.2 

配置环境变量

bash 复制代码
[bigdata@node106 ~]$ sudo vim /etc/profile.d/bigdata_env.sh
bash 复制代码
export KAFKA_HOME=/opt/services/kafka_3.5.2
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$KAFKA_HOME/bin

分发环境变量

bash 复制代码
[bigdata@node106 ~]$ sudo ./bin/xsync /etc/profile.d/bigdata_env.sh

刷新环境变量,5台机器上执行

bash 复制代码
[bigdata@node106 ~]$ source /etc/profile

修改配置文件

bash 复制代码
[bigdata@node106 ~]$ sudo vim /opt/services/kafka_3.5.2/config/server.properties 
bash 复制代码
broker.id=0
log.dirs=/opt/services/kafka_3.5.2/datas
zookeeper.connect=node106:2181,node107:2181,node108:2181/kafka

copy到其他节点

bash 复制代码
[bigdata@node107 ~]$ scp -r bigdata@node106: /opt/services/kafka_3.5.2/ /opt/services/kafka_3.5.2/                  
[bigdata@node108 ~]$ scp -r bigdata@node106: /opt/services/kafka_3.5.2/ /opt/services/kafka_3.5.2/  

修改配置文件

node107上修改broker.id=1

node108上修改broker.id=2

编写kafka.sh启动停止脚本

bash 复制代码
#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input...[start,stop]"
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 kafka集群 ==================="

        echo " --------------- 启动 node106 ---------------"
        ssh node106 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
        echo " --------------- 启动 node107---------------"
        ssh node107 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
        echo " --------------- 启动 node108 ---------------"
        ssh node108 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
;;
"stop")
        echo " =================== 关闭 kafka集群 ==================="
        echo " --------------- 关闭 node106 ---------------"
        ssh node106 "$KAFKA_HOME/bin/kafka-server-stop.sh"
        echo " --------------- 关闭 node107---------------"
        ssh node107 "$KAFKA_HOME/bin/kafka-server-stop.sh"
        echo " --------------- 关闭 node108 ---------------"
        ssh node108 "$KAFKA_HOME/bin/kafka-server-stop.sh"
;;
*)
    echo "Input Args Error...[start,stop]"
;;
esac

授权

bash 复制代码
[bigdata@node106 bin]$ chmod +x kafka.sh

分发到其他机器

bash 复制代码
[bigdata@node106 bin]$ xsync  kafka.sh 

启动kafka

bash 复制代码
[bigdata@node106 bin]$ kafka.sh start
相关推荐
武子康1 小时前
Java-06 深入浅出 MyBatis - 一对一模型 SqlMapConfig 与 Mapper 详细讲解测试
java·开发语言·数据仓库·sql·mybatis·springboot·springcloud
宅小海2 小时前
scala String
大数据·开发语言·scala
小白的白是白痴的白2 小时前
11.17 Scala练习:梦想清单管理
大数据
java1234_小锋2 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
JessieZeng aaa5 小时前
CSV文件数据导入hive
数据仓库·hive·hadoop
Java 第一深情6 小时前
零基础入门Flink,掌握基本使用方法
大数据·flink·实时计算
MXsoft6186 小时前
华为服务器(iBMC)硬件监控指标解读
大数据·运维·数据库
PersistJiao7 小时前
Spark 分布式计算中网络传输和序列化的关系(二)
大数据·网络·spark·序列化·分布式计算
九河云7 小时前
如何对AWS进行节省
大数据·云计算·aws
FreeIPCC8 小时前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源