数据湖仓一体(二) 安装kafka

上传安装包到/opt/software目录并解压

bash 复制代码
[bigdata@node106 software]$ tar -zxvf kafka_2.12-3.5.2.tgz  -C /opt/services/ 

重命名kafka

bash 复制代码
[bigdata@node106 software]$ mv kafka_2.12-3.5.2 kafka_3.5.2 

配置环境变量

bash 复制代码
[bigdata@node106 ~]$ sudo vim /etc/profile.d/bigdata_env.sh
bash 复制代码
export KAFKA_HOME=/opt/services/kafka_3.5.2
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$KAFKA_HOME/bin

分发环境变量

bash 复制代码
[bigdata@node106 ~]$ sudo ./bin/xsync /etc/profile.d/bigdata_env.sh

刷新环境变量,5台机器上执行

bash 复制代码
[bigdata@node106 ~]$ source /etc/profile

修改配置文件

bash 复制代码
[bigdata@node106 ~]$ sudo vim /opt/services/kafka_3.5.2/config/server.properties 
bash 复制代码
broker.id=0
log.dirs=/opt/services/kafka_3.5.2/datas
zookeeper.connect=node106:2181,node107:2181,node108:2181/kafka

copy到其他节点

bash 复制代码
[bigdata@node107 ~]$ scp -r bigdata@node106: /opt/services/kafka_3.5.2/ /opt/services/kafka_3.5.2/                  
[bigdata@node108 ~]$ scp -r bigdata@node106: /opt/services/kafka_3.5.2/ /opt/services/kafka_3.5.2/  

修改配置文件

node107上修改broker.id=1

node108上修改broker.id=2

编写kafka.sh启动停止脚本

bash 复制代码
#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input...[start,stop]"
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 kafka集群 ==================="

        echo " --------------- 启动 node106 ---------------"
        ssh node106 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
        echo " --------------- 启动 node107---------------"
        ssh node107 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
        echo " --------------- 启动 node108 ---------------"
        ssh node108 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
;;
"stop")
        echo " =================== 关闭 kafka集群 ==================="
        echo " --------------- 关闭 node106 ---------------"
        ssh node106 "$KAFKA_HOME/bin/kafka-server-stop.sh"
        echo " --------------- 关闭 node107---------------"
        ssh node107 "$KAFKA_HOME/bin/kafka-server-stop.sh"
        echo " --------------- 关闭 node108 ---------------"
        ssh node108 "$KAFKA_HOME/bin/kafka-server-stop.sh"
;;
*)
    echo "Input Args Error...[start,stop]"
;;
esac

授权

bash 复制代码
[bigdata@node106 bin]$ chmod +x kafka.sh

分发到其他机器

bash 复制代码
[bigdata@node106 bin]$ xsync  kafka.sh 

启动kafka

bash 复制代码
[bigdata@node106 bin]$ kafka.sh start
相关推荐
你觉得20510 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙10 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊10 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清10 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_8712905812 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队13 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得20513 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国13 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy14 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记14 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go