Kafka安装与配置-shell脚本一键安装配置(单机版)

文章目录

  • 前言
  • 使用shell脚本一键安装
    • [1. 复制脚本](#1. 复制脚本)
    • [2. 增加执行权限](#2. 增加执行权限)
    • [3. 执行脚本](#3. 执行脚本)
    • [4. 加载用户环境变量](#4. 加载用户环境变量)
    • [5. 启动/停止Kafka内置zookeeper](#5. 启动/停止Kafka内置zookeeper)
    • [6. 启动/停止Kafka单机版](#6. 启动/停止Kafka单机版)
  • 总结

前言

本文介绍了使用Shell脚本一键安装Kafka的方法。通过复制脚本并执行,可以自动下载、安装和配置Kafka,使得安装过程更加简便和高效。脚本会检查所需的依赖工具和环境变量,并自动完成相关设置。安装完成后,您可以启动和停止Kafka内置的Zookeeper和单机版Kafka。


使用shell脚本一键安装

1. 复制脚本

首先,将以下脚本内容复制并保存为/tmp/install_kafka.sh文件。

shell 复制代码
#!/bin/bash

installDir="/opt/module/kafka"
kafka_version="2.2.1"
scala_version="2.11"

if [ -z "$(command -v wget)" ]; then
  sudo yum install -y wget
  echo "wget安装完成"
fi
if [ -z "$JAVA_HOME" ]; then
  echo "JAVA_HOME未设置,请安装jdk1.8,设置Java环境变量再来执行此脚本"
  exit 1
fi
if [ ! -d "${installDir}" ]; then
  sudo mkdir -p "${installDir}"
  if [ $? -eq 0 ]; then
    echo "安装目录${installDir}已创建"
  else
    echo "请确保您有足够的权限来创建目录,请增加权限后再次执行"
    exit 1
  fi
fi
if [ ! -f /tmp/kafka_$scala_version-$kafka_version.tgz ]; then
  wget https://archive.apache.org/dist/kafka/$kafka_version/kafka_$scala_version-$kafka_version.tgz -P /tmp/
  if [ $? -eq 0 ]; then
    echo "kafka_$scala_version-$kafka_version.tgz下载成功"
  else
    echo "kafka_$scala_version-$kafka_version.tgz下载失败,请重试或手动下载到/tmp目录下再次执行"
    echo "下载地址:https://archive.apache.org/dist/kafka/$kafka_version/kafka_$scala_version-$kafka_version.tgz"
    exit 1
  fi
fi

if [ -d $installDir/kafka_$scala_version-$kafka_version ]; then
  echo "$installDir/kafka_$scala_version-$kafka_version 已存在,正在删除..."
  sudo rm -rf $installDir/kafka_$scala_version-$kafka_version
fi
tar -zxvf /tmp/kafka_$scala_version-$kafka_version.tgz -C $installDir
if [ $? -eq 0 ]; then
  echo "/tmp/kafka_$scala_version-$kafka_version.tgz解压成功"
else
  echo "/tmp/kafka_$scala_version-$kafka_version.tgz解压失败,请查看异常信息后重试"
  exit 1
fi

#设置kafka环境变量
if [ -z "$KAFKA_HOME" ]; then
  echo >> ~/.bashrc
  echo '#KAFKA_HOME' >> ~/.bashrc
  echo "export KAFKA_HOME=$installDir/kafka_$scala_version-$kafka_version" >> ~/.bashrc
  echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
else
  echo "KAFKA_HOME已有设置:$KAFKA_HOME"
fi
#设置kafka中zookeeper的快照目录
sed -i "s|^dataDir=.*|dataDir=$installDir/kafka_$scala_version-$kafka_version/zookeeper|" "$installDir/kafka_$scala_version-$kafka_version/config/zookeeper.properties"
if [ $? -eq 0 ]; then
  echo "kafka中zookeeper的快照目录设置成功"
else
  echo "kafka中zookeeper的快照目录设置失败,请查看异常信息后重试"
  exit 1
fi
#修改kafka配置文件
ip_addr=$(ip addr | grep 'inet ' | awk '{print $2}'| tail -n 1 | grep -oP '\d+\.\d+\.\d+\.\d+')
sed -i "s|#listeners=PLAINTEXT://:9092|listeners=PLAINTEXT://$ip_addr:9092|" "$installDir/kafka_$scala_version-$kafka_version/config/server.properties"
if [ $? -eq 0 ]; then
  echo "kafka配置文件修改成功"
else
  echo "kafka配置文件修改失败,请查看异常信息后重试"
  exit 1
fi
echo "kafka下载、安装、配置成功"

exit 0

2. 增加执行权限

在终端中执行以下命令,为脚本添加执行权限。

shell 复制代码
chmod a+x /tmp/install_kafka.sh

3. 执行脚本

执行以下命令,运行脚本开始下载、安装和配置Kafka。

shell 复制代码
/tmp/install_kafka.sh

请等待安装完成,如有异常会有提示。

成功如下图所示:

4. 加载用户环境变量

shell 复制代码
source ~/.bashrc

5. 启动/停止Kafka内置zookeeper

启动Kafka内置的zookeeper

shell 复制代码
$KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties

启动成功如下图所示:


停止Kafka内置的zookeeper

shell 复制代码
$KAFKA_HOME/bin/zookeeper-server-stop.sh

6. 启动/停止Kafka单机版

启动Kafka单机版

shell 复制代码
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties

启动成功如下图所示:

停止Kafka单机版

shell 复制代码
$KAFKA_HOME/bin/kafka-server-stop.sh

总结

使用Shell脚本一键安装Kafka可以简化安装过程,节省时间和精力。本文提供的脚本具有自动化的功能,可以下载、安装和配置Kafka,使得安装过程更加便捷。

希望本教程对您有所帮助!如有任何疑问或问题,请随时在评论区留言。感谢阅读!

相关推荐
isNotNullX6 小时前
一文解读OLAP的工具和应用软件
大数据·数据库·etl
不是笨小孩i8 小时前
Git常用指令
大数据·git·elasticsearch
howard20059 小时前
大数据概念与价值
大数据·特征·概念·价值
happycao1239 小时前
记一次kafka消息丢失问题排查
kafka
知识分享小能手9 小时前
mysql学习教程,从入门到精通,SQL DISTINCT 子句 (16)
大数据·开发语言·sql·学习·mysql·数据分析·数据库开发
紫钺-高山仰止9 小时前
【脑机接口】脑机接口性能的电压波形的尖峰分类和阈值比较
大数据·分类·数据挖掘
喜欢猪猪9 小时前
Kafka是如何保证数据的安全性、可靠性和分区的
分布式·kafka
芊言芊语9 小时前
分布式消息服务Kafka版的详细解析和配置方式
分布式·kafka
Alluxio10 小时前
选择Alluxio来解决AI模型训练场景数据访问的五大理由
大数据·人工智能·分布式·ai·语言模型
武子康10 小时前
大数据-133 - ClickHouse 基础概述 全面了解
java·大数据·分布式·clickhouse·flink·spark