Centos7搭建Apache Storm 集群运行环境

文章目录

• • [1. 安装 Java](#1. 安装 Java)
  • [2. 下载并解压 Storm](#2. 下载并解压 Storm)
  • [3. 配置环境变量](#3. 配置环境变量)
  • [4. 配置 ZooKeeper](#4. 配置 ZooKeeper)
  • [5. 配置 Storm](#5. 配置 Storm)
  • • storm.yaml
    • [自定义 `storm.yaml`](#自定义 storm.yaml)
    • storm-env.sh
    • logback/cluster.xml
  • [6. 启动 Storm 集群](#6. 启动 Storm 集群)
  • [7. 验证](#7. 验证)

1. 安装 Java

Storm 运行在 Java 平台上，因此需要先安装 Java。你可以使用以下命令安装 OpenJDK 8：

sudo yum install java-1.8.0-openjdk

2. 下载并解压 Storm

你可以从 Storm 的官方网站下载 Storm。在本教程中，我们将使用 Storm 2.2.0 版本。你可以使用以下命令下载 Storm：

wget https://archive.apache.org/dist/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gz

下载完成后，你可以使用以下命令解压 Storm：

tar -xvf apache-storm-2.2.0.tar.gz

解压完成后，你可以将 Storm 移动到 /usr/local 目录下：

sudo mv apache-storm-2.2.0 /usr/local/

3. 配置环境变量

为了方便使用 Storm，你需要设置一些环境变量。首先，你需要打开 /etc/profile 文件：

sudo nano /etc/profile

在文件的末尾添加以下内容：

export STORM_HOME=/usr/local/apache-storm-2.2.0
export PATH=$PATH:$STORM_HOME/bin

保存后，使用以下命令使环境变量生效：

source /etc/profile

4. 配置 ZooKeeper

Storm 需要使用 ZooKeeper 来协调集群中的节点。你可以使用以下命令安装 ZooKeeper：

sudo yum install zookeeper

安装完成后，你需要启动 ZooKeeper 服务：

sudo systemctl start zookeeper

为了让 ZooKeeper 服务在系统启动时自动启动，你可以使用以下命令将其添加到系统服务中：

sudo systemctl enable zookeeper

5. 配置 Storm

Storm 的配置文件位于 $STORM_HOME/conf 目录下。你可以使用以下命令进入该目录：

cd $STORM_HOME/conf

在该目录下，有三个文件需要进行配置：

storm.yaml

该文件是 Storm 的主要配置文件，你可以使用以下命令创建该文件：

sudo cp storm.yaml.example storm.yaml

然后使用以下命令打开该文件：

sudo nano storm.yaml

在文件中添加以下内容：

storm.zookeeper.servers:
  - "localhost"

nimbus.seeds: ["localhost"]

storm.local.hostname: "localhost"

自定义 storm.yaml

一般我们只需要配置上面的就ok了，如果你想自定义一些参数可以参考下面的，我加了注释方便于你理解。

# 配置 ZooKeeper 服务器地址
storm.zookeeper.servers:
  - "localhost"

# 指定 Storm 集群所使用的本地目录
storm.local.dir: "/mnt/storm"

# 指定 Nimbus 的种子节点地址
nimbus.seeds: ["localhost"]

# 指定 Storm 使用的 Thrift 传输插件
storm.thrift.transport: "org.apache.storm.security.auth.SimpleTransportPlugin"

# 指定 Storm 使用的消息传输插件
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"

# 指定 Storm 消息服务器使用的工作线程数
storm.messaging.netty.server_worker_threads: 1

# 指定 Storm 消息客户端使用的工作线程数
storm.messaging.netty.client_worker_threads: 1

# 指定 Storm 消息缓冲区的大小
storm.messaging.netty.buffer_size: 1024

# 指定 Storm 消息传输失败时的最大重试次数
storm.messaging.netty.max_retries: 10

# 指定 Storm 消息传输重试时的最大等待时间
storm.messaging.netty.max_wait_ms: 1000

# 指定 Storm 消息传输重试时的最小等待时间
storm.messaging.netty.min_wait_ms: 100

storm-env.sh

该文件是 Storm 的环境变量配置文件，你可以使用以下命令创建该文件：

sudo cp storm-env.sh.example storm-env.sh

然后使用以下命令打开该文件：

sudo nano storm-env.sh

在文件中添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

上述配置将 Java 的安装路径设置为 /usr/lib/jvm/java-1.8.0-openjdk。

logback/cluster.xml

该文件是 Storm 的日志配置文件，你可以使用以下命令打开该文件：

sudo nano logback/cluster.xml

找到以下内容：

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
  <file>${storm.log.dir}/nimbus.log</file>
  <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
    <fileNamePattern>${storm.log.dir}/nimbus.log.%d{yyyy-MM-dd-HH}</fileNamePattern>
    <maxHistory>30</maxHistory>
  </rollingPolicy>
  <encoder>
    <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n</pattern>
  </encoder>
</appender>

将其中的 ${storm.log.dir} 替换为 /var/log/storm，这样 Storm 的日志将会被记录在 /var/log/storm/nimbus.log 文件中。

6. 启动 Storm 集群

在完成以上配置后，你可以使用以下命令启动 Storm 集群：

启动了 Nimbus、Supervisor 和 UI 三个进程。& 符号表示将进程放到后台运行。

storm nimbus &
storm supervisor &
storm ui &

7. 验证

已经成功地在 CentOS 7 上安装和配置了 Storm 环境，并启动了 Storm 集群。可以访问 http://localhost:8080/ 来查看 Storm UI