Hadoop生态圈框架部署（十）- Flume部署

文章目录

前言
一、Flume部署（手动部署）
- [1. 下载Flume安装包并上传到Linux](#1. 下载Flume安装包并上传到Linux)
- - [1.1 下载](#1.1 下载)
  - [1.2 上传](#1.2 上传)
- [2. 解压Flume安装包](#2. 解压Flume安装包)
- - [2.1 解压](#2.1 解压)
  - [2.2 重命名](#2.2 重命名)
- [3. 配置Flume](#3. 配置Flume)
- - [3.1 修改 flume-env.sh 配置文件](#3.1 修改 flume-env.sh 配置文件)
- [4. 虚拟机hadoop2安装并配置Flume](#4. 虚拟机hadoop2安装并配置Flume)
- [5. 虚拟机hadoop3安装并配置Flume](#5. 虚拟机hadoop3安装并配置Flume)
- [6. 配置Flume环境变量](#6. 配置Flume环境变量)
- - [6.1 虚拟机hadoop1配置Flume环境变量](#6.1 虚拟机hadoop1配置Flume环境变量)
  - [6.2 虚拟机hadoop2配置Flume环境变量](#6.2 虚拟机hadoop2配置Flume环境变量)
  - [6.3 虚拟机hadoop3配置Flume环境变量](#6.3 虚拟机hadoop3配置Flume环境变量)

前言

在大数据处理和分析的生态系统中，日志数据和其他形式的数据流收集是构建可靠数据管道的关键环节。Apache Flume作为一种高效、可靠的服务，专为收集、聚合和移动大量日志数据而设计，成为了众多企业和开发者进行数据采集的首选工具。它不仅能够满足实时数据流的传输需求，还支持灵活的数据源接入和多种输出方式，适用于从不同来源捕获数据并将其加载到Hadoop等系统中进行进一步分析。

本文旨在为用户提供一份详细的Flume 1.9.0手动部署教程，涵盖从下载、上传、解压、配置到环境变量设置的每一个步骤。同时，为了适应集群环境的需求，我们还提供了多台虚拟机（如hadoop1, hadoop2, hadoop3）上的安装与配置指导，以确保用户能够在分布式环境中顺利地使用Flume服务。

一、Flume部署（手动部署）

1. 下载Flume安装包并上传到Linux

1.1 下载

点击在官网下载Flume1.9.0安装包：https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

点击在华为镜像站下载Flume1.9.0安装包：https://repo.huaweicloud.com:8443/artifactory/apache-local/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

1.2 上传

通过拖移的方式将下载的Flume安装包apache-flume-1.9.0-bin.tar.gz上传至虚拟机hadoop1 的/export/software目录。

2. 解压Flume安装包

2.1 解压

在虚拟机hadoop1 上传完成后将Flume安装包通过解压方式安装至/export/servers目录。

shell 复制代码

tar -zxvf /export/software/apache-flume-1.9.0-bin.tar.gz -C /export/servers/

解压完成如下图所示。

2.2 重命名

在虚拟机hadoop1执行如下命令将apache-flume-1.9.0-bin重命名为flume-1.9.0。

shell 复制代码

mv /export/servers/apache-flume-1.9.0-bin /export/servers/flume-1.9.0

3. 配置Flume

3.1 修改 flume-env.sh 配置文件

在虚拟机hadoop1 修改Flume运行时环境变量配置文件/export/servers/flume-1.9.0/conf/flume-env.sh，执行如下命令修改配置。

shell 复制代码

cat >/export/servers/flume-1.9.0/conf/flume-env.sh <<EOF
export JAVA_HOME=/export/servers/jdk1.8.0_421
EOF

4. 虚拟机hadoop2安装并配置Flume

在虚拟机hadoop1使用scp命令把Flume的安装目录复制到虚拟机hadoop2的相同目录下，就相当于在hadoop2安装并配置了Flume。

shell 复制代码

scp -r root@hadoop1:/export/servers/flume-1.9.0 root@hadoop2:/export/servers

5. 虚拟机hadoop3安装并配置Flume

在虚拟机hadoop1使用scp命令把Flume的安装目录复制到虚拟机hadoop3的相同目录下，就相当于在hadoop3安装并配置了Flume。

shell 复制代码

scp -r root@hadoop1:/export/servers/flume-1.9.0 root@hadoop3:/export/servers

6. 配置Flume环境变量

6.1 虚拟机hadoop1配置Flume环境变量

在虚拟机hadoop1执行如下命令设置Flume环境变量，并加载系统环境变量配置文件。

shell 复制代码

echo >> /etc/profile
echo 'export FLUME_HOME=/export/servers/flume-1.9.0' >> /etc/profile
echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile
source /etc/profile
echo $FLUME_HOME

验证是否安装成功

在虚拟机hadoop1执行如下命令查看Flume版本信息，验证是否安装配置成功。

shell 复制代码

flume-ng version

6.2 虚拟机hadoop2配置Flume环境变量

在虚拟机hadoop2执行如下命令设置Flume环境变量，并加载系统环境变量配置文件。

shell 复制代码

echo >> /etc/profile
echo 'export FLUME_HOME=/export/servers/flume-1.9.0' >> /etc/profile
echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile
source /etc/profile
echo $FLUME_HOME

6.3 虚拟机hadoop3配置Flume环境变量

在虚拟机hadoop3执行如下命令设置Flume环境变量，并加载系统环境变量配置文件。

shell 复制代码

echo >> /etc/profile
echo 'export FLUME_HOME=/export/servers/flume-1.9.0' >> /etc/profile
echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile
source /etc/profile
echo $FLUME_HOME