一、概述
Flume是一个分布式、可靠、可用的系统,用于高效地收集、聚合和移动大量日志数据。它旨在从不同的数据源收集数据,并将其存储到中央数据存储中,如HDFS、HBase或Solr等。Flume是Apache旗下的一个顶级项目,是Hadoop生态系统中的一个重要组件。
Flume的主要应用场景包括:
- 日志收集 Flume可以高效地从各种Web服务器、应用服务器等收集日志数据,并将其传输到HDFS或其他存储系统中,为后续的数据分析做准备。
- 数据采集 除了日志数据,Flume还可以从各种来源采集其他类型的数据,如网络流量数据、社交数据、邮件数据等,并进行数据整理和传输。
- 数据传输 Flume可以在不同的节点之间传输数据,支持多种数据源和目的地,可以实现数据的分层传输。
- 实时数据流处理 Flume提供了一个简单的基于事件的数据模型,可以结合其他工具(如Spark Streaming)对实时数据流进行处理和分析。
- 多路复用 Flume支持复杂的数据流拓扑结构,允许将相同的数据流复制到多个目的地,方便构建冗余备份流或分层数据存储结构。
Flume的架构主要由以下三个核心组件组成:
- Source:用于从外部获取数据到Flume
- Channel:用于连接Source和Sink,作为事件的临时存储
- Sink:用于从Channel中移除事件并且存储到外部系统中
二、安装
安装 Apache Flume 1.9.0 在 Ubuntu 20.04 系统上的步骤如下：
准备工作
在开始安装之前，请确保系统已经安装了JDK，因为 Flume 需要 JDK 来运行。您可以通过运行 java -version 来检查 JDK 是否已安装。如果没有安装可以进行安装。
JDK安装
apt install openjdk-8-jdk安装完成后，验证Java版本：
java -version如果出现相应的版本信息说明已经安装成功了。
那么apt install的java安装的目录在哪里呢？
# which java
/usr/bin/java
# ls -l /usr/bin/java
/usr/bin/java -> /etc/alternatives/java
# ls -l /etc/alternatives/java
/etc/alternatives/java -> /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java也就是/usr/lib/jvm/java-8-openjdk-amd64就是java安装目录即JAVA_HOME，后面会用到配置。
下载 Flume
-
访问 Apache Flume 的官方网站或直接下载 Flume 1.9.0 的压缩包。
-
使用
wget或curl命令下载 Flume 压缩包到您的系统中。wget http://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
安装 Flume
-
解压下载的 Flume 压缩包。
tar -zxvf apache-flume-1.9.0-bin.tar.gz
-
将解压后的 Flume 目录移动到
/usr/local/flume。mv apache-flume-1.9.0-bin /usr/local/flume
配置环境变量
-
打开
/etc/profile文件添加 Flume 的环境变量。vim /etc/profile
-
在文件末尾添加以下内容：
export FLUME_HOME=/usr/local/flume
export PATH=PATH:FLUME_HOME/bin -
更新环境变量。
source /etc/profile
修改配置
1.复制配置文件
cd /usr/local/flume/conf/
mv flume-conf.properties.template flume-conf.properties
mv flume-env.sh.template flume-env.sh
mv flume-env.ps1.template flume-env.ps1找到export JAVA_HOME=这条配置，打开前面的#并设置为java_home的目录，见JDK安装
vim flume-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64验证安装
运行以下命令来验证 Flume 是否安装成功：
flume-ng version
后面有文章介绍flume的具体使用，敬请关注....