Flume【部署 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证

我使用的安装文件是 apache-flume-1.9.0-bin.tar.gz ,以下内容均以此版本进行说明。也可查看官网的《安装指南》 🐌 Flume 需要依赖 JDK 1.8+

bash 复制代码
[root@tcloud bin]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

安装配置

  • [1 安装配置](#1 安装配置)
    • [1.1 安装](#1.1 安装)
    • [1.2 环境变量](#1.2 环境变量)
    • [1.3 flume配置【非必须】](#1.3 flume配置【非必须】)
  • [2 验证](#2 验证)

1 安装配置

1.1 安装

bash 复制代码
# 解压安装包并移动到 /usr/local/ 文件夹下
[root@tcloud flume]# tar -zxvf apache-flume-1.9.0-bin.tar.gz
[root@tcloud flume]# mv ./apache-flume-1.9.0-bin/ /usr/local/flume

1.2 环境变量

【目的是随时随地执行命令】配置方法比较多,这里统一将环境变量放在 /etc/profile.d/my_env.sh 内。

bash 复制代码
# 配置环境变量:
vim /etc/profile.d/my_env.sh
# 添加 FLUME_HOME和bin
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin
# 使得配置的环境变量立即生效:
	# 首先是要赋权限【只操作一次就行】
	chmod +x /etc/profile.d/my_env.sh
source /etc/profile.d/my_env.sh

1.3 flume配置【非必须】

如果你配置了JDK的环境变量,这里可以不配置,如果你有多个JDK,也可以在这里进行选择配置。复制 ${FLUME_HOME}/conf/ 文件夹下的 flume-env.sh.template 重命名为 flume-env.sh 并配置 JAVA_HOME:

bash 复制代码
# 复制
[root@tcloud conf]# cp flume-env.sh.template flume-env.sh
# 配置
[root@tcloud conf]# vim flume-env.sh
	# 内容如下
	# Enviroment variables can be set here.
	export JAVA_HOME=/usr/local/java

其他配置说明

flume-env.sh 除了可以配置 JAVA_HOME 还可以配置:

  • JAVA_OPTS:可以设置预加载内存、开启远程监视、保存或打印调试日志等。
  • FLUME_CLASSPATEH: Note that the Flume conf directory is always included in the classpath【这个配置是干啥的 ❓ 有知道的小伙伴儿可以留言分享一下】

2 验证

bash 复制代码
[root@tcloud conf]# flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9

安装验证结束,是不是很惊喜,就是这么 quick ⚡️ Flume官网还是比较不错的,《Flume 1.9.0 User Guide》有很多实用配置举例,大家可以进行学习!

相关推荐
不辉放弃21 分钟前
Spark 在 Python 大数据中的作用
大数据·python
Gvemis⁹1 小时前
Scala总结(二)
大数据·开发语言·scala
lemon3106241 小时前
dockerfile制作镜像
linux·运维·服务器·学习
易保山2 小时前
MIT6.S081 - Lab5 Lazy(延迟分配)
linux·操作系统·c
Elastic 中国社区官方博客2 小时前
Elasticsearch:使用 Azure AI 文档智能解析 PDF 文本和表格数据
大数据·人工智能·elasticsearch·搜索引擎·pdf·全文检索·azure
失业写写八股文2 小时前
本地事务 vs 分布式事务:核心区别与解释
分布式·后端
丑过三八线2 小时前
【Kafka】Kafka4.0在windows上启动
windows·分布式·kafka
想躺在地上晒成地瓜干3 小时前
树莓派超全系列文档--(14)无需交互使用raspi-config工具其一
linux·树莓派·raspberrypi·树莓派教程
Shier833_Ww3 小时前
目标识别与双目测距(1)环境搭建:Ubuntu+yolov5+pcl库
linux·yolo·ubuntu
dengjiayue3 小时前
kafka 与 RocketMQ对比
分布式·kafka·rocketmq