Flume【部署 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证

我使用的安装文件是 apache-flume-1.9.0-bin.tar.gz ,以下内容均以此版本进行说明。也可查看官网的《安装指南》 🐌 Flume 需要依赖 JDK 1.8+

bash 复制代码
[root@tcloud bin]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

安装配置

  • [1 安装配置](#1 安装配置)
    • [1.1 安装](#1.1 安装)
    • [1.2 环境变量](#1.2 环境变量)
    • [1.3 flume配置【非必须】](#1.3 flume配置【非必须】)
  • [2 验证](#2 验证)

1 安装配置

1.1 安装

bash 复制代码
# 解压安装包并移动到 /usr/local/ 文件夹下
[root@tcloud flume]# tar -zxvf apache-flume-1.9.0-bin.tar.gz
[root@tcloud flume]# mv ./apache-flume-1.9.0-bin/ /usr/local/flume

1.2 环境变量

【目的是随时随地执行命令】配置方法比较多,这里统一将环境变量放在 /etc/profile.d/my_env.sh 内。

bash 复制代码
# 配置环境变量:
vim /etc/profile.d/my_env.sh
# 添加 FLUME_HOME和bin
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin
# 使得配置的环境变量立即生效:
	# 首先是要赋权限【只操作一次就行】
	chmod +x /etc/profile.d/my_env.sh
source /etc/profile.d/my_env.sh

1.3 flume配置【非必须】

如果你配置了JDK的环境变量,这里可以不配置,如果你有多个JDK,也可以在这里进行选择配置。复制 ${FLUME_HOME}/conf/ 文件夹下的 flume-env.sh.template 重命名为 flume-env.sh 并配置 JAVA_HOME:

bash 复制代码
# 复制
[root@tcloud conf]# cp flume-env.sh.template flume-env.sh
# 配置
[root@tcloud conf]# vim flume-env.sh
	# 内容如下
	# Enviroment variables can be set here.
	export JAVA_HOME=/usr/local/java

其他配置说明

flume-env.sh 除了可以配置 JAVA_HOME 还可以配置:

  • JAVA_OPTS:可以设置预加载内存、开启远程监视、保存或打印调试日志等。
  • FLUME_CLASSPATEH: Note that the Flume conf directory is always included in the classpath【这个配置是干啥的 ❓ 有知道的小伙伴儿可以留言分享一下】

2 验证

bash 复制代码
[root@tcloud conf]# flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9

安装验证结束,是不是很惊喜,就是这么 quick ⚡️ Flume官网还是比较不错的,《Flume 1.9.0 User Guide》有很多实用配置举例,大家可以进行学习!

相关推荐
大数据检索中心1 小时前
监管视角下的大数据信用报告:合规、透明与安全的博弈
大数据·安全
做运维的阿瑞1 小时前
GPU即服务:Linux与云原生如何联手开启AI算力“自来水“时代
linux·人工智能·云原生
Hello.Reader1 小时前
用 Gradle 配置 Flink 从开发到打包的一条龙实践
大数据·flink
秃头菜狗1 小时前
十三、格式化 HDFS 文件系统、启动伪分布式集群
大数据·hadoop·hdfs
想ai抽1 小时前
吃透大数据算法-霍夫曼编码(Huffman Coding)
大数据·数据结构·算法
骄傲的心别枯萎1 小时前
项目1:FFMPEG推流器讲解(一):FFMPEG重要结构体讲解
linux·ffmpeg·音视频·视频编解码·rv1126
笨蛋少年派1 小时前
Hadoop简介
大数据·hadoop
孟意昶2 小时前
Spark专题-第三部分:性能监控与实战优化(3)-数据倾斜优化
大数据·分布式·sql·spark
Lansonli2 小时前
大数据Spark(六十六):Transformation转换算子sample、sortBy和sortByKey
大数据·分布式·spark
报错小能手2 小时前
linux学习笔记(16)进程间通信——管道
linux·笔记·学习