【hadoop】Flume日志采集系统的安装部署

一、Flume安装与配置

步骤:

1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。

2、解压安装包:

复制代码
tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz

3、修改文件夹的名字,将其改为flume,或者创建软连接也可:

复制代码
mv ~/apache-flume-1.9.0-bin ~/flume

4、配置环境变量:

复制代码
vim ~/.bashrc

在文件末尾添加以下内容:

复制代码
export FLUME_HOME=/home/hadoop/flume
export PATH=$FLUME_HOME/bin:$PATH

保存文件,然后刷新环境变量或重新启动命令行终端:

复制代码
source ~/.bashrc

二、测试运行

可以直接使用以下Flume的默认配置启动Agent,该Agent的Source是一个序列生成器,Channel是内存,Sink是日志类型,直接打印到控制台。

Flume的配置可以在任意地方编写,只需在执行启动命令时,指定该配置即可。

步骤:

1、使用mv命令更改Flume自带的配置文件模版文件名:

复制代码
cd ~/flume/conf
vim net-flume-logger.conf

配置内容如下:

复制代码
# 把这个agent命名为a1,且定义了source、sink、channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 配置sink
a1.sinks.k1.type = logger
# 使用内存作为Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 绑定source和sink的channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动Flume Agent:

复制代码
flume-ng agent -n a1 -c ~/flume/conf -f ~/flume/conf/net-flume-logger.conf -Dflume.root.logger=INFO,console

3、接着另外打开一个终端,使用以下命令,往44444端口发送消息:

复制代码
nc localhost 44444

在Flume Agent能看到对应的Event,则Flume能够正确运行。

4、接着可以为其他机器都部署好Flume,使用scp -r命令把文件夹发送到另外两台机器,然后配置环境变量即可。

复制代码
scp -r ~/flume hadoop@slave1:~/
scp -r ~/flume hadoop@slave2:~/
相关推荐
EkihzniY5 分钟前
结构化 OCR 技术:破解各类检测报告信息提取难题
大数据·ocr
吱吱企业安全通讯软件13 分钟前
吱吱企业通讯软件保证内部通讯安全,搭建数字安全体系
大数据·网络·人工智能·安全·信息与通信·吱吱办公通讯
云手机掌柜18 分钟前
Tumblr长文运营:亚矩阵云手机助力多账号轮询与关键词布局系统
大数据·服务器·tcp/ip·矩阵·流量运营·虚幻·云手机
拓端研究室3 小时前
专题:2025全球消费趋势与中国市场洞察报告|附300+份报告PDF、原数据表汇总下载
大数据·信息可视化·pdf
超级迅猛龙3 小时前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc
青云交4 小时前
Java 大视界 -- Java 大数据分布式计算在基因测序数据分析与精准医疗中的应用(400)
java·hadoop·spark·分布式计算·基因测序·java 大数据·精准医疗
阿里云大数据AI技术5 小时前
MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!
大数据
Lx3528 小时前
Hadoop小文件处理难题:合并与优化的最佳实践
大数据·hadoop
激昂网络9 小时前
android kernel代码 common-android13-5.15 下载 编译
android·大数据·elasticsearch