【hadoop】Flume日志采集系统的安装部署

一、Flume安装与配置

步骤:

1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。

2、解压安装包:

复制代码
tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz

3、修改文件夹的名字,将其改为flume,或者创建软连接也可:

复制代码
mv ~/apache-flume-1.9.0-bin ~/flume

4、配置环境变量:

复制代码
vim ~/.bashrc

在文件末尾添加以下内容:

复制代码
export FLUME_HOME=/home/hadoop/flume
export PATH=$FLUME_HOME/bin:$PATH

保存文件,然后刷新环境变量或重新启动命令行终端:

复制代码
source ~/.bashrc

二、测试运行

可以直接使用以下Flume的默认配置启动Agent,该Agent的Source是一个序列生成器,Channel是内存,Sink是日志类型,直接打印到控制台。

Flume的配置可以在任意地方编写,只需在执行启动命令时,指定该配置即可。

步骤:

1、使用mv命令更改Flume自带的配置文件模版文件名:

复制代码
cd ~/flume/conf
vim net-flume-logger.conf

配置内容如下:

复制代码
# 把这个agent命名为a1,且定义了source、sink、channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 配置sink
a1.sinks.k1.type = logger
# 使用内存作为Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 绑定source和sink的channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动Flume Agent:

复制代码
flume-ng agent -n a1 -c ~/flume/conf -f ~/flume/conf/net-flume-logger.conf -Dflume.root.logger=INFO,console

3、接着另外打开一个终端,使用以下命令,往44444端口发送消息:

复制代码
nc localhost 44444

在Flume Agent能看到对应的Event,则Flume能够正确运行。

4、接着可以为其他机器都部署好Flume,使用scp -r命令把文件夹发送到另外两台机器,然后配置环境变量即可。

复制代码
scp -r ~/flume hadoop@slave1:~/
scp -r ~/flume hadoop@slave2:~/
相关推荐
AI数据皮皮侠4 小时前
中国上市公司数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习
Elastic 中国社区官方博客8 小时前
Elasticsearch MCP 服务器:与你的 Index 聊天
大数据·服务器·人工智能·elasticsearch·搜索引擎·ai·全文检索
文火冰糖的硅基工坊11 小时前
[创业之路-653]:社会产品与服务的分类
大数据·数据库·人工智能
key0612 小时前
ISO 27001 信息安全管理体系 (ISMS) 建设与运营
大数据·安全合规
数据要素X14 小时前
【大数据实战】如何从0到1构建用户画像系统(案例+数据仓库+Airflow调度)
大数据·数据仓库·数据治理·数据中台
TDengine (老段)15 小时前
TDengine 时序函数 DERIVATIVE 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
TDengine (老段)15 小时前
TDengine 时序函数 STATEDURATION 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
凯子坚持 c15 小时前
2025年大模型服务性能深度解析:从清华评测报告看蓝耘元生代MaaS平台的综合实力
大数据·数据库·人工智能
WLJT12312312315 小时前
中国建材网:重构建材行业生态的数字力量
大数据·人工智能
weixin_5259363316 小时前
2020年美国新冠肺炎疫情数据分析与可视化
hadoop·python·数据挖掘·数据分析·spark·数据可视化