【hadoop】Flume日志采集系统的安装部署

一、Flume安装与配置

步骤:

1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。

2、解压安装包:

复制代码
tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz

3、修改文件夹的名字,将其改为flume,或者创建软连接也可:

复制代码
mv ~/apache-flume-1.9.0-bin ~/flume

4、配置环境变量:

复制代码
vim ~/.bashrc

在文件末尾添加以下内容:

复制代码
export FLUME_HOME=/home/hadoop/flume
export PATH=$FLUME_HOME/bin:$PATH

保存文件,然后刷新环境变量或重新启动命令行终端:

复制代码
source ~/.bashrc

二、测试运行

可以直接使用以下Flume的默认配置启动Agent,该Agent的Source是一个序列生成器,Channel是内存,Sink是日志类型,直接打印到控制台。

Flume的配置可以在任意地方编写,只需在执行启动命令时,指定该配置即可。

步骤:

1、使用mv命令更改Flume自带的配置文件模版文件名:

复制代码
cd ~/flume/conf
vim net-flume-logger.conf

配置内容如下:

复制代码
# 把这个agent命名为a1,且定义了source、sink、channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 配置sink
a1.sinks.k1.type = logger
# 使用内存作为Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 绑定source和sink的channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动Flume Agent:

复制代码
flume-ng agent -n a1 -c ~/flume/conf -f ~/flume/conf/net-flume-logger.conf -Dflume.root.logger=INFO,console

3、接着另外打开一个终端,使用以下命令,往44444端口发送消息:

复制代码
nc localhost 44444

在Flume Agent能看到对应的Event,则Flume能够正确运行。

4、接着可以为其他机器都部署好Flume,使用scp -r命令把文件夹发送到另外两台机器,然后配置环境变量即可。

复制代码
scp -r ~/flume hadoop@slave1:~/
scp -r ~/flume hadoop@slave2:~/
相关推荐
Elastic 中国社区官方博客2 小时前
使用 Elasticsearch 和 AI 构建智能重复项检测
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
zhangjin12222 小时前
kettle插件-kettle http client plus插件,轻松解决https接口无法调用&文件流下载问题
大数据·http·https·etl·kettle·kettle教程·kettle插件
zuozewei9 小时前
随笔之TDengine基准测试示例
大数据·时序数据库·tdengine
数据要素X12 小时前
【数据架构10】数字政府架构篇
大数据·运维·数据库·人工智能·架构
ApacheSeaTunnel13 小时前
从日志到告警,带你用好 SeaTunnel 的事件监听能力
大数据·数据集成·seatunnel·技术分享
智海观潮14 小时前
DeepSeek在大数据领域正掀起一场深刻的变革
大数据·ai·deepseek
陈煜的博客15 小时前
elasticSearch 增删改查 java api
java·大数据·elasticsearch
zskj_zhyl16 小时前
让科技之光,温暖银龄岁月——智绅科技“智慧养老进社区”星城国际站温情纪实
大数据·人工智能·科技·生活
wzy062316 小时前
基于 Hadoop 生态圈的数据仓库实践 —— OLAP 与数据可视化(三)
hadoop·impala
不辉放弃16 小时前
Spark的累加器(Accumulator)
大数据·数据库·spark