【hadoop】Flume日志采集系统的安装部署

一、Flume安装与配置

步骤:

1、使用XFTP将Flume安装包apache-flume-1.9.0-bin.tar.gz发送到master机器的主目录。

2、解压安装包:

复制代码
tar -zxvf ~/apache-flume-1.9.0-bin.tar.gz

3、修改文件夹的名字,将其改为flume,或者创建软连接也可:

复制代码
mv ~/apache-flume-1.9.0-bin ~/flume

4、配置环境变量:

复制代码
vim ~/.bashrc

在文件末尾添加以下内容:

复制代码
export FLUME_HOME=/home/hadoop/flume
export PATH=$FLUME_HOME/bin:$PATH

保存文件,然后刷新环境变量或重新启动命令行终端:

复制代码
source ~/.bashrc

二、测试运行

可以直接使用以下Flume的默认配置启动Agent,该Agent的Source是一个序列生成器,Channel是内存,Sink是日志类型,直接打印到控制台。

Flume的配置可以在任意地方编写,只需在执行启动命令时,指定该配置即可。

步骤:

1、使用mv命令更改Flume自带的配置文件模版文件名:

复制代码
cd ~/flume/conf
vim net-flume-logger.conf

配置内容如下:

复制代码
# 把这个agent命名为a1,且定义了source、sink、channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 配置sink
a1.sinks.k1.type = logger
# 使用内存作为Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 绑定source和sink的channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动Flume Agent:

复制代码
flume-ng agent -n a1 -c ~/flume/conf -f ~/flume/conf/net-flume-logger.conf -Dflume.root.logger=INFO,console

3、接着另外打开一个终端,使用以下命令,往44444端口发送消息:

复制代码
nc localhost 44444

在Flume Agent能看到对应的Event,则Flume能够正确运行。

4、接着可以为其他机器都部署好Flume,使用scp -r命令把文件夹发送到另外两台机器,然后配置环境变量即可。

复制代码
scp -r ~/flume hadoop@slave1:~/
scp -r ~/flume hadoop@slave2:~/
相关推荐
渲吧云渲染27 分钟前
SaaS模式重构工业软件竞争规则,助力中小企业快速实现数字化转型
大数据·人工智能·sass
青云交2 小时前
Java 大视界 -- 基于 Java 的大数据机器学习模型在图像识别中的迁移学习与模型优化
java·大数据·迁移学习·图像识别·模型优化·deeplearning4j·机器学习模型
java_logo8 小时前
Docker 部署 Elasticsearch 全流程手册
大数据·运维·mongodb·elasticsearch·docker·容器
墨香幽梦客9 小时前
掌控制造脉络:电子元器件行业常用ERP系统概览与参考指南
大数据·人工智能
B站_计算机毕业设计之家9 小时前
python舆情分析可视化系统 情感分析 微博 爬虫 scrapy爬虫技术 朴素贝叶斯分类算法大数据 计算机✅
大数据·爬虫·python·scrapy·数据分析·1024程序员节·舆情分析
汤姆yu9 小时前
2026版基于python大数据的电影分析可视化系统
大数据·python·1024程序员节·电影分析可视化
QMY5205209 小时前
TikTok 独立 IP 解决方案:独享静态住宅 IP + 环境隔离 + 粘性会话
大数据·jupyter·数据挖掘·数据分析·postman·1024程序员节
熟悉的新风景10 小时前
window安装Elasticsearch(es)
大数据·elasticsearch·jenkins
励志成为糕手10 小时前
Hive数据仓库:架构原理与实践指南
大数据·数据仓库·hive·1024程序员节·hql
isNotNullX10 小时前
一文讲清:数据清洗、数据中台、数据仓库、数据治理
大数据·网络·数据库·数据分析·1024程序员节