Flume

Flume安装配置

使用的三台主机名称分别为bigdata1,bigdata2,bigdata3。所使用的安装包名称按自己的修改,安装包可去各大官网上下载

1.解压

将Master节点Flume安装包解压到/opt/module目录下

复制代码
 tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/

修改名称为:flume-1.9.0

在module下输入:

复制代码
mv /apache-flume-1.9.0-bin flume-1.9.0

2.配置

复制代码
vim /etc/profile

添加

复制代码
#FLUME
export FLUME_HOME=/opt/module/flume-1.9.0
export PATH=$PATH:$FLUME_HOME/bin
#hive
export HIVE_HOME=/opt/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

刷新

复制代码
source /etc/profile

输入检验环境变量:

复制代码
flume-ng version

将flume-env.sh.template改名为flume-env.sh, 并修改其配置

在flume/conf目录下

复制代码
mv flume-env.sh.template flume-env.sh

vim flume/conf/flume-env.sh 

增加

复制代码
export JAVA_HOME=/opt/jdk1.8

flume/conf目录下

复制代码
mv flume-conf.properties.template flume-conf.properties

vim flume-conf.properties

增加

复制代码
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
a1.sources.r1.type = exec
a1.sources.r1.command=tail-F/opt/module/hadoop-3.1.3/logs/hadoop-root-namenode-master.log
 
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bigdata1:9000/tmp/flume/%Y%m%d
a1.sinks.k1.hdfs.filePrefix = log-
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.useLocalTimeStamp = true
 
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume必须持有hadoop相关的包才能将数据输出到hdfs, 将如下包上传到flume/lib下

复制代码
cp $HADOOP_HOME/share/hadoop/common/hadoop-common-3.1.3.jar  /opt/flume/lib
cp $HADOOP_HOME/share/hadoop/common/lib/hadoop-auth-3.1.3.jar /opt/flume/lib
cp $HADOOP_HOME/share/hadoop/common/lib/commons-configuration2-2.1.1.jar /opt/flume/lib

将hadoop的hdfs-site.xml和core-site.xml 放到flume/conf下

复制代码
 rm /opt/flume-1.9.0/lib/guava-11.0.2.jar

3.启动

复制代码
flume-ng agent --conf conf/ --conf-file /opt/module/flume-1.9.0/conf/flume-conf.properties --name a1  -Dflume.root.logger=DEBUG,console

hdfs dfs -ls /tmp/flume
相关推荐
阿里云大数据AI技术39 分钟前
[VLDB 2025]面向Flink集群巡检的交叉对比学习异常检测
大数据·人工智能·flink
青云交1 小时前
电科金仓 KingbaseES 深度解码:技术突破・行业实践・沙龙邀约 -- 融合数据库的变革之力
大数据·数据安全·数字化转型·kingbasees·企业级应用·融合数据库·多模存储
shinelord明1 小时前
【计算机网络架构】网状型架构简介
大数据·分布式·计算机网络·架构·计算机科学与技术
lucky_syq2 小时前
Flink窗口:解锁流计算的秘密武器
大数据·flink
gorgor在码农4 小时前
Elasticsearch 的聚合(Aggregations)操作详解
大数据·elasticsearch·搜索引擎
BigData共享4 小时前
StarRocks 使用 JNI 读取数据湖表引发的堆内存溢出分析
大数据
Aurora_NeAr6 小时前
大数据之路:阿里巴巴大数据实践——大数据领域建模综述
大数据·后端
黄雪超6 小时前
Kafka——消费者组消费进度监控都怎么实现?
大数据·分布式·kafka
虚伪的空想家7 小时前
记录es收集日志报错问题as the final mapping would have more than 1 type[XXX,doc]
大数据·elasticsearch·搜索引擎·容器·kubernetes·log-pilot
数据与人工智能律师17 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链