十、flume的安装

1.解压

2.改名

3.修改权限

4.编辑环境变量并source

export FLUME_HOME=/usr/local/flume

export PATH=PATH:JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:HIVE_HOME/bin:HBASE_HOME/bin:SQOOP_HOME/bin:PIG_HOME/bin:$FLUME_HOME/bin

5.配置

6.查看版本

7.启动Hadoop

8.创建smple文件夹在此文件夹下创建a2.conf

a2.sources = r1

a2.channels = c1

a2.sinks = k1

a2.sources.r1.type = exec

a2.sources.r1.command = tail -F /simple/data.txt

a2.channels.c1.type = memory

a2.channels.c1.capacity = 1000

a2.channels.c1.transactionCapacity = 100

a2.sinks.k1.type = hdfs

a2.sinks.k1.hdfs.path = hdfs://master:9000/flume/date_hdfs.txt

a2.sinks.k1.hdfs.filePrefix = events-

a2.sinks.k1.hdfs.fileType = DataStream

a2.sources.r1.channels = c1

a2.sinks.k1.channel = c1

data.txt

(a,1,2,3,4.2,9.8)

(a,3,0,5,3.5,2.1)

(b,7,9,9,-,-)

(a,7,9,9,2.6,6.2)

(a,1,2,5,7.7,5.9)

(a,1,2,3,1.4,0.2)

9.启动flume

flume-ng agent -n a2 -f /simple/a2.conf -c ../conf/ -Dflume.root.logger=INFO,console

10. 查看

相关推荐
weixin_lynhgworld19 分钟前
剧本杀小程序系统开发:内容生态与商业模式的双轮驱动
大数据·小程序
QYResearch19 分钟前
QYResearch市场调研工业黑光灯市场份额
大数据
QYResearch26 分钟前
qyresearch全球不锈钢板市场占有率排名
大数据
视***间2 小时前
边缘计算重塑监控系统:从 “被动录像” 到 “主动智能” 的变革---视程空间
大数据·人工智能·边缘计算·ai算力·视程空间
一只专注做软件的湖南人2 小时前
亚马逊 SP-API 深度开发:关键字搜索接口的购物意图挖掘与合规竞品分析
大数据·数据挖掘·api
莫叫石榴姐2 小时前
字节数开一面
大数据·数据仓库·职场和发展
F36_9_2 小时前
内部目标与客户目标冲突时,如何协调
大数据·产品运营
风清再凯3 小时前
02_ES索引规范&kibana
大数据·elasticsearch·搜索引擎
努力犯错3 小时前
AI视频修复技术入门:从Sora水印谈起,我们如何“抹去”未来影像的瑕疵?
大数据·人工智能·语言模型·开源·音视频
货拉拉技术3 小时前
货拉拉用户画像基于 Apache Doris 的数据模型设计与实践
大数据