十、flume的安装

1.解压

2.改名

3.修改权限

4.编辑环境变量并source

export FLUME_HOME=/usr/local/flume

export PATH=PATH:JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:HIVE_HOME/bin:HBASE_HOME/bin:SQOOP_HOME/bin:PIG_HOME/bin:$FLUME_HOME/bin

5.配置

6.查看版本

7.启动Hadoop

8.创建smple文件夹在此文件夹下创建a2.conf

a2.sources = r1

a2.channels = c1

a2.sinks = k1

a2.sources.r1.type = exec

a2.sources.r1.command = tail -F /simple/data.txt

a2.channels.c1.type = memory

a2.channels.c1.capacity = 1000

a2.channels.c1.transactionCapacity = 100

a2.sinks.k1.type = hdfs

a2.sinks.k1.hdfs.path = hdfs://master:9000/flume/date_hdfs.txt

a2.sinks.k1.hdfs.filePrefix = events-

a2.sinks.k1.hdfs.fileType = DataStream

a2.sources.r1.channels = c1

a2.sinks.k1.channel = c1

data.txt

(a,1,2,3,4.2,9.8)

(a,3,0,5,3.5,2.1)

(b,7,9,9,-,-)

(a,7,9,9,2.6,6.2)

(a,1,2,5,7.7,5.9)

(a,1,2,3,1.4,0.2)

9.启动flume

flume-ng agent -n a2 -f /simple/a2.conf -c ../conf/ -Dflume.root.logger=INFO,console

10. 查看

相关推荐
MXsoft6184 分钟前
破解多校区高校运维困局,协同效率提升60%的智能运维方案
大数据
币须赢1 小时前
英伟达Thor芯片套件9月发货 “物理AI”有哪些?
大数据·人工智能
lily363926046a2 小时前
智联未来 点赋科技
大数据·人工智能
学习中的阿陈2 小时前
Hadoop伪分布式环境配置
大数据·hadoop·分布式
程序员小羊!2 小时前
大数据电商流量分析项目实战:Spark SQL 基础(四)
大数据·sql·spark
TDengine (老段)4 小时前
TDengine 特殊函数 MODE() 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
xiaofan6720136 小时前
大数据与财务管理专业如何转型做金融科技?
大数据·科技·金融
kaomiao20257 小时前
空间信息与数字技术和传统GIS专业有何不同?
大数据·信息可视化·数据分析
IT研究室7 小时前
大数据毕业设计选题推荐-基于大数据的健康与生活方式数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
尺度商业7 小时前
2025服贸会“海淀之夜”,点亮“科技”与“服务”底色
大数据·人工智能·科技