十、flume的安装

1.解压

2.改名

3.修改权限

4.编辑环境变量并source

export FLUME_HOME=/usr/local/flume

export PATH=PATH:JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:HIVE_HOME/bin:HBASE_HOME/bin:SQOOP_HOME/bin:PIG_HOME/bin:$FLUME_HOME/bin

5.配置

6.查看版本

7.启动Hadoop

8.创建smple文件夹在此文件夹下创建a2.conf

a2.sources = r1

a2.channels = c1

a2.sinks = k1

a2.sources.r1.type = exec

a2.sources.r1.command = tail -F /simple/data.txt

a2.channels.c1.type = memory

a2.channels.c1.capacity = 1000

a2.channels.c1.transactionCapacity = 100

a2.sinks.k1.type = hdfs

a2.sinks.k1.hdfs.path = hdfs://master:9000/flume/date_hdfs.txt

a2.sinks.k1.hdfs.filePrefix = events-

a2.sinks.k1.hdfs.fileType = DataStream

a2.sources.r1.channels = c1

a2.sinks.k1.channel = c1

data.txt

(a,1,2,3,4.2,9.8)

(a,3,0,5,3.5,2.1)

(b,7,9,9,-,-)

(a,7,9,9,2.6,6.2)

(a,1,2,5,7.7,5.9)

(a,1,2,3,1.4,0.2)

9.启动flume

flume-ng agent -n a2 -f /simple/a2.conf -c ../conf/ -Dflume.root.logger=INFO,console

10. 查看

相关推荐
鹧鸪云光伏10 分钟前
光伏财务管理:在阳光与资本的精密计算中前行
大数据·光伏设计
智象科技14 分钟前
智象科技赋能金融、证券行业 IT 运维
大数据·运维·网络·数据库·科技·金融·智能运维
WoShop商城源码1 小时前
短视频矩阵系统哪家好?全面解析与推荐
大数据·人工智能·其他·矩阵
倔强的石头1062 小时前
大数据时代下的时序数据库选型指南:基于工业场景的IoTDB技术优势与适用性研究
大数据·时序数据库·iotdb
火火PM打怪中5 小时前
产品经理如何绘制服务蓝图(Service Blueprint)
大数据·产品经理
Elastic 中国社区官方博客13 小时前
在 Windows 上使用 Docker 运行 Elastic Open Crawler
大数据·windows·爬虫·elasticsearch·搜索引擎·docker·容器
一切顺势而行15 小时前
Flink cdc 使用总结
大数据·flink
淦暴尼17 小时前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark
Ashlee_code18 小时前
裂变时刻:全球关税重构下的券商交易系统跃迁路线图(2025-2027)
java·大数据·数据结构·python·云原生·区块链·perl
Flink_China18 小时前
淘天AB实验分析平台Fluss落地实践:更适合实时OLAP的消息队列
大数据·flink