Flume入门

第1关:Flume 简介

1、一个agent包含哪些组件?ACD

A、source B、event C、channel D、sink

2、每个组件必须要配置以下哪些内容 ABD

A、名称

B、类型

C、拦截器

D、属性集

3、以下哪些是flume的特点:B

A、可靠性

B、可恢复性

C、高可用性

D、唯一性

第2关:采集目录下所有新文件到Hdfs

代码文件

复制代码
a1.sources = source1
a1.sinks = sink1
a1.channels = channel1
 
# 配置source组件
a1.sources.source1.type = spooldir
a1.sources.source1.spoolDir = /opt/flume/data
##定义文件上传完后的后缀,默认是.COMPLETED
a1.sources.source1.fileSuffix=.FINISHED
##默认是2048,如果文件行数据量超过2048字节(1k),会被截断,导致数据丢失
a1.sources.source1.deserializer.maxLineLength=5120
 
# 配置sink组件
a1.sinks.sink1.type = hdfs
a1.sinks.sink1.hdfs.path =hdfs://localhost:9000/flume
#上传文件的前缀
a1.sinks.sink1.hdfs.filePrefix = flume
#上传文件的后缀
a1.sinks.sink1.hdfs.fileSuffix = .log
#积攒多少个Event才flush到HDFS一次
a1.sinks.sink1.hdfs.batchSize= 100
a1.sinks.sink1.hdfs.fileType = DataStream
a1.sinks.sink1.hdfs.writeFormat =Text
 
## roll:滚动切换:控制写文件的切换规则
## 按文件体积(字节)来切
a1.sinks.sink1.hdfs.rollSize = 512000
## 按event条数切   
a1.sinks.sink1.hdfs.rollCount = 1000000
## 按时间间隔切换文件,多久生成一个新的文件
a1.sinks.sink1.hdfs.rollInterval = 4
 
## 控制生成目录的规则
a1.sinks.sink1.hdfs.round = true
##多少时间单位创建一个新的文件夹
a1.sinks.sink1.hdfs.roundValue = 10
a1.sinks.sink1.hdfs.roundUnit = minute
 
#是否使用本地时间戳
a1.sinks.sink1.hdfs.useLocalTimeStamp = true
 
# channel组件配置
a1.channels.channel1.type = memory
## event条数
a1.channels.channel1.capacity = 500000
##flume事务控制所需要的缓存容量600条event
a1.channels.channel1.transactionCapacity = 600
 
# 绑定source、channel和sink之间的连接
a1.sources.source1.channels = channel1
a1.sinks.sink1.channel = channel1

命令行代码:

复制代码
start-dfs.sh
hadoop dfs -mkdir /flume
相关推荐
lauo44 分钟前
智体知识库:ai-docs对分布式智体编程语言Poplang和javascript的语法的比较(知识库问答)
开发语言·前端·javascript·分布式·机器人·开源
塔能物联运维1 小时前
塔能科技解节能密码,工厂成本“效益方程式”精准破题
大数据·人工智能
Lilith的AI学习日记3 小时前
MetaGPT深度解析:重塑AI协作开发的智能体框架实践指南
大数据·人工智能·机器学习·aigc
JKIT沐枫4 小时前
PHP如何能获取网站上返回的数组指南
android·大数据
鸿乃江边鸟4 小时前
Starrocks的Bitmap索引和Bloom filter索引以及全局字典
大数据·starrocks·sql
戈云 11065 小时前
人工智能图像识别Spark Core3
人工智能·spark·scala
Hadoop_Liang5 小时前
openEuler24.03 LTS下安装Spark
大数据·分布式·spark·openeuler
ylatin5 小时前
Elasticsearch 索引 es
大数据·linux·elasticsearch
杰克逊的日记7 小时前
es的告警信息
大数据·elasticsearch·搜索引擎