Apache Flume(4):日志文件监控

1 案例说明

企业中应用程序部署后会将日志写入到文件中,可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。

2 使用Exec Soucre

Exec Source通过指定命令监控文件的变化,加粗属性为必须设置的。

|-----------------|-------------|---------------------------------------|
| 属性名 | 默认值 | 说明 |
| channels | -- | |
| type | -- | exec |
| command | -- | 要执行的命令 |
| restart | false | 如果执行命令挂了是否要重启 |
| batchSize | 20 | 同时往channel发送的最大行数 |
| batchTimeout | 3000 | 批量发送超时时间 |
| selector.type | replicating | channel选择器replicating 或者 multiplexing |
| selector.* | | 通道选择器匹配属性 |
| interceptors | -- | 拦截器 |
| interceptors.* | | |

添加配置文件exec-log.conf

复制代码
# 定义agent名称为a1
# 设置3个组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source类型为exec,命令为 tail -F app.log
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F conf/app.log

# 配置sink类型为Logger
a1.sinks.k1.type = logger

# 配置channel类型为内存,内存队列最大容量为1000,一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 将source和sink绑定到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

复制代码
bin/flume-ng agent -n a1 -c ./ -f conf/exec-log.conf -Dflume.root.logger=INFO,console

可以查看agent控制台接收到了最新的日志

但是以上方法有重复消费的问题,每次启动都会全量读取log文件里的全部数据,下面我们解决重复消费问题。

3 解决重复消费问题

|--------------|---------------------------------|---------------------------|
| 属性名 | 默认值 | 说明 |
| channels | -- | |
| type | -- | TAILDIR. |
| filegroups | -- | 可以定义多个组. 每个组里包含一序列被监控的文件 |
| filegroups. | -- | 被监控文件的绝对路径,文件名支持正则表达式 |
| positionFile | ~/.flume/taildir_position.json | 记录监控文件的绝对路径、上次读取位置的json文件 |

4 新增dir-log.conf

复制代码
# 定义agent名称为a1
# 设置3个组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置source类型为TAILDIR
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /home/flume/position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /home/flume/conf/app.log
a1.sources.r1.filegroups.f2 = /home/flume/conf/logs/.*log

# 配置sink类型为Logger
a1.sinks.k1.type = logger

# 配置channel类型为内存,内存队列最大容量为1000,一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 将source和sink绑定到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

复制代码
bin/flume-ng agent -n a1 -c ./ -f conf/dir-log.conf -Dflume.root.logger=INFO,console
相关推荐
沧海一粟青草喂马21 分钟前
抖音批量上传视频怎么弄?抖音矩阵账号管理的专业指南
大数据·人工智能·矩阵
理智的煎蛋1 小时前
CentOS/Ubuntu安装显卡驱动与GPU压力测试
大数据·人工智能·ubuntu·centos·gpu算力
赵孝正1 小时前
GitLab 分支管理与 Push 问题全解析
大数据·elasticsearch·gitlab
嘉禾望岗5032 小时前
Yarn介绍与HA搭建
大数据·hadoop·yarn
小麦矩阵系统永久免费2 小时前
小麦矩阵系统:让短视频分发实现抖音快手小红书全覆盖
大数据·人工智能·矩阵
IT研究室2 小时前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
Lx3523 小时前
Hadoop性能瓶颈分析:从JVM到磁盘IO的全链路优化
大数据·hadoop
大数据点灯人3 小时前
【Flink】Flink Runtime 开发指南
大数据·flink
一个java开发4 小时前
distributed.client.Client 用户可调用函数分析
大数据·python
字节数据平台5 小时前
一客一策:Data Agent 如何重构大模型时代的智能营销
大数据·人工智能·重构