多输入(input)多输出(output)验证

#作者:程宏斌

文章目录

前言

需要设计并执行一组测试用例,这些测试用例将包括以子文件形式组织的多输入(input)和多输出(output)的场景。

Flb 1.9.4 INCLUDE配置测试

测试方案

这里设定了两组输入和输出:一组从/vdata/logtest/input1/*收集日志,输出到/var/log/pods/logtest/regex-input1目录;另一组从/vdata/logtest/input2/*收集日志,发送到/var/log/pods/logtest/regex-input2。

测试配置文件

fluent-bit.conf

复制代码
@INCLUDE 9.2.2input.conf
@INCLUDE 9.2.2output.conf
[SERVICE]
    Flush 1
    Parsers_File parsers.conf
    HTTP_Server  On
    HTTP_Listen  0.0.0.0
    HTTP_PORT    3194
[INPUT]
    Name         tail
    Tag          regex-input1
    DB           ./db/regex-fluent.db
    Read_from_Head true
    Path  /vdata/logtest/input1/*.log
    Path_Key  pod_log_path
[FILTER]
    Name                  multiline
    Match                 *
    multiline.key_content log
    multiline.parser      multiline-regex-go
    emitter_mem_buf_limit 2048M
[FILTER]
    Name modify
    Match *
    Add paas_log_belong         user
    Add paas_log_type           middleware
    Add paas_collection_type    userfile
    Add paas_account_id         123456789
    Add paas_region_id          lftst
    Add paas_product_id         ccc
    Add paas_instance_name      test10
    Add paas_host_ip            127.0.0.1
    Add paas_manager_ip         127.0.0.1
    Add pod_namespace           default
    Add pod_name                test-0
    Add pod_container_name      test 
[OUTPUT]
    Name file
    Match regex-input1
    Path /var/log/pods/logtest

input.conf

复制代码
[INPUT]
    Name         tail
    Tag          regex-input2
    DB           ./db/regex-fluent.db
    Read_from_Head true
    Path  /vdata/logtest/input2/*.log
    Path_Key  pod_log_path

output.conf

复制代码
[OUTPUT]
    Name file
    Match regex-input2
    Path /var/log/pods/logtest

测试命令

复制代码
mkdir -p /vdata/logtest/input1 /vdata/logtest/input2
touch /vdata/logtest/input1/error.log /vdata/logtest/input2/error.log
./bin/fluent-bit-1.9.4 -c etc/9.2.2fluent-bit.conf &>./logs/fluent-bit.log &
#此处根据多个input修改脚本,让日志文件同时输出两份到不同的目录
timeout 1200 bash 9create_test_log.sh 40 &

Flb 3.0.2 INCLUDE配置测试

测试方案

这里设定了两组输入和输出:一组从/var/log/pods/logtest/input1/.log收集日志,输出到/home/logtest目录;另一组从/var/log/pods/logtest/input2/.log收集日志,发送到Kafka。

测试配置文件

fluent-bit.conf

这里使用上一章节的INCLUDE配置文件,因为在3.0.2版本和1.9.4版本中,multiline处理参数有所不同。

复制代码
@INCLUDE 9.2.2input.conf
@INCLUDE 9.2.2output.conf
[SERVICE]
    Flush 1
    Parsers_File parsers.conf
    HTTP_Server  On
    HTTP_Listen  0.0.0.0
    HTTP_PORT    3302
[INPUT]
    Name         tail
    Tag          regex-input1
    DB           ./db/regex-fluent.db
    Read_from_Head true
    Path  /vdata/logtest/input1/*.log
    Path_Key  pod_log_path
    multiline.parser      multiline-regex-go
[FILTER]
    Name modify
    Match *
    Add paas_log_belong         user
    Add paas_log_type           middleware
    Add paas_collection_type    userfile
    Add paas_account_id         123456789
    Add paas_region_id          lftst
    Add paas_product_id         ccc
    Add paas_instance_name      test10
    Add paas_host_ip            127.0.0.1
    Add paas_manager_ip         127.0.0.1
    Add pod_namespace           default
    Add pod_name                test-0
    Add pod_container_name      test 
[OUTPUT]
    Name file
    Match regex-input1
    Path /var/log/pods/logtest

启动命令

复制代码
mkdir -p /vdata/logtest/input1 /vdata/logtest/input2
touch /vdata/logtest/input1/error.log /vdata/logtest/input2/error.log
./bin/fluent-bit-3.0.2 -c etc/9.3.2fluent-bit.conf &>./logs/fluent-bit.log &
#此处根据多个input修改脚本,让日志文件同时输出两份到不同的目录
timeout 1200 bash 9create_test_log.sh 40 &

结论

监控数据汇总:

结论一:

fluent-bit能够根据 INCLUDE 配置的规则,将来自不同输入源的日志条目发送到不同的输出目标,实现灵活的日志处理和管理。

结论二:

使用多组 input 和 output 并没有明显提升 Fluent Bit 的采集性能。从测试结果可以看出,虽然不同版本的 Fluent Bit 在单独配置 input 和 output 时表现出一定的性能差异,但在同时配置多组 input 和 output 时,并未表现出显著的性能提升。这表明,增加多组配置可以简化配置的阅读性,但并不能显著提高日志采集的效率。

相关推荐
宽海智能仓储物流6 小时前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
无奈笑天下6 小时前
银河麒麟上DHCP无法获取IP地址问题处理
linux·运维·服务器·网络协议
分布式存储与RustFS6 小时前
Rivet 的 Agent 状态存进自建 RustFS:主桶配置与上线边界
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
蜗牛一步步往上爬6 小时前
第六章 使用Linux环境变量
linux·运维
如夏倾城6 小时前
BGP(Border Gateway Protocol 边界网关协议)
运维·服务器·网络·gateway·信息与通信
Lansonli7 小时前
大数据Spark(九十):Spark广播变量与累加器详解
服务器·前端·ajax
飞奔的瓜牛7 小时前
ELK + Filebeat 实战:从零搭建日志采集与分析平台
运维·elk
Summer-Bright8 小时前
企业落地智能体,供应链签名还是空白:1862 个 MCP 服务器无认证裸奔
服务器·人工智能·github·mcp
yyuuuzz8 小时前
nginx 502 排查,先看上游超时那一行
android·java·运维·nginx·502
小乖写代码10 小时前
帧协议(TCP) · TCP Framing
网络·网络协议·tcp/ip·tcp