基于 Filebeat 的日志收集

在现代分布式系统中,日志数据作为关键的监控与故障排查依据,越来越受到重视。本文将深入探讨 Filebeat 的技术原理、配置方法及在 ELK(Elasticsearch、Logstash、Kibana)生态系统中的应用,帮助开发者构建高效、稳定的日志收集方案。

1. Filebeat 概述

Filebeat 是 Elastic 公司推出的一款轻量级日志采集工具,专门设计用于从本地文件中读取日志数据,并将日志数据转发到下游的 Logstash 或 Elasticsearch 中。它的优势在于:

轻量级:资源占用低,适合在大量服务器上部署。

可靠性:内置断点续传功能,避免数据丢失。

灵活性:支持多种数据输入格式和高级功能,如多行日志解析、事件去重等。

2. Filebeat 工作原理

Filebeat 主要通过以下几个模块完成日志采集任务:

输入(Inputs):定义需要采集的日志文件路径、采集方式及相关选项。Filebeat 通过监控文件系统变更来捕获新增数据。

模块(Modules):预定义的日志解析配置,针对特定的应用场景(如 Nginx、System 等)进行优化配置,简化部署过程。

输出(Outputs):将采集到的日志数据发送到目标系统,如 Elasticsearch、Logstash 或其他第三方服务。

处理器(Processors):在日志数据发送前进行过滤、增强、解析等处理,如添加元数据、字段重命名等。

3.配置教程

1. 下载地址

filebeat下载地址

下载和ES对应的版本,防止出错

2.官方配置教程

官方配置教程

3.我的配置

我的电脑是ubuntu24.04的版本

bash 复制代码
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.1-linux-x86_64.tar.gz
tar xzvf filebeat-7.12.1-linux-x86_64.tar.gz

修改 filebeat.yml的配置

注释kibana的配置, 将数据直接传输到ES中

bash 复制代码
seccomp:
  default_action: allow
  syscalls:
  - action: allow
    names:
    - rseq

配置ES的地址

如果启动的时候出现了报错(runtime/cgo: pthread_create failed: Operation not permitted),需要增加这个配置

bash 复制代码
# 查看filebeat 模块
./filebeat modules list
# 启用模块
./filebeat modules enable system
# 禁用模块
./filebeat modules disable redis
# 测试配置是否正确
./filebeat test config
# 启动filebeat
./filebeat -e

执行上面命令之后,面板没有报错表示已经成功启动,但是配置文件中并没有配置收集任何的日志,所有ES中日志为空。

4. 收集系统的日志

bash 复制代码
# 启用system模块
./filebeat modules enable system
# 在安装目录打开
vim modules.d/system.yml
# system.yml修改配置
# Module: system
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.x/filebeat-module-system.html

- module: system
  # Syslog
  syslog:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/var/log/syslog*"]
  # Authorization logs
  auth:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/var/log/auth.log*"]
~


# 启动filebeat
./filebeat -e

ES中正常显示日志

5. 总结

Filebeat 作为 Elastic Stack 中的重要组成部分,通过轻量级、灵活且高效的日志采集机制,帮助企业构建稳定可靠的日志收集与处理方案。在实际应用中,根据业务场景合理配置多行日志、数据处理器以及输出目标,能够大大提升系统的日志处理能力和数据分析效率。未来,随着微服务与云原生架构的不断发展,Filebeat 将在日志管理与监控领域扮演越来越重要的角色。

相关推荐
秋风&萧瑟8 分钟前
【QT】QT的多界面跳转以及界面之间传递参数
开发语言·qt
骑牛小道士11 分钟前
JAVA- 锁机制介绍 进程锁
java·开发语言
郭涤生14 分钟前
Chapter 1: Historical Context_《C++20Get the details》_notes
开发语言·c++20
独好紫罗兰26 分钟前
洛谷题单2-P5712 【深基3.例4】Apples-python-流程图重构
开发语言·python·算法
东方佑41 分钟前
深度解析Python-PPTX库:逐层解析PPT内容与实战技巧
开发语言·python·powerpoint
水w1 小时前
【Android Studio】如何卸载干净(详细步骤)
android·开发语言·android studio·activity
weixin_307779131 小时前
判断HiveQL语句为建表语句的识别函数
开发语言·数据仓库·hive·c#
一顿操作猛如虎,啥也不是!1 小时前
JAVA-Spring Boot多线程
开发语言·python
v维焓1 小时前
C++(思维导图更新)
开发语言·c++·算法
jiet_h1 小时前
深入解析KSP(Kotlin Symbol Processing):现代Android开发的新利器
android·开发语言·kotlin