基于 Filebeat 的日志收集

在现代分布式系统中,日志数据作为关键的监控与故障排查依据,越来越受到重视。本文将深入探讨 Filebeat 的技术原理、配置方法及在 ELK(Elasticsearch、Logstash、Kibana)生态系统中的应用,帮助开发者构建高效、稳定的日志收集方案。

1. Filebeat 概述

Filebeat 是 Elastic 公司推出的一款轻量级日志采集工具,专门设计用于从本地文件中读取日志数据,并将日志数据转发到下游的 Logstash 或 Elasticsearch 中。它的优势在于:

轻量级:资源占用低,适合在大量服务器上部署。

可靠性:内置断点续传功能,避免数据丢失。

灵活性:支持多种数据输入格式和高级功能,如多行日志解析、事件去重等。

2. Filebeat 工作原理

Filebeat 主要通过以下几个模块完成日志采集任务:

输入(Inputs):定义需要采集的日志文件路径、采集方式及相关选项。Filebeat 通过监控文件系统变更来捕获新增数据。

模块(Modules):预定义的日志解析配置,针对特定的应用场景(如 Nginx、System 等)进行优化配置,简化部署过程。

输出(Outputs):将采集到的日志数据发送到目标系统,如 Elasticsearch、Logstash 或其他第三方服务。

处理器(Processors):在日志数据发送前进行过滤、增强、解析等处理,如添加元数据、字段重命名等。

3.配置教程

1. 下载地址

filebeat下载地址

下载和ES对应的版本,防止出错

2.官方配置教程

官方配置教程

3.我的配置

我的电脑是ubuntu24.04的版本

bash 复制代码
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.1-linux-x86_64.tar.gz
tar xzvf filebeat-7.12.1-linux-x86_64.tar.gz

修改 filebeat.yml的配置

注释kibana的配置, 将数据直接传输到ES中

bash 复制代码
seccomp:
  default_action: allow
  syscalls:
  - action: allow
    names:
    - rseq

配置ES的地址

如果启动的时候出现了报错(runtime/cgo: pthread_create failed: Operation not permitted),需要增加这个配置

bash 复制代码
# 查看filebeat 模块
./filebeat modules list
# 启用模块
./filebeat modules enable system
# 禁用模块
./filebeat modules disable redis
# 测试配置是否正确
./filebeat test config
# 启动filebeat
./filebeat -e

执行上面命令之后,面板没有报错表示已经成功启动,但是配置文件中并没有配置收集任何的日志,所有ES中日志为空。

4. 收集系统的日志

bash 复制代码
# 启用system模块
./filebeat modules enable system
# 在安装目录打开
vim modules.d/system.yml
# system.yml修改配置
# Module: system
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.x/filebeat-module-system.html

- module: system
  # Syslog
  syslog:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/var/log/syslog*"]
  # Authorization logs
  auth:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/var/log/auth.log*"]
~


# 启动filebeat
./filebeat -e

ES中正常显示日志

5. 总结

Filebeat 作为 Elastic Stack 中的重要组成部分,通过轻量级、灵活且高效的日志采集机制,帮助企业构建稳定可靠的日志收集与处理方案。在实际应用中,根据业务场景合理配置多行日志、数据处理器以及输出目标,能够大大提升系统的日志处理能力和数据分析效率。未来,随着微服务与云原生架构的不断发展,Filebeat 将在日志管理与监控领域扮演越来越重要的角色。

相关推荐
Thomas_YXQ几秒前
Unity3D ILRuntime与Scripting Backend整合指南
服务器·开发语言·unity·unity3d
Chandler244 分钟前
Go:反射
开发语言·后端·golang
盒子691011 分钟前
go for 闭环问题【踩坑记录】
开发语言·后端·golang
加点油。。。。13 分钟前
C语言高频面试题——strcpy与memcpy区别
c语言·开发语言
拓端研究室TRL38 分钟前
Python+AI提示词比特币数据预测:Logistic逻辑回归、SVC及XGB特征工程优化实践
开发语言·人工智能·python·算法·逻辑回归
weixin_307779131 小时前
实现AWS Step Function安全地请求企业内部API返回数据
开发语言·python·云计算·aws
刘 大 望1 小时前
Java写数据结构:栈
java·开发语言·数据结构
oscar9991 小时前
JavaScript与TypeScript
开发语言·javascript·typescript
zhangjipinggom1 小时前
怎么安装python3.5-以及怎么在这个环境下安装包
开发语言·python
格子先生Lab1 小时前
Java反射机制深度解析与应用案例
java·开发语言·python·反射