linux系统elk集群组件filebeat部署

丨析木丨2024-03-08 11:40

Filebeat 部署

- [Filebeat 部署](#Filebeat 部署)
- - - 下载
    - 解压
    - 修改配置
    - 启动

Filebeat 部署

为什么用 Filebeat ，而不用原来的 Logstash 呢？

原因很简单，资源消耗比较大。

Filebeat 需要部署在每台应用服务器上，可以通过 Salt 来推送并安装配置。

下载

shell 复制代码

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.2-x86_64.rpm

解压

shell 复制代码

yum install -y filebeat-7.13.2-x86_64.rpm

修改配置

修改 Filebeat 配置，支持收集本地目录日志，并输出日志到 Kafka 集群中

shell 复制代码

vim filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
output.logstash:                      #哪里接受数据，写哪里可以是es，logstash，kafka
  hosts: ["10.3.145.14:5000"]

output.kafka:   
  hosts: ["10.3.145.41:9092","10.3.145.42:9092","10.3.145.43:9092"]
  topic: 'nginx'


# 注意，如果需要重新读取，请删除/data/registry目录

Filebeat 6.0 之后一些配置参数变动比较大，比如 document_type 就不支持，需要用 fields 来代替等等。

启动

shell 复制代码

./filebeat -e -c filebeat.yml

复制代码

filebeat -e -c filebeat.yml  //运行filebeat

service filebeat start       //运行filebeat

供应数据的日志目录不是默认目录，需要在子配置文件中更改默认数据目录