linux系统elk集群组件filebeat部署

Filebeat 部署

Filebeat 部署

为什么用 Filebeat ,而不用原来的 Logstash 呢?

原因很简单,资源消耗比较大。

Filebeat 需要部署在每台应用服务器上,可以通过 Salt 来推送并安装配置。

下载
shell 复制代码
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.2-x86_64.rpm
解压
shell 复制代码
yum install -y filebeat-7.13.2-x86_64.rpm
修改配置

修改 Filebeat 配置,支持收集本地目录日志,并输出日志到 Kafka 集群中

shell 复制代码
vim filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
output.logstash:                      #哪里接受数据,写哪里可以是es,logstash,kafka
  hosts: ["10.3.145.14:5000"]

output.kafka:   
  hosts: ["10.3.145.41:9092","10.3.145.42:9092","10.3.145.43:9092"]
  topic: 'nginx'


# 注意,如果需要重新读取,请删除/data/registry目录 

Filebeat 6.0 之后一些配置参数变动比较大,比如 document_type 就不支持,需要用 fields 来代替等等。

启动
shell 复制代码
./filebeat -e -c filebeat.yml
复制代码
filebeat -e -c filebeat.yml  //运行filebeat

service filebeat start       //运行filebeat

供应数据的日志目录不是默认目录,需要在子配置文件中更改默认数据目录
相关推荐
无忧.芙桃5 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
谙弆悕博士7 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
戊本菌8 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx9 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
江无行者9 小时前
Linux 服务器 top 命令详解
linux
HMS工业网络10 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕11 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
嵌入式 Linux手记12 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风12 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso12 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构