ELFK的部署

目录

一、ELFK(Filebeat+ELK)

[1. Filebeat的作用](#1. Filebeat的作用)

[2. ELFK工作流程](#2. ELFK工作流程)

[3. ELFK的部署](#3. ELFK的部署)

[3.1 服务器配置](#3.1 服务器配置)

[3.2 服务器环境](#3.2 服务器环境)

安装filebeat

[​编辑 修改filebeat主配置文件](#编辑 修改filebeat主配置文件)

​编辑​编辑​编辑在logstash组件所在节点(apache节点)上新建一个logstash配置文件

浏览器验证

浏览器访问http://192.168.209.60看是否生成filebeat索引

​编辑

​编辑

二、总结


一、ELFK(Filebeat+ELK)

1. Filebeat的作用

由于logstash会大量占用系统的内存资源,一般我们会使用filebeat替换logstash收集日志的功能,组成ELFK架构。 或用fluentd替代logstash组成EFK(elasticsearch/fluentd/kibana),由于fluentd是由Go语言开发的,一般在K8S环境中使用较多。

2. ELFK工作流程

(1)filebeat将日志收集后交由logstash处理

(2)logstash进行过滤、格式化等操作,满足过滤条件的数据将发送给ES

(3)ES对数据进行分片存储,并提供索引功能

(4)kibana对数据进行图形化的web展示,并提供索引接口

3. ELFK的部署

3.1 服务器配置
服务器 主机名 ip地址 主要软件部署
node1节点 node1 192.168.209.60 ElasticSearch、Kibana
node2节点 node2 192.168.209.61 ElasticSearch
apache节点 apache 192.168.209.62 Logstash、Apache
filebeat节点 filebeat 192.168.209.63 Filebeat

在ELK的基础上,增加一台filebeat服务器,因此只需再前述ELK部署的前提下进一步操作。

3.2 服务器环境

filebeat节点

复制代码
[root@localhost ~]# hostnamectl set-hostname filebeat
[root@localhost ~]# bash
[root@filebeat ~]# systemctl stop firewalld
[root@filebeat ~]# systemctl disable firewalld
[root@filebeat ~]# setenforce 0
安装filebeat

filebeat节点

复制代码
[root@filebeat ~]# cd /opt
[root@filebeat opt]# rz -E
rz waiting to receive.
[root@filebeat opt]# ls
[root@filebeat opt]# rpm -ivh filebeat-6.6.1-x86_64.rpm 
修改filebeat主配置文件

filebeat节点

复制代码
[root@filebeat opt]# cd /etc/filebeat/
[root@filebeat filebeat]# cp filebeat.yml filebeat.yml.bak
[root@filebeat filebeat]# vim filebeat.yml
 
filebeat.prospectors:
##21行,指定log类型,从日志文件中读取消息
- type: log
##24行,开启日志收集功能,默认为false
  enabled: true
##28行,指定监控的日志文件
    - /var/log/*.log
##29行,添加收集/var/log/messages
    - /var/log/messages
##31行,添加以下内容,注意格式
  fields: 
    service_name: filebeat
    log_type: log
    service_id: 192.168.209.63
#-------------------------- Elasticsearch output ------------------------------
该区域内容全部注释
#----------------------------- Logstash output --------------------------------
##157行,取消注释
output.logstash:
##159行,取消注释,指定logstash的IP和端口号
  hosts: ["192.168.209.62:5044"]
 
[root@filebeat filebeat]# /usr/bin/filebeat -e -c filebeat.yml
#启动filebeat,-e记录到stderr并禁用syslog /文件输出,-c指定配置文件
在logstash组件所在节点(apache节点)上新建一个logstash配置文件
复制代码
[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim logstash.conf
 
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.209.60:9200", "192.168.209.61:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}
 
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf 
浏览器验证
浏览器访问http://192.168.209.60看是否生成filebeat索引

浏览器访问http://192.168.209.60:5601登录kibana, 添加"filebeat-*"索引后在"Discover"中查看filebeat日志收集情况。

二、总结

这是一种更加完善和灵活的架构,适合处理复杂的日志数据

在这种模式下,filebeat (beats)负贵收日志文件,并将其发送到ogstash进行处理。logtash可以对日志数据进行更多的过滤、转换和增强的操作 ,并将其发送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据

相关推荐
cpolar技术支持1 小时前
容器数是 6 个、6 个、还是 6 个,可服务早被换掉了:用一个 5.5MB 的 Go 单文件把机器每周的变化记下来,再给它套一层别人看不懂的入口
python·docker·ai·cpolar
csdn_aspnet1 天前
macOS 10 、Docker 玩轉 MySQL
运维·mysql·macos·docker·容器·mac
对象存储与RustFS1 天前
Jenkins 的构建产物别堆在控制器磁盘:用 RustFS 当它的 S3 工件仓库
后端·docker·云原生
java_logo2 天前
Docker 部署 DeepSeek Harness(moelin):轻松搭建带登录的本地 AI Agent 平台
运维·docker·容器·ai agent·deepseek·harness·轩辕镜像
xbzb2 天前
容器 IP 每次重建都变?docker network 五种模式与自定义网桥固定地址
网络·docker·容器·ip·network·固定
打工仔折腾 AI2 天前
Changedetection.io 网页变动监控:Docker 部署、通知配置与公网暴露实践
运维·人工智能·后端·python·docker·容器·性能优化
fengkai45452 天前
Prometheus+K8s弹性伸缩综合项目
运维·kubernetes·k8s·prometheus·hpa·vpa
xbzb2 天前
自建镜像仓库:registry 一条命令 + harbor 部署、授权、跨库同步与卸载
docker·harbor·镜像·仓库·同步·registry
东风微鸣3 天前
把 DeepSeek Harness 装进 K8s
kubernetes·deepseek·harness
wz97543 天前
Docker 从 systemd 托管容器、overlay2 存储驱动到 Compose 多容器实战
spring cloud·docker·eureka