ELK优化之Filebeat部署

node1节点(2C/4G):node1/20.0.0.10 Elasticsearch

node2节点(2C/4G):node2/20.0.0.20 Elasticsearch

node3节点(2C/4G):node3/20.0.0.30 Elasticsearch、Kibana

Nginx节点 : Nginx/20.0.0.40 nginx、Logstash

NA : 20.0.0.50 nginx、Filebeat

复制代码
初始化操作,所有服务器操作
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

1、 安装配置Nginx

复制代码
cd /etc/yum.repos.d/
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
  #准备测试页面
echo '<h1>this is web page</h1>' > test.html
echo '<h1>this is web2 page</h1>' > test1.html

2、安装 Filebeat

复制代码
上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat

3、设置 filebeat 的主配置文件

复制代码
cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型,从日志文件中读取消息
  enabled: true     #24行
  paths:
    - /var/log/nginx/access.log       #28行指定监控的日志文件
    - /var/log/nginx/error.log
  tags: ["filebeat"]		#设置索引标签
  fields:           #46行可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: nginx
    log_from: 20.0.0.50
 
--------------output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:    #162行
  hosts: ["20.0.0.40:5044"]      #164行指定 logstash 的 IP 和端口

4、修改Logstash配置

复制代码
cd /etc/logstash/conf.d
vim filebeat.conf
input {
    beats {
        port => "5044"
    }
}
 
#filter {}
 
output {
     elasticsearch {
                  hosts => ["20.0.0.10:9200", "20.0.0.20:9200", "20.0.0.30:9200"]
                  index => "nginx-%{+yyyy.MM.dd}"
     }
 
}
 
 
logstash -t -f filebeat.conf  #检查文件

5、启动配置

20.0.0.50

#启动 filebeat
./filebeat -e -c filebeat.yml
#-e:输出到标准输出,禁用syslog/文件输出
#-c:指定配置文件

**6、**kibana验证

相关推荐
泡沫·4 天前
ELK 企业日志分析系统核心总结
elk
我爱学习好爱好爱4 天前
ELK 7.17.10 收集Docker Compose部署的SpringBoot2+Vue3项目日志(Rockylinux9.6)
elk·docker·容器
我爱学习好爱好爱11 天前
ELK 7.17.10 + Redis 5.0.7 构建高可用 Nginx 日志收集系统(Rocky Linux 9.6 实战)
redis·nginx·elk
我爱学习好爱好爱15 天前
ELK日志分析平台(五):Filebeat 部署与 Nginx 日志采集(输出至 Logstash)(基于Rocky Linux 9.6)
linux·nginx·elk
我爱学习好爱好爱17 天前
ELK日志分析平台(三):Logstash 7.17.10 独立节点部署与基础测试(基于Rocky Linux 9.6)
linux·python·elk
我爱学习好爱好爱17 天前
ELK日志分析平台(四):Kibana 7.17.10 部署与基本配置(与ES01同机,基于Rocky Linux 9.6)
linux·运维·elk
七夜zippoe18 天前
[特殊字符] Python日志系统革命:Loguru结构化日志与ELK Stack集中管理实战指南
大数据·python·elk·loguru·logstash
来一杯龙舌兰19 天前
【ELK】Filebeat+Redis+双Logstash架构解析与部署教程(图文)
redis·elk·架构·日志监控
A 糖醋排骨19 天前
小型项目elk搭建
elk
昱宸星光1 个月前
ELK日志收集平台搭建
elk