elk+filebeat+kafka集群部署

实验框架图


192.168.124.10 es1

192.168.124.20 es2

192.168.124.30 losgtash kibana

192.168.124.50 MySQL nginx httpd

上一篇做完es1和es2以及192.168.124.30的部署

在192.168.124.50做配置部署

开启MySQL、nginx、http

因为nginx和http默认端口为80,改下nginx的端口号为82.

安装filebeat包,先解压,修改解压之后的目录名称

进入filebeat这个目录里面,在filebeat.yml这个配置文件添加内容

type: log:表明这是一个日志相关的配置类型。

通常用于指定正在配置的是日志的处理规则或设置

  • enabled: true:表示该日志配置处于启用状态。

  • 如果设置为 false,则相应的日志配置不会生效

paths: 部分

指定了 Nginx 访问日志的文件路径。

指定了 Nginx 错误日志的文件路径。

tags 为这些日志添加了一个标签

标签有助于对不同类型或来源的日志进行分类和识别。

fields

定义了一个字段

定义了一个字段 log_type 进一步明确了日志的类型。

定义了一个字段 from 可能表示日志的来源地址。

nohup ./filebeat -e -c filebeat.yml > filebeat.out &

nohup: 表示在后台运行命令,即使终端关闭,命令仍会继续运行。

./filebeat:这是要运行的程序,即 filebeat

-e:通常用于启用详细的错误输出,以便在出现问题时提供更多的调试信息。

-c filebeat.yml:指定了 filebeat 程序的配置文件为 filebeat.yml 。配置文件中可能包含了关于要采集的日志源、输出目标等的详细配置。

> filebeat.out:将标准输出重定向到名为 filebeat.out 的文件中,以便保存程序运行时输出的信息。

&:表示将命令在后台运行。

然后进入192.168.124.30配置

进入logstash/conf.d

创建文件 vim nmh_50.conf

input 部分定义了数据的输入源。

beats { port => "5046"}:表示从 Beats 框架接收数据,接收数据的端口为 5046

output 部分定义了数据的输出方式。

  • 这里使用了多个条件判断 if 语句:
    • if "nginx" in [tags]:如果输入数据的 tags 字段中包含 nginx
    • if "httpd" in [tags]:如果 tags 字段中包含 httpd
    • if "mysqld" in [tags]:如果 tags 字段中包含 mysqld
    • 对于满足条件的数据,将输出到 Elasticsearch
    • elasticsearch { hosts => ["192.168.124.10:9200","192.168.124.20:9200"] }:指定了 Elasticsearch 的主机地址。
    • index => "%{[fields][service_name]}-%{+YYYY.MM.dd}":定义了输出数据在 Elasticsearch 中的索引名称,索引名称由 fields 中的 service_name 字段的值和当前日期(格式为 YYYY.MM.dd )组成。

开启收集日志的命令

logstash -f nmh_50.conf --path.data /opt/test7 &

然后访问es1和es2

相关推荐
星恒讯工业路由器1 小时前
分布式光伏站点分散难联网?4G/5G点对多点自组网方案解析
分布式·物联网·5g·分布式光伏·自组网·点对多点通信·4g/5g
qq_452396232 小时前
第十一篇:《eBPF 进阶:自定义探针与生产级可观测性部署》
分布式
MZA6662 小时前
Spring Boot 实战:基于自定义注解 + AOP 实现 Kafka 消息无侵入异步上送
java·spring boot·kafka
重庆小透明2 小时前
Kafka 完全指南:从基础组件到核心原理(包含面试题)
java·分布式·微服务·架构·kafka
一本正经的不务正业3 小时前
kafka与RocketMQ的不同
分布式·kafka·rocketmq
johnrui3 小时前
kafka4.x单机版安装部署(单节点 KRaft 模式)
kafka
LIXIUPING20145 小时前
微服务分布式日志环境完整搭建实战|从服务改造到 ELK 集群部署、全流程可落地
elk·elasticsearch·logstash·filebeat·分布式日志
国科安芯5 小时前
基于抗辐射MCU的卫星分布式控制系统CANFD总线架构研究
网络·人工智能·分布式·单片机·嵌入式硬件·架构·抗辐射
深蓝电商API1 天前
Redis 在分布式爬虫中的作用
redis·分布式·爬虫
凤山老林1 天前
高可用分布式任务调度架构:Spring Boot 集成 PowerJob 实战指南
spring boot·分布式·架构