ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
1 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
2 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
闪电悠米2 小时前
黑马点评-Redis 消息队列-03_stream_consumer_group
开发语言·数据库·redis·分布式·缓存·junit·lua
折哥的程序人生 · 物流技术专研4 小时前
《Java 100 天进阶之路》第95篇:消息队列基础(RocketMQ/Kafka)(2026版)
java·面试·kafka·rocketmq·java-rocketmq·求职招聘
z落落6 小时前
C# 事件(Event)+自定义带参数事件例子
开发语言·分布式·c#
彼岸星光ぐ>6 小时前
Windows系统下Kafka KRaft模式配置与启动教程
kafka
我是一颗柠檬7 小时前
【Java项目技术亮点】分库分表+数据路由策略:单表5000万后的架构升级方案
java·开发语言·分布式·架构
半夜修仙8 小时前
RabbitMQ中如何保证消息的可靠性传输
java·分布式·中间件·rabbitmq·github·java-rabbitmq
小二·10 小时前
Redis 7 分布式缓存架构实战
redis·分布式·缓存
zhuhai_xigedian11 小时前
源网荷储一体化 vs 传统供用电模式:差异、优势与转型路径
大数据·人工智能·分布式·系统架构·能源
凯源智能12 小时前
屋顶分布式光伏箱变远程测控实战:宝鸡法士特项目高效交付解析
分布式
Amy1870211182313 小时前
东南亚智慧物流园区的“隐形守护者”:有源滤波柜如何驯服变频器5/7次谐波
分布式·能源