ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
1 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
2 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
laocooon52385788614 小时前
大专Hadoop课程考试方案设计
大数据·hadoop·分布式
独自破碎E14 小时前
RabbitMQ的交换机有哪几种类型?
分布式·rabbitmq
DeepFlow 零侵扰全栈可观测15 小时前
民生银行云原生业务的 eBPF 可观测性建设实践
运维·开发语言·分布式·云原生·金融·php
小北方城市网15 小时前
第 3 课:微服务架构设计与服务治理|从分布式到微服务的进阶实战
开发语言·人工智能·分布式·python·微服务·架构·geo
indexsunny15 小时前
Java互联网大厂面试实战:Spring Boot、微服务与Kafka在电商场景中的应用
java·spring boot·微服务·kafka·消息队列·电商·数据库事务
Linux运维技术栈15 小时前
Gravitee Kafka Gateway 规范部署:HTTP API化封装与安全隔离实践
http·kafka·gateway
小马爱打代码15 小时前
Kafka:为什么分区是高并发的关键?
kafka·分区
Codigger官方15 小时前
【团队原创】Codigger研发日志:打造分布式数字工作平台,邀开发者共同见证成长
分布式
小股虫1 天前
主流注册中心技术选型:CAP理论与业务实战的平衡艺术
分布式·微服务·架构
少许极端1 天前
Redis入门指南(五):从零到分布式缓存-其他类型及Java客户端操作redis
java·redis·分布式·缓存