ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
1 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
2 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
何以解忧,唯有..1 小时前
Redisson分布式锁实现原理深度解析
分布式
萧瑟余晖2 小时前
Java深入解析篇三十六之分布式系统详解
java·开发语言·分布式
cc复CC7 小时前
从零开始手写 Spark 03|RDD 的惰性流水线
分布式
cc复CC7 小时前
从零开始手写 Spark 02|数据流与延迟迭代
大数据·分布式
海兰7 小时前
【Kafka学习3】Apache Kafka 本地部署环境快速入门指南
学习·kafka·apache
七夜zippoe8 小时前
基于 DolphinDB 构建分布式集群:从节点配置到高可用部署的完整实践
分布式·集群·dolphindb·节点配置·高可用部署
渣渣盟8 小时前
Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲
flink·kafka·linq
Acrellea9 小时前
并网验收难破局:分布式光伏如何攻克孤岛、逆流两大技术关卡
分布式
海兰9 小时前
【Kafka学习2】Apache Kafka 典型应用场景
学习·kafka·apache
艾伦_耶格宇9 小时前
【ELK】-5 kibana和filebeat
linux·运维·ubuntu·elk