ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
1 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
2 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
heimeiyingwang13 小时前
【架构实战】分布式ID生成方案:雪花算法与业务ID设计
分布式·算法·架构
AOwhisky14 小时前
Ceph系列第一期:Ceph分布式存储核心概念与架构初识
linux·运维·笔记·分布式·ceph·学习·架构
大帅点兵14 小时前
设计一个金融交易监控系统
大数据·clickhouse·flink·spark·kafka·hbase
Plastic garden14 小时前
Kafka
分布式·kafka
未若君雅裁14 小时前
Kafka 顺序消费:分区、消费者组、Key与业务有序性
分布式·微服务·kafka
Advancer-15 小时前
点评plus---异步消费之后可靠的生成订单
java·spring·kafka
AOwhisky16 小时前
Ceph系列第二期:Ceph集群部署实战(cephadm)
linux·运维·笔记·分布式·ceph·云计算·存储
qiuyepiaoling16 小时前
rabbitmq 基础
分布式·rabbitmq·ruby
未若君雅裁16 小时前
Kafka 消息可靠性:发送确认、acks、副本保存与Offset手动提交
分布式·微服务·kafka
phltxy16 小时前
RabbitMQ 事务与消息分发
分布式·rabbitmq