ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
( 1 ) 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
( 2 ) 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
DBA_G40 分钟前
GBase 8c分布式数据库客户端工具 gsql
数据库·分布式
chunyublog41 分钟前
Spark 词频统计练习
大数据·分布式·spark
ClouGence2 小时前
开源数据库管理工具 CloudDM 4.4.0 发布,新增 Kafka、SAP HANA 数据源
数据库·kafka
acrel72 小时前
高速公路分布式光伏并网电能质量与安全保护方案应用
分布式·安全
RobinXYuan2 小时前
【Kafka 源码手记】01 从消息队列到 Event Streaming
kafka·源码阅读
IT小小猪4 小时前
# Hadoop 3.3.6 完全分布式集群部署知识库
hadoop·分布式·eclipse
此时不提桶,更待何时4 小时前
06-24-B-RabbitMQ面试与生产事故实战
分布式·面试·rabbitmq
来福猿5 小时前
分布式锁 Redis 实现源码分析:SETNX、过期时间与可重入设计
数据库·redis·分布式
Pniubi19 小时前
分布式锁分类讲解
分布式
nvd1121 小时前
深入剖析:GCP Pub/Sub 与 Apache Kafka 对消息处理延迟与消费者卡死的处理机制异同
分布式·kafka·apache