ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
1 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
2 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
kong790692817 分钟前
Hadoop介绍HDFS介绍
大数据·hadoop·分布式
RockHopper202530 分钟前
AMR “分布式多世界”世界模型的工作原理说明
分布式·世界模型·amr·具身机械主义·具身认知
oMcLin35 分钟前
如何在CentOS 7.9上部署并优化Kafka 集群,支持大规模实时数据流处理?
linux·kafka·centos
lhyzws39 分钟前
CENTOS上的网络安全工具(三十五)Portainer Kafka-Clickhouse部署 Flink安装部署与编程
clickhouse·flink·kafka
linweidong1 小时前
Spark Shuffle的优化
大数据·分布式·spark
我爱娃哈哈1 小时前
SpringBoot + Kafka + Flink:用户行为日志实时采集与实时画像构建实战
spring boot·flink·kafka
AC赳赳老秦1 小时前
批量文档处理自动化:DeepSeek + Python 实现多格式文件内容提取与汇总
开发语言·spring boot·elasticsearch·postgresql·kafka·政务·deepseek
better_liang1 小时前
每日Java面试场景题知识点之-ELK技术栈在Java企业级项目中的应用
java·elk·elasticsearch·微服务架构·kibana·logstash·日志管理
宇钶宇夕1 小时前
和利时MACS-K分布式控制系统深度解析:全冗余+开放兼容,赋能工业精准控制
运维·分布式·自动化
是阿威啊1 小时前
【用户行为归因分析项目】- 【企业级项目开发第四站】模拟三类用户行为数据上传到Hadoop
大数据·hadoop·分布式·sql·scala