ELK+filebeat+kafka

无需创建logstash的端口,直接创建topic

远程收集mysql和httpd的日志

(一)安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志(创库、创表、添加数据)

(1)mysql服务器上安装http

systemctl restart httpd.service
(2)访问测试

(二)部署安装filebeat

1、编辑filebeat的配置文件

(1)启动filebeat服务
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

(三)配置logstash的conf文件

|--------------------------------------|-----------------------------|
| codec => "json" | 解析json格式的代码 |
| auto_offset_reset => "earliest" | 从头 获取数据 |
| auto_offset_reset => "latest" | 实时获取 |
| decorate_events => true | 传递给es实例中的信息包含kafka的属性数据 |

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建
1 打开httpd1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning
2 打开mysql1主题
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql 1 --from-beginning

(四)查看索引

启动ES:npm run start &

(五)访问服务,查看能否收到日志

相关推荐
ACP广源盛139246256731 小时前
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景
大数据·人工智能·分布式·单片机·嵌入式硬件
汽车仪器仪表相关领域5 小时前
KRYPTON坚固型IP67 EtherCAT总线数据采集模块:工业级分布式采集方案
分布式·功能测试·汽车·压力测试·可用性测试
霸道流氓气质7 小时前
Java中信号量(Semaphore):从本地到分布式
java·开发语言·分布式
naierfengdian9 小时前
分布式风电助力乡村能源转型的技术路径
分布式·能源
霸道流氓气质9 小时前
RedLock:Redis 分布式锁的高可用方案
数据库·redis·分布式
DLYSB_10 小时前
Kafka 消费倾斜死锁与 Partition 掉队:我用 Rust 写了个“数据管道物理哨兵”,比 Grafana 报警快了 18 秒
rust·kafka·grafana·报警灯
hhzz10 小时前
《深度学习框架PyTorch入门与实践》系列:09-分布式与并行训练之DataParallel、DDP与Horovod
pytorch·分布式·深度学习
creator_Li11 小时前
Kafka消费者offset提交
kafka
TDengine (老段)11 小时前
TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
大数据·数据库·物联网·flink·kafka·时序数据库·tdengine
城管不管1 天前
重生——第九次面试2026.8.13某车一面
分布式·ai·面试·职场和发展·rabbitmq