ELK日志系统

一、ELK概述

1、ELK概念:

ELK是一套完整的日志集中处理方案,由三个开源的软件的简称组成

E:ElasticSearch 简称ES,是一个开源的,分布式的存储检索引擎(索引型的非关系数据库)。作用就是存储日志。由java代码开发,基于Lucene结构开发的一套全文检索引擎。拥有一个web接口。用户可以通过浏览器的形式和ES组件进行通信。

作用:存储,允许全文搜索结构化搜索(索引点),索引和搜索容量可以支持大容量的日志数据。也可以搜索其他不同类型的文档

K:kiabana 图形化界面。可以更好的分析存储在ES上的日志数据。提供了一个图形化的界面,来浏览ES上的日志数据。汇总、分析、搜索

L:Logstash 数据收集引擎,支持动态的(实时的)从各种服务应用收集日志资源,还可以对收集到的日志数据进行过滤、分析,还可以丰富收集到的日志数据,统一格式等等操作。然后把数据同步到ES存储引擎上。RUBY语言编写,运行在java虚拟机上的一个强大的数据处理工具。数据传输,格式化处理,格式化输出。主要作用就是处理日志

2、其他数据收集工具:

fliebeat:轻量级的开源的,日志收集工具。收集的速度较快,但是没有数据分析和过滤的能力,一般是结合logstash一块使用实现远程数据收集

fliebeat不能对数据进行标准输出,不能输出为es格式的数据,所以需要logstash把fliebeat数据做标准化处理。

3.实现ELK部署

装10 20

取消同步:10和20一样

10

20

检查10 20

启动:刷新之后等一下在看端口起没起

谷歌访问10 20

10 20安装head、node、phant三个组件

先安装node10 20同步

装pha 10 20同步

回到opt

启动

创建数据

安装30

装locstash及其依赖环境

托包安装

​​​​​​修改配置文件:

收集文件30

报错如何处理

收集文件

Kiabana 部署

Mysql配置filebeat

注释

取消注释:添加logstash地址

回logstash

先回到mysqld主机的启动filelbeat

相关推荐
yunqiz3 天前
ELK Stack生产环境部署指南:Filebeat + Elasticsearch + Logstash + Kibana
elk·elasticsearch
LIXIUPING20149 天前
微服务分布式日志环境完整搭建实战|从服务改造到 ELK 集群部署、全流程可落地
elk·elasticsearch·logstash·filebeat·分布式日志
LlmCraft|大模型工程实践15 天前
12. Docker 日志管理与监控:ELK 日志收集 + Prometheus 性能监控
elk·docker·prometheus
2401_8346369920 天前
ELK 全栈深度实战|从集群部署到日志可视化完整落地
elk
飞火流星0202722 天前
ELK(Elasticsearch+Logstash+Kibana)传统日志采集架构与ELFKK(Elasticsearch+Logstash+Kibana+Filebeat+Kafka)对比
elk·elfkk·传统elk日志采集·elk增加filebeat·elk增加kafka
艾伦_耶格宇23 天前
【ELK】-8 logstash的filter模块详解
运维·elk·filter
艾伦_耶格宇23 天前
【ELK】-6 ELFK 索引架构详解
elk·架构
lisanmengmeng25 天前
搭建elk环境并接入frostmourne,实现监控报警效果(五)
开发语言·elk·日志·日志监控
lisanmengmeng1 个月前
搭建elk环境并接入frostmourne,实现监控报警效果(四)
elk·日志·日志监控
lisanmengmeng1 个月前
搭建elk环境并接入frostmourne,实现监控报警效果(e二)
elk·监控·日志·日志监控