大数据课程M1——ELK的概述

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州

▲ 本章节目的

⚪ 了解ELK的定义；

⚪ 掌握ELK的使用；

一、什么是ELK

1. 简介

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是 ElasticSearch、Logstash 和 Kibana。

2. ELASTICSEARCH

ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。

3. LOGSTASH

Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES。

4. KIBANA

Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。

二、为什么要使用ELK

1. 分布式集群

1. 数据量庞大:PB级别甚至更高。

2. 搜索需求要求高:快,准,多维度全文搜索。

ELASTICSEARCH就支持这种场景,也是目前全文搜索功能使用最多的一种技术。

2. 数据源丰富

1. 数据库数据。

2. 日志数据。

3. 其他分散存储的数据。

LOGSTASH可以从多数据源采集数据。

3. 数据的价值

1. 所谓数据保存的越多,数据提现的价值就越多.前提是需要分析展示数据。

2. KIBANA就可以提供数据的仪表分析等功能。

所以基于上述的一些问题,开源实时日志分析 ELK 平台能够完美的解决， ELK 由ElasticSearch 、 Logstash 和 Kiabana三个开源工具组成。