分布式搜索引擎-elasticsearch基础
1、什么是elasticsearch?
-
elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。
-
elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析 、实时监控等领域。
-
elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。
Lucene
Lucene 是一个Java语言的搜索引擎类库 ,是Apache公司的顶级项目,由DougCutting于1999年研发。官网地址:https://lucene.apache.org/。
Lucene的优势:
-
易扩展
-
高性能(基于倒排索引)
Lucene的缺点:
-
只限于Java语言开发
-
学习曲线陡峭
-
不支持水平扩展
elasticsearch
基于Lucene开发,也就是elasticsearch的底层实现
官网地址: https://www.elastic.co/cn/
相比与lucene,elasticsearch具备下列优势:
-
支持分布式,可水平扩展
-
提供Restful接口,可被任何语言调用
为什么学习elasticsearch?
搜索引擎技术排名:
-
Elasticsearch:开源的分布式搜索引擎
-
Splunk:商业项目
-
Solr:Apache的开源搜索引擎
2、正向索引和倒排索引
传统数据库(如MySQL)采用正向索引,所以相对比之后给出的elasticsearch 是倒排索引。
正向索引图示:
倒排索引:
-
文档(document) :每条数据就是一个文档
-
词条(term) :文档按照语义分成的词语
elasticsearch会新建一张表来记录根据语义划分的词条,然后检索词条,然后查询文档。
搜索流程:
3、文档document
-
elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。
-
文档数据会被序列化为json格式后存储在elasticsearch中。
4、索引index
- 索引(index):相同类型的文档的集合(相同结构,如字段)
如下图:
5、与Mysql对比
MySQL | Elasticsearch | 说明 |
---|---|---|
Table | Index | 索引(index),就是文档的集合,类似数据库的表(table) |
Row | Document | 文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式 |
Column | Field | 字段(Field),就是JSON文档中的字段,类似数据库中的列(Column) |
Schema | Mapping | Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema) |
SQL | DSL | DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD |
6、技术架构
Mysql :擅长事务类型操作,可以确保数据的安全 和一致性
Elasticsearch :擅长海量数据的搜索 、分析 、计算
图解: