文章目录
- 1、什么是ElasticSearch;
- 2、ElasticSearch的基本概念；
- 3、什么是倒排索引；
- 4、DocValue的作用；
- 5、text和keyword类型的区别；
- 7、query和filter的区别；
- 8、es写数据的过程；
- 9、es的更新和删除流程；
- 10、es的搜索流程
- 11、es在高并发下如何保证读写一致性；
- 12、es如何选举master节点；
- 13、es的分布式原理；
- 14、es是如何避免脑裂现象；
- 15、建立索引阶段性能提升方法；
- 16、es的深度分页与滚动搜索scroll;
1、什么是ElasticSearch;
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。
2、ElasticSearch的基本概念；
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，数据的格式使用Json。
1、Index（索引）
ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称（必须为全小写字符）进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。
2、Type（类型）
类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于"表"。（Elastic 6.x 版只允许每个 Index 包含一个 Type，7.x 版将会彻底移除 Type）
3、Document（文档）
文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为"多值域"。每个文档可以存储不同的域集，但同一类型下的文档至少应该有某种程度上的相似之处 。Index中的单条记录就称为Document，多个Document构成一个index。
4、Node（节点）
运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。类似于集群，节点靠其名称进行标识，默认为启动时自动生成的随机Marvel字符名称。用户可以按需要自定义任何希望使用的名称，但出于管理的目的，此名称应该尽可能有较好的识别性。节点通过为其配置的ES集群名称确定其所要加入的集群。
5、Cluster（集群）
一个集群是由一个或多个节点(服务器)组成的，通过所有的节点一起保存你的全部数据并且提供联合索引和搜索功能的节点集合。每个集群有一个唯一的名称标识，默认是"elasticsearch"。这个名称非常重要，因为一个节点(Node)只有设置了这个名称才能加入集群，成为集群的一部分。
6、Shards（分片）
我们在一个索引里存储的数据，潜在的情况下可能会超过单节点硬件的存储限制。例如，单个索引有上千万个文档需要占用1TB的硬盘存储空间，但是一台机器的硬盘可能没有这么大，或者是即便有这么大，但是单个节点在提供搜索服务时会响应缓慢。解决这个问题，Elasticsearch提供了分片的能力，它可以将你的索引细分成多个部分。当你创建一个索引的时候，你可以简单的定义你想要的分片的数量。每个分片本身是一个全功能的完全独立的"索引"，它可以部署在集群中的任何节点上。 创建索引时，用户可指定其分片的数量，默认数量为5个。
1）它允许你水平切分你的内容卷
2）它允许你通过分片来分布和并行化执行操作来应对日益增长的执行量
Shard有两种类型：primary和replica，即主shard及副本shard。Primary shard用于文档存储，每个新的索引会自动创建5个Primary schemahard，当然此数量可在索引创建之前通过配置自行定义，不过，一旦创建完成，其Primary shard的数量将不可更改。Replica shard是Primary Shard的副本，用于冗余数据及提高搜索性能。每个Primary shard默认配置了一个Replica shard，但也可以配置多个，且其数量可动态更改。ES会根据需要自动增加或减少这些Replica shard的数量。ES集群可由多个节点组成，各Shard分布式地存储于这些节点上。
7、Replicas（复制）
在一个网络环境下或者是云环境下，故障可能会随时发生，有一个故障恢复机制是非常有用并且是高度推荐的，以防一个分片或节点不明原因下线，或者因为一些原因去除没有了。为了达到这个目的，Elasticsearch允许你制作分片的一个或多个拷贝放入一个叫做复制分片或短暂复制品中。
1）高可用。它提供了高可用来以防分片或节点宕机。为此，一个非常重要的注意点是绝对不要将一个分片的拷贝放在跟这个分片相同的机器上。
2）高并发。它允许你地分片可以提供超出自身吞吐量的搜索服务，搜索行为可以在分片所有的拷贝中并行执行。
每个索引可以被切分成多个分片，一个索引可以被复制零次（就是没有复制）或多次。一旦被复制，每个索引将会有一些主分片（就是那些最原始不是被复制出来的分片），还有一些复制分片（就是那些通过复制主分片得到的分片）。主分片和复制分片的数量可以在索引被创建时指定。索引被创建后，你可以随时动态修改复制分片的数量，但是不能修改主分片的数量。
8、Mapping（映射）
ES中，所有的文档在存储之前都要首先进行分析。用户可根据需要定义如何将文本分割成token、哪些token应该被过滤掉，以及哪些文本需要进行额外处理等等。另外，ES还提供了额外功能，例如将域中的内容按需排序。事实上，ES也能自动根据其值确定域的类型。
3、什么是倒排索引；
倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。
4、DocValue的作用；
倒排索引也是有缺陷的，假如我们需要对数据做一些聚合操作，比如排序/分组时，lucene内部会遍历提取所有出现在文档集合的排序字段，然后再次构建一个最终的排好序的文档集合list，这个步骤的过程全部维持在内存中操作，而且如果排序数据量巨大的话，非常容易就造成solr内存溢出和性能缓慢。
DocValues 就是 es 在构建倒排索引的同时，构建了正排索引，保存了docId到各个字段值的映射，可以看作是以文档为维度，从而实现根据指定字段进行排序和聚合的功能。
另外doc Values 保存在操作系统的磁盘中，当docValues大于节点的可用内存，ES可以从操作系统页缓存中加载或弹出，从而避免发生内存溢出的异常，docValues远小于节点的可用内存，操作系统自然将所有Doc Values存于内存中（堆外内存），有助于快速访问。
5、text和keyword类型的区别；
text类型（文本类型）会使用默认分词器分词，也就是存入的数据会先进行分词，然后将分完词的词组存入索引，当然你也可以为他指定特定的分词器。
text类型检索不是直接给出是否匹配，而是检索出相似度，并按照相似度由高到低返回结果。这样会导致本来我们认为应该查询出来的数据有可能会查询不到。
如果定义成keyword类型（关键字类型），那么默认就不会对其进行分词，原样存储。当一个字段需要按照精确值进行过滤、排序、聚合等操作时, 就应该使用keyword类型.
keyword类型检索，直接被存储为了二进制，检索时我们直接匹配，不匹配就返回false。所以精确匹配可以用keyword。
6、什么是停顿词过滤；
7、query和filter的区别；
filter的查询注重结果，也就是目标与查询条件是否匹配；而query的查询注重过程，也就是目标与查询条件的匹配度，匹配度越高的优先输出
1、因此filter的查询是没有评分的，而query的查询是有评分的
2、filter有相应的缓存机制，可以提高查询效率，并且因为filter不计算相关性评分，所以查询速度更快
8、es写数据的过程；
（1）ES 客户端选择一个节点 node 发送请求过去，这个节点就是协调节点 coordinating node
（2）协调节点对 document 进行路由，通过 hash 算法计算出数据应该落在哪个分片 shard 上，然后根据节点上维护的 shard 信息，将请求转发到对应的实际处理节点node上
shard = hash(document_id) % (num_of_primary_shards)，
（3）实际的节点上的 primary shard 主分片处理请求，然后将数据同步到副本节点 replica node
（4）coordinating node 等到 primary node 和所有 replica node 都执行成功之后，就返回响应结果给客户端。
9、es的更新和删除流程；
（1）如果是删除操作，文档其实并没有真的被删除，而是在 .del 文件中被标记为 deleted 状态。该文档依然能匹配查询，但是会在结果中被过滤掉。
（2）如果是更新操作，就是将旧的 doc 标识为 deleted 状态，然后创建一个新的 doc。
memory buffer 每 refresh 一次，就会产生一个 segment 文件 ，所以默认情况下是 1s 生成一个 segment 文件，这样下来 segment 文件会越来越多，此时会定期执行 merge。
每次 merge 的时候，会将多个 segment 文件合并成一个，同时这里会将标识为 deleted 的 doc 给物理删除掉，不写入到新的 segment 中，然后将新的 segment 文件写入磁盘，这里会写一个 commit point ，标识所有新的 segment 文件，然后打开 segment 文件供搜索使用，同时删除旧的 segment 文件
10、es的搜索流程
1、query阶段；
1. node1在这6个主副分片中随机选择3个分片,发送search request;
2. 被选中的3个分片会分别执行查询并排序,返回from+size个文档id和排序值;
3. node1整合3个分片返回的from + size个文档id,根据排序值排序后选取from到from+size的文档id;
2、fetch阶段；
1. node1向相关的分片发送multi_get请求;
2. 3个分片返回文档详细数据
3. node1拼接返回的结果并返回给客户
11、es在高并发下如何保证读写一致性；
（1）对于更新操作：可以通过版本号使用乐观并发控制，以确保新版本不会被旧版本覆盖
每个文档都有一个_version 版本号，这个版本号在文档被改变时加一。Elasticsearch使用这个 _version 保证所有修改都被正确排序。当一个旧版本出现在新版本之后，它会被简单的忽略。
利用_version的这一优点确保数据不会因为修改冲突而丢失。比如指定文档的version来做更改。如果那个版本号不是现在的，我们的请求就失败了。
（2）对于写操作，一致性级别支持 quorum/one/all
默认为 quorum，即只有当大多数分片可用时才允许写操作。但即使大多数可用，也可能存在因为网络等原因导致写入副本失败，这样该副本被认为故障，分片将会在一个不同的节点上重建。
one：要求我们这个写操作，只要有一个primary shard是active活跃可用的，就可以执行
all：要求我们这个写操作，必须所有的primary shard和replica shard都是活跃的，才可以执行这个写操作
quorum：默认的值，要求所有的shard中，必须是大部分的shard都是活跃的，可用的，才可以执行这个写操作
（3）对于读操作，可以设置 replication 为 sync(默认)，这使得操作在主分片和副本分片都完成后才会返回；如果设置replication 为 async 时，
也可以通过设置搜索请求参数_preference 为 primary 来查询主分片，确保文档是最新版本。
12、es如何选举master节点；
Elasticsearch 的选主是 ZenDiscovery 模块负责的，主要包含Ping（节点之间通过这个RPC来发现彼此）和 Unicast（单播模块包含一个主机列表以控制哪些节点需要ping通）这两部分；
确认候选主节点的最少投票通过数量，elasticsearch.yml 设置的值 discovery.zen.minimum_master_nodes;
对所有候选 master 的节点（node.master: true）根据 nodeId 字典排序，每次选举每个节点都把自己所知道节点排一次序，然后选出第一个（第0位）节点，暂且认为它是master节点。
如果对某个节点的投票数达到阈值，并且该节点自己也选举自己，那这个节点就是master。否则重新选举一直到满足上述条件。
13、es的分布式原理；
Elasticsearch 会对存储的数据进行切分，将数据划分到不同的分片上，同时每一个分片会保存多个副本，主要是为了保证分布式环境的高可用。在 Elasticsearch 中，节点是对等的，节点间会选取集群的 Master，由 Master 会负责集群状态信息的改变，并同步给其他节点。
Elasticsearch 的性能会不会很低：只有建立索引和类型需要经过 Master，数据的写入有一个简单的 Routing 规则，可以路由到集群中的任意节点，所以数据写入压力是分散在整个集群的。
14、es是如何避免脑裂现象；
（1）当集群中 master 候选节点数量不小于3个时（node.master: true），可以通过设置最少投票通过数量（discovery.zen.minimum_master_nodes），设置超过所有候选节点一半以上来解决脑裂问题，即设置为 (N/2)+1；
（2）当集群 master 候选节点 只有两个时，这种情况是不合理的，最好把另外一个node.master改成false。如果我们不改节点设置，还是套上面的(N/2)+1公式，此时discovery.zen.minimum_master_nodes应该设置为2。这就出现一个问题，两个master备选节点，只要有一个挂，就选不出master了
15、建立索引阶段性能提升方法；
（1）使用 SSD 存储介质
（2）使用批量请求并调整其大小：每次批量数据 5--15 MB 大是个不错的起始点。
（3）如果你在做大批量导入，考虑通过设置 index.number_of_replicas: 0 关闭副本
（4）如果你的搜索结果不需要近实时的准确度，考虑把每个索引的 index.refresh_interval 改到30s
（5）段和合并：Elasticsearch 默认值是 20 MB/s。但如果用的是 SSD，可以考虑提高到 100--200 MB/s。如果你在做批量导入，完全不在意搜索，你可以彻底关掉合并限流。
（6）增加 index.translog.flush_threshold_size 设置，从默认的 512 MB 到更大一些的值，比如 1 GB
16、es的深度分页与滚动搜索scroll;
一种快照的查询形式，快照一旦形成，本次滚动查询内便无法查出来新增的那些数据，而且scroll是无法进行排序的，也无法指定from，那么我们想查看指定页码的数据就必须将该页数据之前的全部数据取出来再进行丢弃，所以scroll一般用于导出全量数据。
数据量小的情况使用最方便，灵活性好，实现简单
一种快照的查询形式，快照一旦形成，本次滚动查询内便无法查出来新增的那些数据，而且scroll是无法进行排序的，也无法指定from，那么我们想查看指定页码的数据就必须将该页数据之前的全部数据取出来再进行丢弃，所以scroll一般用于导出全量数据。
导出全量数据时性能最好