分布式搜索引擎ES--Elasticsearch集群

1.Elasticsearch集群的概念

分片机制:每个索引都可以被分片

索引my_doc只有一个主分片;索引shop有三个主分片;索引shop2有5个主分片;(参考前面案例)

每个主分片都包含索引的数据,由于目前是单机,所以副分片是没有的,集群健康值显示为黄色。

副分片是主分片的备份;同一个分片的主与副本是不会放在同一个服务器里的,因为一旦宕机,这个分片就没了;

Es集群搭建的准备工作:

使用虚拟机克隆功能,把单个es虚拟机克隆为三个,我们会搭建3节点的es集群。

如上图。当有三个服务器,首先对主分片分布服务器。副分片不能跟主分片在同一服务器

2.搭建Elasticsearch集群

具体的Elasticsearch的安装参考如下链接:

https://blog.csdn.net/TOMORROW6COME/article/details/140529958?spm=1001.2014.3001.5501

准备了3个服务器。(或者三个虚拟机)

克隆以后,先将es中的打他目录,一定要清空,这里面包含了原先的索引库数据。

命令:rm nodes/ -rf

配置集群

修改elasticsearch.yml这个配置文件如下:

java 复制代码
# 配置集群名称,保证每个节点的名称相同,如此就能都处于一个集群之内了
cluster.name: nk-es-cluster

# 每一个节点的名称,必须不一样
node.name: es-node1

# http端口(使用默认即可)
http.port: 9200

# 主节点,作用主要是用于来管理整个集群,负责创建或删除索引,管理其他非master节点(相当于企业老总)
node.master: true

# 数据节点,用于对文档数据的增删改查
node.data: true

# 集群列表
discovery.seed_hosts: ["192.168.1.184", "192.168.1.185", "192.168.1.186"]

# 启动的时候使用一个master节点
cluster.initial_master_nodes: ["es-node1"]

最后可以通过如下命令查看配置文件的内容:

java 复制代码
more elasticsearch.yml | grep ^[^#]

分别启动3台es

切换到esuser后在启动,访问集群各个节点,查看信息:

http://192.168.1.184:9200/

http://192.168.1.185:9200/

http://192.168.1.186:9200/

3.Elasticsearch集群分片测试

配置信息:

a:1/0; b:3/1; c:5/2:

集群分片测试:第一个分片不一定在master节点

4.Elasticsearch集群节点宕机测试

Node2宕机测试:

Node1:master主节点宕机测试:经过选举es-node3成为maser节点

宕机恢复后:

此时node3宕机:es-node2经过选举成为主节点

node3恢复后,node2任然为主节点。

5.Elasticsearch集群脑裂现象讨论

脑裂:发生网络中断或者服务器宕机,那么集群会有可能划成两个部分,各自有

自己的master节点来管理。

最小投票人数:1,即一台服务器就是主节点

脑裂解决方案

master主节点要经过多个master节点共同选举后才能成为新的主节点。就跟班级里选班长一样,并不是你1个人能决定的,需要班里半数以上的人决定。

解决实现原理:半数以上的节点同意选举,节点方可成为新的master。

java 复制代码
discovery.zen.minimum_master_nodes=(N/2)+1

N为集群的中master节点的数量,也就是那些 node.master=true 设置的那些服务器节点总数。

ES 7.X

在最新版7.x中,minimum_master_node这个参数已经被移除了,这一块内容完全由es自身去管理,这样就避免了脑裂的问题,选举也会非常快。

6.Elasticsearch集群的文档读写原理

文档写原理:

客户端会根据情况选择一个节点去完成相应的对接工作(协调节点:coordinating node);

协调节点是可变的

用于接收用户的请求(controller),针对节点进行路由,然后hash计算,决定数据应该写到哪一个主分片里;(文档路由跟转发)

文档读原理:

相关推荐
roman_日积跬步-终至千里44 分钟前
【分布式理论13】分布式存储:数据存储难题与解决之道
分布式
阿华的代码王国1 小时前
【从0做项目】Java搜索引擎(6)& 正则表达式鲨疯了&优化正文解析
java·后端·搜索引擎·正则表达式·java项目·从0到1做项目
(; ̄ェ ̄)。2 小时前
在Nodejs中使用kafka(三)offset偏移量控制策略,数据保存策略
分布式·后端·kafka·node.js
binbinxyz3 小时前
【Kafka系列】Kafka 消息传递保障机制
分布式·kafka
T.O.P115 小时前
分布式ID介绍&实现方案总结
分布式
Golinie6 小时前
【Go | 从0实现简单分布式缓存】-1:LRU缓存淘汰策略与单机并发缓存
分布式·缓存·golang
漫步者TZ8 小时前
【kafka系列】Kafka事务的实现原理
数据库·分布式·kafka
{⌐■_■}9 小时前
【git】提交修改、回撤、回滚、Tag 操作讲解,与reset (--soft、--mixed、--hard) 的区别
大数据·git·elasticsearch
IT闫10 小时前
【Dubbo+Zookeeper】——SpringBoot+Dubbo+Zookeeper知识整合
分布式·zookeeper·云原生·dubbo
2501_9032386511 小时前
Kafka中commitAsync的使用与实例解析
分布式·kafka·个人开发·linq