1.1 elasticsearch分布式集群基本搭建(centos7.x + elaticsearch7.11.1)

【1】分布式分片集群基础概念

【1.1】ES的分布式集群有什么用？

高可用

高可用(High Availability)是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。

负载均衡

将流量均衡的分布在不同的节点上，每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以实现平衡。

高性能

将流量分发到不同机器，充分利用多机器多CPU，从串行计算到并行计算提供系统性能。

【1.2】ES的分布式集群是怎么一个概念和形式？

集群(cluster): 由一个或多个节点组成, 并通过集群名称与其他集群进行区分

节点(node): 单个 ElasticSearch 实例. 通常一个节点运行在一个隔离的容器或虚拟机中

索引(index): 在 ES 中, 索引是一组文档的集合

分片(shard): 因为 ES 是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在必要的时候对分片数据进行再平衡分配, 所以用户基本上不用担心分片的处理细节.

副本(replica): ES 默认为一个索引创建 5 个主分片, 并分别为其创建一个副本分片. 也就是说每个索引都由 5 个主分片成本, 而每个主分片都相应的有一个 copy。对于分布式搜索引擎来说, 分片及副本的分配将是高可用及快速搜索响应的设计核心.主分片与副本都能处理查询请求，它们的唯一区别在于只有主分片才能处理索引请求.副本对搜索性能非常重要，同时用户也可在任何时候添加或删除副本。额外的副本能给带来更大的容量, 更高的呑吐能力及更强的故障恢复能力。

【2】节点角色的概念

Master Node

主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。为了防止脑裂，常常设置参数为discovery.zen.minimum_master_nodes=N/2+1，其中N为集群中Master节点的个数。建议集群中Master节点的个数为奇数个，如3个或者5个。

设置一个几点为Master节点的方式如下:

node.master: true
node.data: false 
node.ingest: false 
search.remote.connect: false

Data Node

主要负责集群中数据的索引和检索，一般压力比较大。建议和Master节点分开，避免因为Data Node节点出问题影响到Master节点。

设置一个几点为Data Node节点的方式如下：

node.master: false
node.data: true
node.ingest: false
search.remote.connect: false

Coordinating Node

负责接收Client 的请求,将请求分发到合适的节点,最终把结果汇集到一起

每个节点默认都起到了Coordinating Node的职责

Ingest Node

Ingest node专门对索引的文档做预处理，实际中不常用，除非文档在索引之前有大量的预处理工作需要做。Ingest node设置如下：

node.master: false node.master: false node.master: false
node.data: false
node.ingest: true
search.remote.connect: false

Tribe Node

Tribe Node主要用于跨级群透明访问。但是官方已经不建议使用了，在5.4.0版本以后已经废弃掉了，在7.0的版本中将移除该功能。在5.5版本以后建议使用Cross-cluster search替代Tribe Node。

【3】Node节点组合

主节点+数据节点(master+data)

节点即有称为主节点的资格，又存储数据

node.master: true
node.data: true

数据节点(data)

节点没有成为主节点的资格，不参与选举，只会存储数据

node.master: false
node.data: true

客户端节点(client)

不会成为主节点，也不会存储数据，主要是针对海量请求的时候，可以进行负载均衡

node.master: false
node.data: false

【4】ES集群搭建规划与准备工作

【4.1】集群规划表

|--------------------------------------|----------------------|----------------------|-----------|------------------|--------------|
| OS　　 | ES version | Ip | node.name | Role | cluster.name |
| CentOS Linux release 7.8.2003 (Core) | elasticsearch-7.11.1 | 192.168.175.129:9201 | node_1 | node.master=true | my_es |
| CentOS Linux release 7.8.2003 (Core) | elasticsearch-7.11.1 | 192.168.175.129:9202 | node_2 | node.data=true | my_es |
| CentOS Linux release 7.8.2003 (Core) | elasticsearch-7.11.1 | 192.168.175.129:9203 | node_3 | node.data=true | my_es |

【4.2】Centos7.x 系统参数调整（ulimit，vm，jdk，swapping）

参考1 elasticsearch安装-CSDN博客

以root 登录

（1）ulimit

vim /etc/security/limits.conf
* soft nproc 65535
* hard nproc 65535
* soft nofile 65535
* hard nofile 65535
* soft stack 65535
* hard stack 65535

es hard memlock unlimited  #单独给es启动账户开 锁定内存页不限制
es soft memlock unlimited   
退出登录重登后生效；su root
（2）vm.max_map_count >= 262144 / Swapping
#vim /etc/sysctl.conf 
#然后在里面加上参数：

vm.max_map_count=2655350
vm.swappiness=1


#保存，然后重新加载参数：
sysctl -p
（3）JAVA1.8+
java --version  检查是否有安装 java，如  

如果没设置 $JAVA_HOME环境变量，就用压缩包中自带的jdk了，也挺好；

【4.3】下载、解压、复制、创建专属ES账户、授权

（1）下载，解压

官网：Download Elasticsearch | Elastic

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-linux-x86_64.tar.gz.sha512
shasum -a 512 -c elasticsearch-7.11.1-linux-x86_64.tar.gz.sha512 
tar -xzf elasticsearch-7.11.1-linux-x86_64.tar.gz

（2）复制、创建专属账户、授权

mkdir -p /data/elasticsearch/
groupadd es
useradd es -g es
cp -rp elasticsearch-7.11.1 /data/elasticsearch/elasticsearch1
cp -rp elasticsearch-7.11.1 /data/elasticsearch/elasticsearch2
cp -rp elasticsearch-7.11.1 /data/elasticsearch/elasticsearch3
mkdir -p {/data/elasticsearch/storage/elasticsearch1,/data/elasticsearch/storage/elasticsearch2,/data/elasticsearch/storage/elasticsearch1}
chown -R es:es /data/elasticsearch

【5】配置、安装ES分布式集群

【5.1】配置文件参数释义

（1）基本释义

cluster.name    集群名称，相同名称为一个集群
node.name   节点名称，集群模式下每个节点名称唯一
node.master     当前节点是否可以被选举为master节点，是：true、否：false
node.data   当前节点是否用于存储数据，是：true、否：false
path.data   索引数据存放的位置
path.logs   日志文件存放的位置
bootstrap.memory_lock   需求锁住物理内存，是：true、否：false
bootstrap.system_call_filter    SecComp检测，是：true、否：false
network.host    监听地址，用于访问该es
network.publish_host    可设置成内网ip，用于集群内各机器间通信
http.port   es对外提供的http端口，默认 9200
discovery.seed_hosts    es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
cluster.initial_master_nodes    es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
http.cors.enabled   是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.allow-origin  "*" 表示支持所有域名
discovery.zen.minimum_master_nodes: 2  #最少要有N个节点才能选举出主节点

我们要只需要在之前的基础上，打开配置文件elasticsearch.yml，添加如下三个配置：
cluster.name: my-es   #集群名称
node.name: node-master #主节点名称
node.master: true #当前节点是否可以被选举为master节点，是：true、否：false
discovery.seed_hosts: ["192.168.175.129:9201", "192.168.175.129:9202", "192.168.175.129:9203"]#写入候选主节点的设备地址，在开启服务后可以被选为主节点
cluster.initial_master_nodes: ["node-1"] #初始化一个新的集群时需要此配置来选举master

（2）核心参数

#集群名称，三台集群，要配置相同的集群名称！！！
cluster.name: my-application
#节点名称
node.name: node-1 
#是不是有资格被选举为主节点
node.master: true
#是否存储数据
node.data: true
#最⼤集群节点数
node.max_local_storage_nodes: 3 
#网络地址，0.0.0.0为不限制，还可以为localhost,127.0.01,实际IP地址等
network.host: 0.0.0.0
#实例端⼝
http.port: 9200
#内部节点之间沟通端⼝，默认9300-9305
transport.tcp.port: 9300
#es7.x 之后新增的配置，写⼊候选主节点的设备地址，在开启服务后可以被选为主节点，注意这个是 transport.tcp.port 端口，而不是 http.port
discovery.seed_hosts: ["localhost:9300","localhost:9400","localhost:9500"]
#es7.x 之后新增的配置，初始化⼀个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"] #数据和存储路径
discovery.zen.minimum_master_nodes: 2  #最少要有N个节点才能选举出主节点
path.data: /Users/louis.chen/Documents/study/search/storage/a/data 
path.logs: /Users/louis.chen/Documents/study/search/storage/a/logs　　

【5.2】修改配置文件

vim /data/elasticsearch/elasticsearch1/config/elasticsearch.yml

vim /data/elasticsearch/elasticsearch2/config/elasticsearch.yml

vim /data/elasticsearch/elasticsearch3/config/elasticsearch.yml

（1）9201 - node1

#-----cluster-----
cluster.name: my_es #集群名称
  #gateway.recover_after_nodes: 3 #至少恢复3个节点及以上，集群节点才可以被访问

#-----node-----
node.name: node_1  #节点名称
node.master: true  #该是否可被选举为主节点
node.data: true    #该节点是否可成为数据节点
node.max_local_storage_nodes: 5  #集群最大逻辑存储节点数
transport.port: 9301 #集群内部通信端口

#-----data and log------
path.data: /data/elasticsearch/storage/elasticsearch1/data  #生产环境建议把这2个和解压文件夹分离，避免升级丢失数据
path.logs: /data/elasticsearch/storage/elasticsearch1/logs

#-----memory-----
bootstrap.memory_lock: true  #启动锁定内存页，这样就可以避免内存压力从而导致es的内存页被释放掉或被存到交换内存

#-----network-----
network.host: 192.168.175.129  # 网关地址，0.0.0.0为不限制
http.port: 9201

discovery.seed_hosts: ["192.168.175.129:9301", "192.168.175.129:9302", "192.168.175.129:9303"]
cluster.initial_master_nodes: ["node_1", "node_2", "node_3"]

#-----http requests-----
bootstrap.system_call_filter: false
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization
http.cors.allow-credentials: true

#-----es operation-----
  #action.destructive_requires_name: true  #删除索引时是否必须要实际索引名

（2）9202 - node_2

#-----cluster-----
cluster.name: my_es #集群名称
  #gateway.recover_after_nodes: 3 #至少恢复3个节点及以上，集群节点才可以被访问

#-----node-----
node.name: node_2  #节点名称
node.master: true  #该是否可被选举为主节点
node.data: true    #该节点是否可成为数据节点
node.max_local_storage_nodes: 5  #集群最大逻辑存储节点数
transport.port: 9302

#-----data and log------
path.data: /data/elasticsearch/storage/elasticsearch2/data  #生产环境建议把这2个和解压文件夹分离，避免升级丢失数据
path.logs: /data/elasticsearch/storage/elasticsearch2/logs

#-----memory-----
bootstrap.memory_lock: true  #启动锁定内存页，这样就可以避免内存压力从而导致es的内存页被释放掉或被存到交换内存

#-----network-----
network.host: 192.168.175.129  # 网关地址，0.0.0.0为不限制
http.port: 9202

discovery.seed_hosts: ["192.168.175.129:9301", "192.168.175.129:9302", "192.168.175.129:9303"]
cluster.initial_master_nodes: ["node_1", "node_2", "node_3"] #初始化主节点参与选举的节点，也可以用ip地址的

#-----http requests-----
bootstrap.system_call_filter: false
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization
http.cors.allow-credentials: true


#-----es operation-----
  #action.destructive_requires_name: true  #删除索引时是否必须要实际索引名

（3）9203 - node_3

#-----cluster-----
cluster.name: my_es #集群名称
  #gateway.recover_after_nodes: 3 #至少恢复3个节点及以上，集群节点才可以被访问

#-----node-----
node.name: node_3  #节点名称
node.master: true  #该是否可被选举为主节点
node.data: true    #该节点是否可成为数据节点
node.max_local_storage_nodes: 5  #集群最大逻辑存储节点数
transport.port: 9303

#-----data and log------
path.data: /data/elasticsearch/storage/elasticsearch3/data  #生产环境建议把这2个和解压文件夹分离，避免升级丢失数据
path.logs: /data/elasticsearch/storage/elasticsearch3/logs

#-----memory-----
bootstrap.memory_lock: true  #启动锁定内存页，这样就可以避免内存压力从而导致es的内存页被释放掉或被存到交换内存

#-----network-----
network.host: 192.168.175.129  # 网关地址，0.0.0.0为不限制
http.port: 9203


discovery.seed_hosts: ["192.168.175.129:9301", "192.168.175.129:9302", "192.168.175.129:9303"]
cluster.initial_master_nodes: ["node_1", "node_2", "node_3"] #初始化主节点参与选举的节点，也可以用ip地址的

#-----http requests-----
bootstrap.system_call_filter: false
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization
http.cors.allow-credentials: true


#-----es operation-----
  #action.destructive_requires_name: true  #删除索引时是否必须要实际索引名

【5.3】启动这3个实例

su -l es -c"/data/elasticsearch/elasticsearch1/bin/elasticsearch -d -p /tmp/elasticsearch1.pid"
su -l es -c"/data/elasticsearch/elasticsearch2/bin/elasticsearch -d -p /tmp/elasticsearch2.pid"
su -l es -c"/data/elasticsearch/elasticsearch3/bin/elasticsearch -d -p /tmp/elasticsearch3.pid"

有几条告警：（可以无需理会）

Future versions of Elasticsearch will require Java 11; your Java version from [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64/jre] does not meet this requirement. Consider switching to a distribution of Elasticsearch with a bundled JDK. If you are already using a distribution with a bundled JDK, ensure the JAVA_HOME environment variable is not set.
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

第一行告警是：未来 ES将会使用JAVA11，你当前的JAVA版本是JAVA8；不匹配这个版本，考虑一下使用ES集成的JDK；如果要用集成的JDK，则不要设置 $JAVA_HOME变量；

第二行告警是：OpenJDK 64位服务器VM警告：如果处理器的数量预期从一个增加，那么您应该使用-XX:ParallelGCThreads=N适当地配置并行GC线程的数量

【5.4】核验实例启动情况

curl 192.168.175.129:9201
curl 192.168.175.129:9202
curl 192.168.175.129:9203

【5.5】查看集群状态

• status：集群的状态，red红表示集群不可用，有故障。yellow黄表示集群不可靠但可用，一般单节点时就是此状态。green正常状态，表示集群一切正常。
• node.total：节点数，这里是3，表示该集群有3个节点
• node.data：数据节点数，存储数据的节点数，这里是3
• shards：表示我们把数据分成多少块存储
• pri：主分片数，primary shards
• active_shards_percent：激活的分片百分比，这里可以理解为加载的数据分片数，只有加载所有的分片数，集群才算正常启动，在启动的过程中，如果我们不断刷新这个页面，我们会发现这个百分比不断加大

【5.6】查看日志

（可略过，限参考，如果启动不起来之后可以查阅）

less /data/elasticsearch/storage/elasticsearch1/logs/my_es.log 
less /data/elasticsearch/storage/elasticsearch2/logs/my_es.log 
less /data/elasticsearch/storage/elasticsearch3/logs/my_es.log 

【6】配置 kibana

【6.1】修改配置文件kibana.yml

把我们的实例URL 都写入进去；

vim /usr/local/kibana/config/kibana.yml 
elasticsearch.hosts: ["http://192.168.175.129:9201" ,"http://192.168.175.129:9202" ,"http://192.168.175.129:9203"]

结果如下图：

【7】故障转移过程中的主分片、副本分片的变化（单主分片）

注意，这里是所有的索引都只有默认的1个主分片

【7.1】断开重连一个节点

（1）集群正常时候

最左边的五角星单表该节点是当前的主节点；

（2）关掉主节点 node_1后：

见后续文章的集群原理，过一段时间后（cluster.join.timeout：默认60秒超时 ）；

会因为超时，确认Node_1节点加入加入集群超时（或者说是失去连接60S）自动把该节点踢出集群；

而集群其他节点会重新选举主节点，且会把原副本分片转换成主分片，并重新生成副本分片；

（3）重新把节点1 实例加入集群（再次重新分布了副本分片、主分片的位置，我们可以发现 下图和（1）图中的分片位置不一样了）

由于是新节点加入集群，那么最终它是1s发现一次，所以刚启动好，就秒加进来了；

在过程中如果一直刷新，发现head插件提供的界面，node_1刚加进来的时候没有分片，然后其他节点会有分片变成紫色，然后紫色的分片就迁移到了新的node_1节点；

【7.2】断开两个节点

直接连都连不上了

但直接 curl 还证明，单节点是活着的

【7.3】添加一个node 节点

（1）新节点实例：修改配置文件

集群名称要一样，node.name 要不一样，discovery.seed_hosts 要包含现有要加入集群的主机信息（最好全加上）

cluster.name: my_es
discovery.seed_hosts: ["192.168.175.131:9301", "192.168.175.131:9302", "192.168.175.131:9303"]

（2）添加后 加入到集群后的数据分片信息（依然是自动分片了）

【7.4】为什么分片会自动平衡？

参考官方手册：有自动的平衡设置，但是默认的可能不是最佳实践

Configuring Elasticsearch - Cluster-level shard allocation and routing settings - 《Elasticsearch v7.9 Reference》 - 书栈网 · BookStack

【错误处理】

（0）各类错误代码表达的含义(429/4xx/500)

（1）memory locking requested for elasticsearch process but memory is not locked

解决方法一(关闭bootstrap.memory_lock:，会影响性能）：

vim /etc/elasticsearch/elasticsearch.yml // 设置成false就正常运行了。

bootstrap.memory_lock: false

解决方法二（开启bootstrap.memory_lock:）：

1. 修改文件/etc/elasticsearch/elasticsearch.yml，上面那个报错就是开启后产生的，如果开启还要修改其它系统配置文件

bootstrap.memory_lock: true

2. 修改文件/etc/security/limits.conf，最后添加以下内容。

es hard memlock unlimited

es soft memlock unlimited

（2）集群节点无法互相发现

es集群配置文件 没有任何问题 但启动后无法互相发现集群节点，需要删除data目录里面的所有文件，然后重新启动所有节点，即可发现。

（3）巨坑，配置文件 discovery.seed_hosts 与 cluster.initial_master_nodes！！

（4）折磨了我两天的错误：master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster

curl ip:port/_cat/health?v显示：

{"error":{"root_cause":[{"type":"master_not_discovered_exception","reason":null}],"type":"master_not_discovered_exception","reason":null},"status":503}

查看错误日志显示：

[2021-03-11T16:41:13,660][WARN ][o.e.c.c.ClusterFormationFailureHelper] [node_1] master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster, 
and this node must discover master-eligible nodes [node_1, node_2, node_3] to bootstrap a cluster: 
have discovered [{node_1}{3D2LMma-SWeX5HjT-C0W_Q}{gYZDUrSfTHW43fYN5gPfgA}{192.168.175.129}{192.168.175.129:9301}{cdhilmrstw}{ml.machine_memory=5967216640, xpack.installed=true, 
transform.node=true, ml.max_open_jobs=20, ml.max_jvm_size=1065025536}]; discovery will continue using [192.168.175.129:9302, 192.168.175.129:9303] from hosts providers 
and [{node_1}{3D2LMma-SWeX5HjT-C0W_Q}{gYZDUrSfTHW43fYN5gPfgA}{192.168.175.129}{192.168.175.129:9301}{cdhilmrstw}{ml.machine_memory=5967216640, xpack.installed=true, 
transform.node=true, ml.max_open_jobs=20, ml.max_jvm_size=1065025536}] from last-known cluster state; node term 0, last-accepted version 0 in term 0

解决：

【参数问题】

（1）主机发现问题

discovery.seed_hosts: ["192.168.175.129:9301", "192.168.175.129:9302", "192.168.175.129:9303"]

transport.port: 9303

=》上面 discovery.seed_hosts 里面的地址，一定是 transport.port 端口（如果该参数没设置，则默认是9300~9400端口，从9300开始使用）

（2）集群初始化主节点

cluster.initial_master_nodes: ["node_1", "node_2", "node_3"] #初始化主节点参与选举的节点，也可以用ip地址的

因为配置了这个，所以必须要半数服务器以上实例节点启动后，才会有主节点，错误信息页会停止报错（这里配置3个，那就需要3/2+1,2个节点启动后，才能开始初始化选举）

所以不要着急，如本案例，至少要有2个ES实例启动后，才会开始初始化选举主节点

（5）为什么我的进程僵死？内推太少，一个空的ES 至少需要1.3-1.5G内存

我之前就是弄了3G的虚拟机玩的，结果启动不起来，直接僵死；查看日志也发现没有动静，ps -ef 直接看不到进程；不过 pid 文件倒是还在

（6）无法发现主机 failure when sending a validation request to node

删除目录下的，data里的数据，里面有个Node目录，里面记录了集群信息

rm -rf /data/elasticsearch/storage/elasticsearch1/data/*

rm -rf /data/elasticsearch/storage/elasticsearch2/data/*

rm -rf /data/elasticsearch/storage/elasticsearch3/data/*