Elasticsearch 分片down(unassigned shard)常用处理方式

近期多次出现ES集群上报"Elasticsearch实例存在down状态的主分片"或"Elasticsearch实例存在down状态的副本分片",对该问题现象的处理步骤和方法进行总结。

【可能原因】

问题参考: https://github.com/elastic/elasticsearch/issues/23199

【处理步骤】

  1. 登录任意EsNode1节点,执行如下命令查看down分片以及原因,其中unassigned.reason列内容指的是分配unassigned原因。

curl -XGET --negotiate -k -u : "https://ip:port/_cat/shards/indexname?v&h=index,shard,prirep,state,node,ur" | grep UNASSIGNED

说明:indexname,待查询分片列表的索引名称

  1. 分片UNASSIGNED的原因包括:

1)INDEX_CREATED:由于创建索引的API导致未分配。

2)CLUSTER_RECOVERED :由于完全集群恢复导致未分配。

3)INDEX_REOPENED :由于打开open或关闭close一个索引导致未分配。

4)DANGLING_INDEX_IMPORTED :由于导入dangling索引的结果导致未分配。

5)NEW_INDEX_RESTORED :由于恢复到新索引导致未分配。

6)EXISTING_INDEX_RESTORED :由于恢复到已关闭的索引导致未分配。

7)REPLICA_ADDED:由于显式添加副本分片导致未分配。

8)ALLOCATION_FAILED :由于分片分配失败导致未分配。

9)NODE_LEFT :由于承载该分片的节点离开集群导致未分配。

10)REINITIALIZED :由于当分片从开始移动到初始化时导致未分配(例如,使用影子shadow副本分片)。

11)REROUTE_CANCELLED :作为显式取消重新路由命令的结果取消分配。

12)REALLOCATED_REPLICA :确定更好的副本位置被标定使用,导致现有的副本分配被取消,出现未分配。

  1. 若unassigned.reason为"ALLOCATION_FAILED",可以尝试手动重新分片,命令如下:

curl -XPOST --tlsv1.2 --negotiate -k -u : "https://ip:port/_cluster/reroute?retry_failed=true"

问题参考: https://github.com/elastic/elasticsearch/issues/23199

  1. 执行解释API查看分片UNASSIGNED的详细原因, 请求中的三个参数可以在步骤1执行命令结果中查询到,第一列为索引名称,第二列为分片编号,第三列为是否主分片。

curl -XGET --negotiate -k -u : "https://ip:port/_cluster/allocation/explain?pretty" -H 'Content-Type:application/json' -d '{

"index": "indexname",

"shard": 17,

"primary": true

}'

说明:"index"字段值替换为_cat/shards命令查询结果中第一列的索引名称。"shard"字段值替换为_cat/shards命令查询结果中第二列的分片编号。"primary"字段的值表明要查询的分片是主还是副本,如果_cat/shards命令查询结果中第三列的值为p,说明是主分片,否则是副本分片。

  1. 分析explain命令的输出结果,若输出结果中包含"explanation"字段,查看该字段内容是否有推荐处理方式。如果有推荐修复方式,优先执行。

  2. 分析第1步_cat/shards命令中处于UNASSIGNED状态的分片,是否集中在少数几个EsNode实例中,如果是,可以尝试单独重启这几个ES实例,触发分片再次恢复。

相关推荐
Elasticsearch27 分钟前
4 种模态、100 多种语言、1 个向量空间:Microsoft Foundry 中的 Jina Embeddings v5
elasticsearch
黑十15 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend16 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend16 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
Elasticsearch17 小时前
使用 Codex 来写入 PDF 文件并创建 AI Agent 对它进行问答
elasticsearch
上海潭龙东海科技有限公司17 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
草莓熊Lotso18 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
尹文祥18 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
岳涛18 小时前
考古|搬迁 percolator 要先保住规则身份,ES 1.0 把它挪进了索引内
elasticsearch
岳涛18 小时前
考古|旧查询和 _boost 在 ES 1.0 收掉,替换方向并不保证等价
elasticsearch