扩大ES索引分片数操作(一)

ES的索引扩增操作指南

导言

众所周知,在Elasticsearch中,一旦索引的分片数(shard count)在创建索引时设定,就不能直接修改。这是因为ES的设计原则之一是不可变性:一旦数据被写入,就不能修改其结构。

但需求总是真切存在的,要想增加更多的存储空间或提高性能,有以下三种通融方案:扩容、重索引、拆分片。今天介绍最为快捷的方案三:索引分片扩增

分片扩增手把手教学

需要注意的是这三种方案只有集群扩容是原索引和原业务无感知的操作,其余的方案本质都是生成新的索引而已。

索引分片拆分的完整操作步骤,已多次在实际环境中测验通过:

  1. 打开ES的索引分配和自动均衡(执行过一次之后,后续不需要执行)

    http 复制代码
    PUT _cluster/settings
    {
      "persistent": {
        "cluster": {
          "routing": {
            "allocation.enable": "all",
            "allocation.cluster_concurrent_rebalance": 4,
            "allocation.node_concurrent_recoveries": 4,
            "allocation.allow_rebalance": "indices_primaries_active",
            "rebalance.enable": "all"
          }
        },
        "indices": {
          "recovery": {
            "max_bytes_per_sec": "500m"
          }
        }
      }
    }

    直接在Kibana中执行上述命令,无需修改。这里500m是一个速度控制。

  2. 停止业务写入后,使用命令关闭指定索引的写入开关,如这里是关闭test01。

    http 复制代码
    PUT test01/_settings
    {
      "settings": {
        "index.blocks.write": true
      }
    }

    test01需要换成要扩增的索引的名字,不是新索引的名。

  3. 进行索引的分片扩增操作,如原来是10个可以改为80或者160,如原来是1个则一般可以改为20或者40。

    http 复制代码
    POST test01/_split/test99
    {
      "settings":{
        "index.number_of_shards":80
      }
    }

    test99是新索引的名称,需要自己指定。

  4. 观察新索引是否创建

    http 复制代码
    GET /_cat/indices/test99?v
  5. 打开新索引的写入开关

    http 复制代码
    PUT test99/_settings
    {
      "settings": {
        "index.blocks.write": null
      }
    }

    警告!这一步一定要执行,否则新索引后续无法写入。

  6. 观察新索引是否恢复完毕

    http 复制代码
    GET /_cat/indices/test99?v

    health变为green就是恢复完成了。

  7. 观察集群是否恢复green

    http 复制代码
    GET /_cluster/health

    恢复为green即可。

以上步骤中,只有2、3、5是必须执行的,第一步执行一次后无需再执行,其他操作均为观察情况。

完成之后,老的索引就可以删除了(空间会稍后释放):

http 复制代码
DELETE test01

注意事项

待扩增生成的ES新索引的分片数并不能任意指定

示例的分片扩增(Split)遵循以下两个条件约束(首先要大于原分片数):

  • 第一,是旧索引分片的整数倍
  • 第二,是640的因数

否则分别报错如下:

例如,10改22,会报错说the number of source shards [10] must be a factor of [22]

又比如,10改30看着挺好已取整,但又报错说the number of routing shards [640] must be a multiple of the target shards [30]

分片扩增成功的示例:也就是10改40或者80是没有问题的。

另外,如果索引没有设置为只读,会报错:

index test99 must be read-only to resize index. use "index.blocks.write=true"

只需按照步骤2设置一下就可以了,务必先通知业务侧停止写入数据!

More

喜欢我们的文章?那就关注公众号[1024点线面]吧!更多精彩,不容错过。

相关推荐
忍冬行者1 小时前
Elasticsearch 超大日志流量集群搭建(网关 + 独立 Master + 独立 Data 纯生产架构,角色完全分离,百万级日志吞吐)
大数据·elasticsearch·云原生·架构·云计算
·云扬·6 小时前
使用Prometheus+Grafana实现Elasticsearch监控的完整实践
elasticsearch·grafana·prometheus
阿杰 AJie8 小时前
Git 分支与多人开发使用指南(Gitee + 本地 Git)
git·elasticsearch·gitee
海鸥818 小时前
ArgoCD App of Apps 模式详解
java·elasticsearch·argocd
Dxy12393102168 小时前
深度解析 Elasticsearch 8.13.4 范围查询 DSL
大数据·elasticsearch
Zilliz Planet9 小时前
官宣 | Milvus 2.6云上GA:三层存储降本85% 、速度快ES 4-7 倍,多数据类型支持
大数据·elasticsearch·搜索引擎·全文检索·milvus
峥嵘life10 小时前
Android16 系统每月Google安全补丁导入说明
大数据·elasticsearch·搜索引擎
Dxy123931021610 小时前
Elasticsearch 8.13.4 地理范围查询实战指南
大数据·elasticsearch·jenkins
天草二十六_简村人10 小时前
ES索引检索课程名称时,同时支持模糊搜索和精准搜索
大数据·后端·elasticsearch·搜索引擎·全文检索
铭毅天下11 小时前
从软考开始考 Elasticsearch 说开去 ......
大数据·elasticsearch·搜索引擎·全文检索