Elasticsearch索引数据的路由规则与自定义路由分发

Elasticsearch通过路由规则将数据高效地分布到各个分片中,实现数据均衡、查询优化及故障恢复。本文将深入探讨索引数据路由的原理,并通过示例展示如何使用自定义路由策略分发数据。

索引数据路由原理

默认路由规则

默认情况下,Elasticsearch使用以下公式计算文档应被写入的分片编号:

markdown 复制代码
shard_num = hash(_routing) % num_primary_shards

其中:

  • _routing:默认为文档的_id,也可以通过请求参数或映射设置指定。
  • num_primary_shards:索引的主分片数。

通过哈希函数和模运算,确保数据在分片间均匀分布,有利于数据均衡、容错和扩展。

分区路由

虽然可以手动指定路由值以减少查询涉及的分片数,但这可能导致大量数据集中到少数分片,造成分片大小不均。为此,Elasticsearch提供索引分区配置,允许使用同一路由值的数据分发到多个分片。在索引设置中启用此功能:

markdown 复制代码
"index.routing_partition_size": N

此时,路由计算公式变为:

markdown 复制代码
shard_num = (hash(_routing) + hash(_id) % routing_partition_size) % num_primary_shards

通过引入_id哈希值和routing_partition_size参数,使得具有相同路由值的文档更均匀地分布到多个分片。

使用自定义路由分发数据

在某些场景下,可能需要根据特定字段(如用户ID、租户ID等)进行数据路由,以实现数据隔离、优化查询性能或简化备份恢复。下面展示如何使用自定义路由策略分发数据。

创建索引并设置自定义路由

首先,创建一个名为person的索引,设置3个主分片和1个副本分片,并要求在写入文档时必须提供路由值:

markdown 复制代码
PUT person
{
  "settings": {
    "number_of_shards": "3",
    "number_of_replicas": "1"
  },
  "mappings": {
    "_routing": {
      "required": true
    }
  }
}

新增数据

向索引中写入一条带有自定义路由值(如"zhangsan")的文档,并立即刷新索引以确保数据可查:

markdown 复制代码
POST person/_doc/1?routing=zhangsan&refresh=true
{
  "id": "1",
  "name": "zhangsan",
  "subject": "语文",
  "score": 100
}

查询数据

由于数据写入时使用了自定义路由值,查询时也必须提供相同的路由值,否则会导致查询失败:

markdown 复制代码
GET person/_doc/1?routing=zhangsan

更新数据

更新文档时同样需要指定路由值,以确保操作作用于正确的分片:

markdown 复制代码
POST person/_update/1?routing=zhangsan&refresh=true
{
  "doc": {
    "score": 120
  }
}

路由优化查询

在检索数据时,提供路由值可以跳过无关分片,减少资源消耗并加速查询:

markdown 复制代码
GET person/_search?routing=zhangsan
{
  "query": {
    "match_all": {}
  }
}

查看路由对应分片

若需确定某个路由值对应的分片信息,可以使用_search_shards REST端点:

markdown 复制代码
GET person/_search_shards?routing=zhangsan

删除数据

删除文档时同样需要指定路由值:

markdown 复制代码
DELETE person/_doc/1?routing=zhangsan

总结而言,Elasticsearch通过路由规则有效地管理和分发索引数据,支持自定义路由策略以满足特定应用场景的需求。理解和熟练运用数据路由机制,有助于优化Elasticsearch集群的性能和稳定性。

相关推荐
科技在线16 分钟前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
24k小善1 小时前
Flink TaskManager详解
java·大数据·flink·云计算
时序数据说2 小时前
时序数据库IoTDB在航空航天领域的解决方案
大数据·数据库·时序数据库·iotdb
IT成长日记3 小时前
【Hive入门】Hive概述:大数据时代的数据仓库桥梁
大数据·数据仓库·hive·sql优化·分布式计算
科技小E3 小时前
EasyRTC音视频实时通话嵌入式SDK,打造社交娱乐低延迟实时互动的新体验
大数据·网络
降世神童4 小时前
大数据系列 | 详解基于Zookeeper或ClickHouse Keeper的ClickHouse集群部署--完结
大数据·clickhouse·zookeeper
躺不平的理查德4 小时前
General Spark Operations(Spark 基础操作)
大数据·分布式·spark
talle20214 小时前
Zeppelin在spark环境导出dataframe
大数据·分布式·spark
大数据魔法师4 小时前
Hadoop生态圈框架部署 - Windows上部署Hadoop
大数据·hadoop·windows
渣渣盟4 小时前
大数据开发环境的安装,配置(Hadoop)
大数据·hadoop·分布式