记一次ElasticSearch参数调优

问题描述

生产环境中的ES在查询大数据量时一直报错

json 复制代码
{
	"error": {
		"root_cause": [],
		"type": "search_phase_execution_exception",
		"reason": "",
		"phase": "fetch",
		"grouped": true,
		"failed_shards": [],
		"caused_by": {
			"type": "too_many_buckets_exception",
			"reason": "Trying to create too many buckets. Must be less than or equal to: [65535] but was [65536]. This limit can be set by changing the [search.max_buckets] cluster level setting.",
			"max_buckets": 65535
		}
	},
	"status": 503
}

经过查询,是在聚合查询过程中创建了过多的存储桶,超过了系统的默认值65535

search.max_buckets 参数

官方文档中提到 Search settings

该参数是在单个响应中允许的最大的聚合存储桶数量,默认是65535,尝试返回超过此限制的请求将返回错误,也就是上面的报错。

在ElasticSearch中,桶就是指定聚合的分组,例如:

id name age
1 zhang 20
2 wang1 30
3 li 40
4 zhao 40
5 wang1 20

假设以ID聚合,就是5个桶;以name聚合,就是4个桶;以age聚合,就是3个桶。这样就可以直观的理解search.max_buckets最大能有几个桶了。

结论

search.max_buckets 参数默认值是65535,所以在某些条件下会创建超出该值的存储桶。

但是在某些场景下为了保证聚合后数据的完整性,可以适当的调整该参数的值。

当我们把这个值由65535调整到700000后,查询就可以正常使用了。

不过,如果数据量巨大,这个参数设置的也巨大,查询时会触发熔断机制甚至是OOM;在这种情况下,可以配合query条件+agg的方式实现查询。

相关推荐
在未来等你3 小时前
Elasticsearch面试精讲 Day 30:Elasticsearch面试真题解析与答题技巧
大数据·分布式·elasticsearch·搜索引擎·面试
在未来等你3 小时前
Elasticsearch面试精讲 Day 27:备份恢复与灾难恢复
大数据·分布式·elasticsearch·搜索引擎·面试
Elasticsearch4 小时前
基于 AI 的日志事件响应:Elastic Observability 技术深度解析
elasticsearch
研究司马懿4 小时前
【GitOps】Argo CD app of apps
大数据·开发语言·elasticsearch·搜索引擎·云原生·argocd·gitops
极限实验室7 小时前
搜索百科(5):Easysearch — 自主可控的国产分布式搜索引擎
elasticsearch·搜索引擎
扁豆的主人21 小时前
Elasticsearch
大数据·elasticsearch·jenkins
Elasticsearch1 天前
介绍 Elastic 的 Agent Builder - 9.2
elasticsearch
在未来等你1 天前
Elasticsearch面试精讲 Day 28:版本升级与滚动重启
大数据·分布式·elasticsearch·搜索引擎·面试
jianghx10242 天前
Docker部署ES,开启安全认证并且设置账号密码(已运行中)
安全·elasticsearch·docker·es账号密码设置
在未来等你2 天前
Elasticsearch面试精讲 Day 26:集群部署与配置最佳实践
大数据·分布式·elasticsearch·搜索引擎·面试