es优化实践(es升级带来的大坑)->问题与痛点->优化过程->原理分析->最佳实践

这里分享一个ES2.X升级到ES5.X带来的天坑问题

结论先行

先上结论(最佳实践)

bash 复制代码
es5以后版本 对于某个字段
1.字段用于terms查询,则字段定义为keyword类型,
如果定义为数值类型(number,long,short等)会有严重的性能问题
,查询耗时会很长

2.字段用于range查询,则字段定义为数值类型

3.如果该既要terms查询又要范围查询查询,
可以使用multi field特性让一个字段映射多种类型 
比如
"city_id":{
	"type": "long"
} range范围查询性能好,terms查询性能极差
改造后:
"city_id":{
	"type": "long",
	"fields":{
		"keyId":{
			"type":"keyword"
		}
	}
}
range查询的时候,使用city_id
terms查询的时候,使用city_id.keyId
这样兼顾了各种查询

问题&&痛点

  • es查询数据耗时长导致业务接口耗时接近10s
  • es机器报警cpu使用率飙高
  • 某个字段(仓库id)是long类型的,terms查询耗时达到了7000~8000ms

优化过程

bash 复制代码
1.查看es最近的变动,发现没有代码上线
2.和运维沟通后发现是es机器有升级从2.X升级到5.X
3.搜索资料发现2.X升级到5.X确实
对数值类型字段的terms查询有影响(原理一会儿讲)
4.使用es multi field特性为数值字段增加keyword类型的映射
5.调整代码,terms字段使用刚才映射的keyword查询

原理分析

bash 复制代码
1.ES2.X
ES2.X用到的lucene版本,
实际上只能索引文本数据,
所以字段中定义的数值类型,
实际上都被转换成了字符串,
并编排成了倒排索引
这种方式对于数值的精确查询比价友好,
但是对于range范围查询开销大耗时高

2.ES5.X
ES5.X为了支持良好的range范围查询,引入了Block-k-d-tree这种索引结构
这种索引结构能很好地支持range查询,但terms查询就会变得极其耗时

问题复现
1.A字段你在es2.X的时候定义为数值类型并且使用了terms查询
2.es2.X数值类型转成文本类型,使用倒排索引,terms查询耗时短
3.运维升级es
4.数值类型不在转成为本类型使用倒排索引
而是使用block-k-d-tree索引
5.A字段使用到terms查询的地方性能崩溃
6.使用multi field将该字段映射出keyword类型,
terms查询使用该keyword

最佳实践

bash 复制代码
es5以后版本 对于某个字段
1.字段用于terms查询,则字段定义为keyword类型,
如果定义为数值类型(number,long,short等)会有严重的性能问题
,查询耗时会很长

2.字段用于range查询,则字段定义为数值类型

3.如果该既要terms查询又要范围查询查询,
可以使用multi field特性让一个字段映射多种类型 
比如
"city_id":{
	"type": "long"
} range范围查询性能好,terms查询性能极差
改造后:
"city_id":{
	"type": "long",
	"fields":{
		"keyId":{
			"type":"keyword"
		}
	}
}
range查询的时候,使用city_id
terms查询的时候,使用city_id.keyId
这样兼顾了各种查询
相关推荐
道可到12 分钟前
Java 反射现代实践速查表(JDK 11+/17+)
java
道可到23 分钟前
Java 反射现代实践指南(JDK 11+ / 17+ 适用)
java
muyun280031 分钟前
Docker 下部署 Elasticsearch 8 并集成 Kibana 和 IK 分词器
elasticsearch·docker·容器
玉衡子33 分钟前
九、MySQL配置参数优化总结
java·mysql
叽哥34 分钟前
Kotlin学习第 8 课:Kotlin 进阶特性:简化代码与提升效率
android·java·kotlin
麦兜*36 分钟前
MongoDB Atlas 云数据库实战:从零搭建全球多节点集群
java·数据库·spring boot·mongodb·spring·spring cloud
带刺的坐椅37 分钟前
DamiBus v1.1.0 发布(给单体多模块解耦)
java·事件总线·damibus
葡萄城技术团队38 分钟前
用 Java 构建健壮 REST API 的 4 个关键技巧
java
杨杨杨大侠38 分钟前
解密 atlas-mapper 框架 (9/10):故障排查与调试技巧
java·开源·github
Slaughter信仰40 分钟前
深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)第十章知识点问答(10题)
java·jvm·数据库