工作纪实38-ES分页数据问题

之前分页查询有接ES,随着系统使用时间数据量不断增加,会有如下报错。关键信息就是 Result window is too large, from + size must be less than or equal to: 10000 but was 100001

当索引非常非常大(千万或亿),是无法按照from + size做深分页的,因为分页越深则越容易OOM,即便不OOM,也是很消耗CPU和内存资源的。官方在后2.x版本中已增加限定 index.max_result_window:10000作为保护措施,即默认 from + size 不能超过1万。(from表示从第几行开始,size表示查询多少条数据,from默认为0,size默认为10)

解决方案:

方案一、接口层面限制查询到10000条,业务端给提示让使用方继续筛选数据

java 复制代码
Integer queryTotal = pageQuery.getPageIndex() * pageQuery.getPageSize();
if (queryTotal > 10000) {
	throw new BusinessException(String.format("只能查询前[%s]条数据, 建议缩小查询范围", 10000));
}

方案二、使用其他的深分页策略:scroll 或者scroll after【缺点是不能随意上下翻页,根据场景选择】

方案三:创建索引时设置【不推荐】

yaml 复制代码
"settings":{
	"index":{
		"max_result_window":1000000
   } 
}
相关推荐
金銀銅鐵14 分钟前
用 Swing 重做操作数栈演示
java·jvm·后端
琳少_31 分钟前
java程序开发笔记
java·开发语言·数据库·笔记
叼烟扛炮2 小时前
[LangChain] 学习笔记(15):为什么你的重试没用——429、抖动、fallback 与熔断
java·服务器·前端
文丑颜不良啊3 小时前
LeetCode3401~3420题目解析
java·leetcode
Pocker_Spades_A4 小时前
工业物联网时序数据库选型:一份能直接抄走的技术规格书
数据库·物联网·时序数据库
苜蓿muxu4 小时前
缓存三大问题:穿透、击穿、雪崩
数据库·redis
wuyk5554 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
文丑颜不良啊4 小时前
LeetCode3421~3440题目解析
java·leetcode
正在走向自律5 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移
code2cat5 小时前
【随笔】Java客户端选了HTTP/3,怎样知道请求实际走了哪个版本
java·开发语言·http