工作纪实38-ES分页数据问题

差不多程序员2023-09-16 14:29

之前分页查询有接ES，随着系统使用时间数据量不断增加，会有如下报错。关键信息就是 Result window is too large, from + size must be less than or equal to: [10000] but was [100001]

当索引非常非常大(千万或亿)，是无法按照from + size做深分页的，因为分页越深则越容易OOM，即便不OOM，也是很消耗CPU和内存资源的。官方在后2.x版本中已增加限定 index.max_result_window:10000作为保护措施，即默认 from + size 不能超过1万。（from表示从第几行开始，size表示查询多少条数据，from默认为0，size默认为10）

解决方案:

方案一、接口层面限制查询到10000条，业务端给提示让使用方继续筛选数据

java 复制代码

Integer queryTotal = pageQuery.getPageIndex() * pageQuery.getPageSize();
if (queryTotal > 10000) {
	throw new BusinessException(String.format("只能查询前[%s]条数据, 建议缩小查询范围", 10000));
}

方案二、使用其他的深分页策略：scroll 或者scroll after【缺点是不能随意上下翻页，根据场景选择】

方案三：创建索引时设置【不推荐】

yaml 复制代码

"settings":{
	"index":{
		"max_result_window":1000000
 　　} 
}