ElastaticSearch -- es深度分页 searchAfter

searchAfter深度分页

es一次只能查1万条数据,如果超过1万,会报错如下:

复制代码
        "reason": {
          "type": "query_phase_execution_exception",
          "reason": "Result window is too large, from + size must be less than or equal to: [10000] but was [10001]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."
        }

可以调整es配置的index.max_result_window这个参数,来查询更多的数据,但这并不是很好的办法,最好使用 searchAfter.

searchAfter作用类似于以下sql语句:

复制代码
-- 查询第10001--10005条数据
SELECT * FROM  t_user  order by name,birthDay  LIMIT 10000,5;

dsl

  • 第一次查询,查询1--10000条数据,找出第10000条数据的排序字段结果

    GET /user_info/_search
    {
    "size": 10000,
    "sort": [{
    "name": {
    "order": "asc"
    }
    },
    {
    "birthDay": {
    "order": "desc"
    }
    }]
    }

  • 第二次查询,根据上面最后一条数据的排序字段,查询出第 10001--20000条数据;
    多了一个search_after的查询条件,对应的排序字段为第一步查出来的最后一条数据(也就是第10000条数据)的排序字段

    GET /user_info/_search
    {
    "size": 10000,
    "sort": [{
    "name": {
    "order": "asc"
    }
    },
    {
    "birthDay": {
    "order": "desc"
    }
    }],
    "search_after": ["wang", "1993-12-01"]
    }

java代码

复制代码
    public SearchSourceBuilder searchAfterTest() {
        SearchSourceBuilder searc = new SearchSourceBuilder().size(10000);

        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
//        boolQuery.filter(QueryBuilders.termQuery("province", "深圳市"));

        searc.sort("name", SortOrder.ASC).sort("birthDay", SortOrder.DESC);

        String[] searchAfter = new String[]{"wang", "1993-12-01"};
        searc.searchAfter(searchAfter);

        return searc.query(boolQuery);
    }
相关推荐
Elasticsearch2 天前
过犹不及:为什么搜索结果重排序时,20 个候选结果胜过 200 个
elasticsearch
wno7042 天前
常用的Git命令清单
大数据·git·elasticsearch
YIN_尹3 天前
【git原理与使用】git基本操作及底层原理(二)
大数据·git·elasticsearch
Elasticsearch3 天前
从结账告警到故障跨度:使用 Elastic 人工智能 agent 和 Elastic 应用性能监控浮出面板开展调查
elasticsearch
Elasticsearch3 天前
认识全新的 Elastic 数据流:面向遥测数据的托管数据管道
elasticsearch
Elasticsearch3 天前
使用 SpiceDB 为 Elasticsearch 检索增强生成实现细粒度授权
elasticsearch
新*3 天前
ES 7.17 三节点 Docker 集群接入 IK 自定义词典:一次从丢插件到热更新的完整排障
运维·elasticsearch·docker·中文分词·ik分词
新*4 天前
Elasticsearch 7.17 的 SQL 到底能查到什么?一次踩坑记录
后端·sql·elasticsearch·查询
Elastic 中国社区官方博客5 天前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎
Elasticsearch5 天前
Kibana 中的人工智能连接器:你的 agent 可调用的 90 多个数据源
elasticsearch