ElasticSearch之通过search after和scroll解决深度分页问题

写在前面

通过from,size来进行分页查询时,如下:

当from比较大时会有深度分页问题,问题产生的核心是coordinate node需要从每个分片中获取from+size条数据,当from比较大,整体需要获取的数据量也会比较大,如下图:

所以es深度分页问题的核心就在于每个分片多需要返回from+size条数据,所以,如果能解决这个问题,也就解决深度分页的问题了。

但es针对from size方式的深度分页问题也是提供了一定的应对措施的,比如通过参数index.max_result_window,默认是10000条,如下超过1万条时将会报错:

  • 1
  • 2

并且,为了更好的解决深度分页问题,es同时提供了search after和scroll两种方式来解决深度分页,其中前者是通过定位到某个数据的方式来解决,后者是通过创建快照的方式来解决。

分别看下。

1:search after

search after是实时分页,并且要求sort的字段必须是唯一的(多个sort字段组合在一起唯一也可),所以一般我们在使用search after时,会在不影响业务要求的排序基础上将_id也加上去,如下:

  • 格式

    {
    "size": "size值",
    "query": {
    具体的chaxun
    },
    "search_after": [上一个sort 的结果]",
    "sort": [sort数组]
    }

  • 实例

为了测试,我们先来准备测试数据:

复制代码
DELETE users

POST users/_doc
{"name":"user1","age":10}

POST users/_doc
{"name":"user2","age":11}

POST users/_doc
{"name":"user3","age":12}

POST users/_doc
{"name":"user4","age":13}

// "count" : 4,
GET users/_count
  • 查询第一页的数据

此时需要使用from size来查询

复制代码
POST users/_search
{
    "from": 0,
    "size": 1,
    "query": {
        "match_all": {}
    },
    "sort": [
        {
            "age": "desc"
        },
        {
            "_id": "asc"
        }
    ]
}

取结果中的sort值作为查询下一页数据的入参:

  • 查询下一页

    POST users/_search
    {
    "size": 1,
    "query": {
    "match_all": {}
    },
    "search_after": [
    13,
    "z-cxE44BbPrZSKsI0wh6"
    ],
    "sort": [
    {
    "age": "desc"
    },
    {
    "_id": "asc"
    }
    ]
    }

如此重复直到没有下一页:

search after通过每次从每个分片获取from+size的数据量变为size来解决了深度分页的问题,如下图:

2:scroll api

scroll api通过快照的方式来解决深度分页问题,即第一次查询时会生成一个全量数据的快照,因此快照生成后的数据将无法被查询,这种方式一般用于数据导出等场景中。

看例子。

  • 准备数据

    DELETE users

    POST users/_doc
    {"name":"user1","age":10}

    POST users/_doc
    {"name":"user2","age":11}

    POST users/_doc
    {"name":"user3","age":12}

    POST users/_doc
    {"name":"user4","age":13}

  • 创建scroll快照,五分钟失效

    POST users/_search?scroll=5m
    {
    "size": 1,
    "query": {
    "match_all": {}
    }
    }

  • 查询下一页

    POST /_search/scroll
    {
    "scroll": "1m",
    "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAhesWUk9pVDk4SUdSUXEyRGlhc21kVDJUZw=="
    }

一直查询到没有下一页:

再来插入一条:

复制代码
POST users/_doc
{"name":"user5","age":14}

因为读的是快照,所以是查不到的。

写在后面

参考文章列表

相关推荐
二哈赛车手3 小时前
新人笔记---ES和kibana启动问题以及一些常用的linux的错误排查方法,以及ES,数据库泄密解决方案[超详细]
java·linux·数据库·spring boot·笔记·elasticsearch
摇滚侠7 小时前
数据同步 黑马 Elasticsearch 全套教程,黑马旅游网案例
大数据·elasticsearch·搜索引擎
南棱笑笑生10 小时前
20260503给万象奥科的开发板HD-RK3576-PI适配瑞芯微原厂的Android14时适配AP6256
大数据·elasticsearch·搜索引擎·rockchip
逸Y 仙X11 小时前
文章二十:Elasticsearch高亮搜索完全指南
java·大数据·运维·elasticsearch·搜索引擎·全文检索
Elastic 中国社区官方博客1 天前
ES|QL METRICS_INFO 和 TS_INFO:为你的时间序列数据建立目录
大数据·数据库·elasticsearch·搜索引擎·信息可视化·全文检索
Elastic 中国社区官方博客1 天前
Elastic 和 Cursor 合作 加速 上下文工程 与 coding agents
大数据·人工智能·elasticsearch·搜索引擎·全文检索
二哈赛车手1 天前
新人笔记---实现简易版的rag的bm25检索(利用ES),以及RAG上传时的ES与向量数据库双写
java·数据库·笔记·spring·elasticsearch·ai
逸Y 仙X1 天前
文章十九: ElasticSearch Full Text 全文本查询
java·大数据·数据库·elasticsearch·搜索引擎·全文检索
a***72891 天前
Java进阶(ElasticSearch的安装与使用)
java·elasticsearch·jenkins
逸Y 仙X1 天前
文章十八:Elasticsearch 多条件组合查询实战运用
大数据·elasticsearch·搜索引擎