ES怎么查询大于10000条数据

在Elasticsearch（ES）中，默认情况下，查询结果的最大返回条数是10,000条。如果你需要查询超过10,000条数据，可以通过以下几种方式来实现：

1. 使用 scroll API

scroll API 适用于需要处理大量数据的场景，尤其是当数据量超过10,000条时。scroll API 会创建一个快照，允许你在多次请求中逐步获取数据。

json

复制

POST /your_index/_search?scroll=1m
{
  "size": 10000,
  "query": {
    "match_all": {}
  }
}

• scroll=1m：表示快照的有效时间为1分钟。

• size=10000：每次请求返回的最大文档数。

在第一次请求后，你会得到一个 scroll_id，后续请求可以使用这个 scroll_id 来获取更多数据：

json

复制

POST /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "your_scroll_id"
}

2. 使用 search_after 参数

search_after 参数适用于需要分页查询大量数据的场景。它通过指定一个排序字段和值来实现分页，避免了 from 和 size 参数在大数据量下的性能问题。

json

复制

POST /your_index/_search
{
  "size": 10000,
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "your_sort_field": "asc"
    }
  ]
}

在第一次查询后，你可以使用 search_after 参数来获取下一页数据：

json

复制

POST /your_index/_search
{
  "size": 10000,
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "your_sort_field": "asc"
    }
  ],
  "search_after": [last_sort_value]
}

• last_sort_value：是上一页最后一个文档的排序字段值。

3. 调整 max_result_window 参数

如果你确实需要一次性返回超过10,000条数据，可以通过调整 max_result_window 参数来增加返回结果的最大数量。不过，这种方式不推荐用于大数据量的查询，因为它可能会导致性能问题。

json

复制

PUT /your_index/_settings
{
  "index": {
    "max_result_window": 50000
  }
}

然后你可以使用普通的 from 和 size 参数来查询：

json

复制

POST /your_index/_search
{
  "from": 0,
  "size": 50000,
  "query": {
    "match_all": {}
  }
}

4. 使用 slice 进行并行查询

如果你需要查询大量数据并且希望并行处理，可以使用 slice 参数将查询分成多个切片，每个切片可以独立查询。

json

复制

POST /your_index/_search
{
  "slice": {
    "id": 0,
    "max": 5
  },
  "query": {
    "match_all": {}
  }
}

• id：切片的ID。

• max：切片的总数。

你可以通过多个请求并行查询不同的切片。

总结

• scroll API：适合一次性获取大量数据，尤其是需要处理所有数据的场景。

• search_after：适合分页查询大数据量，性能较好。

• max_result_window：不推荐用于大数据量查询，可能会导致性能问题。

• slice：适合并行查询大数据量。

根据你的具体需求选择合适的查询方式。