使用ES查询时只返回指定字段的三种方法

背景

最近在使用ES检索pdf、word等文件内容时查询发现返回的结果过于冗长,不好阅读,因为文件的内容占据的篇幅太大了,因而要设置返回字段。

在Elasticsearch(ES)中,当你执行查询时,通常希望只返回特定的字段,而不是整个文档的所有字段。这可以提高查询的响应速度,并减少数据传输量。 以下是如何在ES查询中只返回指定字段的方法:

三种实现方法

1. 使用_source字段过滤

你可以通过_source字段来指定需要返回的字段。在查询请求体中,将_source设置为一个包含所需字段名的数组。例如,如果你只想返回title和channel字段,你的查询可能如下所示:

json 复制代码
GET /your_index/_search
{
  "_source": ["title", "author"],
  "query": {
    "match_all": {}
  }
}

在这个例子中,your_index是你要查询的索引名。match_all查询是一个简单的查询,它会匹配索引中的所有文档。通过_source字段,我们告诉ES只返回title和author等字段。

还可以反向操作,除了什么字段以外全都返回,这样可以避免写很多自己需要的字段:

http 复制代码
GET /docwrite/_search
{
  "query": {
    "match": {
      "attachment.content": {
        "query": "主机配置",
        "analyzer": "ik_smart"
      }
    }
  },
  "_source": {
    "excludes": "attachment"
  }
}

如此,返回的结果就只有除了附件以外的字段内容了:

2. 使用source_filtering参数

在某些情况下,你也可以使用source_filtering参数来包含或排除特定字段。这通常在使用high level REST客户端或某些特定的客户端库时可用。你可以指定一个包含字段名的数组来只包含这些字段,或者指定一个排除字段名的数组来排除这些字段。

3. 使用SourceFilter在Java客户端中

如果你使用的是Elasticsearch的Java客户端,你可以使用SourceFilter来过滤返回的字段。例如:

java 复制代码
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.fetchSource(new String[]{"title", "channel"}, null);
searchSourceBuilder.query(QueryBuilders.matchAllQuery());
SearchRequest searchRequest = new SearchRequest("your_index");
searchRequest.source(searchSourceBuilder);
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

在这个Java示例中,fetchSource方法用于指定要返回的字段。第一个参数是一个包含所需字段名的数组,第二个参数(这里是null)是一个包含要排除的字段名的数组。然后,我们构建一个match_all查询,并将其添加到搜索源构建器中。最后,我们执行搜索请求并获取响应。

注意

请注意,根据你的具体需求和使用的Elasticsearch版本或客户端库,上述方法可能会有所不同。

结语

只返回需要的字段可以大大减少从ES中检索和传输的数据量。这能够显著提高查询的响应速度,特别是在处理大量数据或网络带宽有限的情况下。

对于客户端或应用程序来说,只接收和处理必要的字段可以减少所需的存储空间和内存使用量。这有助于降低系统资源消耗,提高整体效率。

相关推荐
Elasticsearch13 小时前
你的日志早已写好告警:在 Elasticsearch 中生成 ES|QL 检测查询
elasticsearch
垚垚学技术_聚焦云原生14 小时前
Ansible Vault 安全实践:敏感密码、密钥加密存储方案
安全·elasticsearch·ansible
Flynn Liang1 天前
内存/Redis/PGVector/Milvus/ES 怎么选?Spring AI VectorStore 抽象与向量库选型对照表
redis·elasticsearch·milvus·rag·springai·pgvector·向量库
Elastic 中国社区官方博客2 天前
基于 Jina OCR v1 与 Elasticsearch 的 PDF 智能混合检索与 RAG 系统实战指南
大数据·数据库·elasticsearch·搜索引擎·ocr·jina
Eloudy2 天前
Qwen2.5-14B-Instruct-AWQ 模型文件结构分析
大数据·elasticsearch·搜索引擎
YIN_尹2 天前
【git原理与使用】git初识与安装
大数据·git·elasticsearch
Elastic 中国社区官方博客3 天前
Elastic 在《Forrester Wave™:2026 年第四季度智能运维平台》报告中被评为强劲表现者
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索
Elasticsearch3 天前
Elastic Cloud 无服务器服务审计日志:将审计记录发送到可观测性或安全解决方案
elasticsearch
zwjapple3 天前
skill总结
大数据·elasticsearch·搜索引擎
阿里云大数据AI技术3 天前
云栖实录|从代码上下文到千亿级文档:Qoder × 阿里云 Elasticsearch 落地生产级Agent向量检索
人工智能·elasticsearch