【DSL】ES+DSL 查询语法

看海的四叔2023-07-20 15:24

【DSL】ES+DSL 查询语法

一、前言

工作中遇到ES的查询问题，由于业务方给的条件不清晰，有些查询无法实现，需要用到DSL语法查询实现，很久没用生疏了，借此机会复习下。

二、定义

1.基本介绍

Elasticsearch（简称为ES ），一个开源的分布式搜索和分析引擎，主要用于处理大量数据并提供快速、实时的搜索功能。
DSL（Domain Specific Language），一种特定领域的查询语言，用于构建复杂的查询和聚合操作。

在Elasticsearch中，可用DSL语法来定义查询和过滤条件，以及执行聚合操作。

DSL语法具有JSON格式****（敲重点，要考），因此它非常易于阅读和编写。

2.语法说明

（1）关键字(Keywords)
  • DSL通常会定义一组关键字，这些关键字具有特殊含义，并在DSL中起到关键作用。关键字通常不能用作标识符或变量名。
  • 示例：在一个简单的数学表达式DSL中，可能会定义关键字如"add"、"subtract"等来表示加法和减法操作。
（2）标识符(Identifiers)
  • 标识符是用来表示变量名、函数名或其他用户定义的名称。它们需要遵循特定的命名规则，如大小写敏感、不包含特殊字符等。
  • 示例：在一个配置文件DSL中，可以使用标识符来表示不同的配置项，如"username"、"password"等。
（3）表达式(Expressions)
  • 表达式是DSL中最基本的构建块，用于计算或产生某个值。表达式可以包括变量、常量、运算符和函数调用。
  • 示例：在一个数学表达式DSL中，可以将"2 + 3"作为一个表达式，计算结果为5。
（4）运算符(Operators)
  • 运算符用于执行各种操作，例如算术运算、逻辑运算、比较运算等。DSL中的运算符根据所涉及的领域和需求而定。
  • 示例：在一个布尔表达式DSL中，可以定义逻辑运算符如"and"、"or"用于连接多个条件。
（5）函数调用(Function Calls)
  • DSL可以支持函数调用，允许用户使用预定义或自定义的函数来完成特定的任务。函数调用通常由函数名称和传递给函数的参数组成。
  • 示例：在一个日期处理DSL中，可以定义函数"formatDate(date, format)"，其中"date"是日期值，"format"是日期格式字符串。
（6）控制流(Control Flow)
  • 控制流语句用于控制程序的执行流程，例如条件语句(if-else)和循环语句(while、for)等。DSL可以支持特定的控制流语句来满足领域特定需求。
  • 示例：在一个工作流程DSL中，可以使用条件语句来判断某个条件是否满足并执行相应的操作。
（7）注释(Comments)
  • 注释用于向DSL代码添加说明性文本，以便开发人员理解和维护代码。注释通常不会被编译或执行，仅用于阅读目的。
  • 示例：在DSL中，可以使用双斜杠(//)或特定的注释标记来添加注释，如："// 这是一个示例注释"。

3.常见语法

（1）查询（Query）

用于指定搜索条件，并返回与之匹配的文档结果集。以下是一些常见的查询类型：

  • Match查询：用于根据指定字段的内容进行全文匹配。
  • Term查询：用于精确匹配某个字段的值，不进行分词。
  • Range查询：用于匹配某个范围内的值。
  • Bool查询：用于组合多个查询条件。
（2）过滤（Filter）

用于筛选满足指定条件的文档结果集。过滤器通常用于在查询结果上应用额外的限制。以下是一些常见的过滤器类型：

  • Term过滤器：用于精确匹配某个字段的值。
  • Range过滤器：用于筛选符合某个范围条件的值。
  • Bool过滤器：用于组合多个过滤条件。
（3）聚合（Aggregation）

用于对文档结果集进行分组和统计操作，从而生成各种汇总数据。聚合可以计算平均值、总和、最大值、最小值等。以下是一些常见的聚合类型：

  • Terms聚合：根据指定字段的值进行分组，并返回每个分组的文档统计信息。
  • Date Histogram聚合：按照时间间隔对文档进行分组，并返回每个时间间隔的文档统计信息。
  • Range聚合：将文档分组到不同的范围，并返回每个范围的文档统计信息。

三、示例枚举

1.单独查询

我用的ES版本为7.1.0，以下所有示例均基于这个版本，不同版本在写法上略有差异，使用时要注意喔。

（1）基本查询（Match Query）
  • 查询指定字段中匹配关键词或短语的文档。
  • 示例：查询"title"字段包含"Elasticsearch"的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "match": {
      "title": "Elasticsearch"
    }
  }
}
（2）多字段查询（Multi-match Query）
  • 在多个字段中匹配指定的关键词或短语。
  • 示例：在"title"和"content"字段中匹配"Elasticsearch"的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "multi_match": {
      "query": "Elasticsearch",
      "fields": ["title", "content"]
    }
  }
}
（3）范围查询（Range Query）
  • 根据范围条件匹配字段中的值。
  • 示例：查询价格在50到100之间的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 50,
        "lte": 100
      }
    }
  }
}
（4）布尔查询（Bool Query）
  • 将多个查询组合为逻辑上的AND、OR或NOT关系。
  • 示例：查询标题包含"Elasticsearch"且价格大于等于50的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } },
        { "range": { "price": { "gte": 50 } } }
      ]
    }
  }
}
（5）聚合查询（Aggregation Query）
  • 计算和统计数据集中的汇总信息。
  • 示例：计算字段"sales"的总和作为结果返回。
java 复制代码 
GET /index/_search
{
  "aggs": {
    "total_sales": {
      "sum": { "field": "sales" }
    }
  }
}
（6）排序（Sorting）
  • 对搜索结果按照指定字段进行排序。
  • 示例：按照"timestamp"字段的降序对结果进行排序。
java 复制代码 
GET /index/_search
{
  "sort": [
    { "timestamp": { "order": "desc" } }
  ]
}
（7）分页（Pagination）
  • 从搜索结果中获取特定范围的文档。
  • 示例：返回从0开始的10个文档作为结果。
java 复制代码 
GET /index/_search
{
  "from": 0,
  "size": 10,
  "query": {
    "match_all": {}
  }
}

2.组合查询

因为大部分日常使用，都是组合查询，所以在此也罗列一些组合查询的示例。

（1）组合多个must查询
  • 示例：要求标题包含"Elasticsearch"且内容包含"数据分析"的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } },
        { "match": { "content": "数据分析" } }
      ]
    }
  }
}
（2）组合must和should查询
  • 示例：要求标题包含"Elasticsearch"且（价格大于等于50或评分高于4）的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } }
      ],
      "should": [
        { "range": { "price": { "gte": 50 } } },
        { "range": { "rating": { "gt": 4 } } }
      ]
    }
  }
}
（3）组合must和must_not查询
  • 示例：要求标题包含"Elasticsearch"且不包含"教程"的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } }
      ],
      "must_not": [
        { "match": { "title": "教程" } }
      ]
    }
  }
}
（4）组合多个should查询
  • 示例：要求标题包含"Elasticsearch"或内容包含"数据分析"或作者是"John"的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "title": "Elasticsearch" } },
        { "match": { "content": "数据分析" } },
        { "match": { "author": "John" } }
      ]
    }
  }
}
（5）嵌套组合查询
  • 示例：要求标题包含"Elasticsearch"且（价格大于等于50或评分高于4）且（内容包含"搜索引擎"或标签是"技术"）的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } }
      ],
      "should": [
        { "range": { "price": { "gte": 50 } } },
        { "range": { "rating": { "gt": 4 } } }
      ],
      "minimum_should_match": 1,
      "filter": [
        { "match": { "content": "搜索引擎" } },
        { "terms": { "tags": ["技术"] } }
      ]
    }
  }
}
  • 将多个查询组合使用bool查询的must、should或must_not子句。
  • 示例：查询标题包含"Elasticsearch"且（价格大于等于50或评分高于4）的文档。
java 复制代码 
GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } },
        {
          "bool": {
            "should": [
              { "range": { "price": { "gte": 50 } } },
              { "range": { "rating": { "gt": 4 } } }
            ]
          }
        }
      ]
    }
  }
}

四、总结

对技术的态度还是那句话：只有不断学习才能不断进步，在此也推荐一些关于ES+DSL的主题文章，可以参考学习：

  1. "Getting Started with Elasticsearch: A Complete Guide" by Elastic：这篇文章是Elastic官方提供的入门指南，涵盖了Elasticsearch的基本概念、安装和配置，以及常见的用例和查询示例。
  2. "Introduction to Domain-Specific Languages" by Martin Fowler：这是Martin Fowler撰写的一篇关于领域特定语言的介绍性文章。它解释了什么是DSL，为什么使用DSL以及如何设计和实现DSL。
  3. "Creating Domain-Specific Languages with Xtext" by Lars Vogel：这篇文章介绍了使用Xtext开发领域特定语言的方法。它探讨了Xtext的基本概念、工作流程和示例，帮助您开始构建自己的DSL。
  4. "Building Domain-Specific Languages in Python" by Andrew Dalke：这篇文章介绍了在Python中构建领域特定语言的方法。它包含了一些库和工具的示例，可以帮助您在Python项目中实现自定义DSL。

以上是梳理总结的一些关于ES+DSL 查询语法学习的内容，希望能帮到大家， 如有错误，欢迎指正。

原创不易，转载请注意出处：

https://blog.csdn.net/weixin_41613094/article/details/131578855

相关推荐
Mephisto.java5 小时前
【大数据学习 | HBASE高级】storeFile文件的合并
大数据·sql·oracle·json·hbase·database
不二人生5 小时前
SQL面试题——连续出现次数
hive·sql·面试
CoderJia程序员甲6 小时前
重学SpringBoot3-整合 Elasticsearch 8.x (三)使用Repository
java·大数据·spring boot·elasticsearch
东方巴黎～Sunsiny6 小时前
如何优化Elasticsearch的查询性能？
大数据·elasticsearch·搜索引擎
在下方方8 小时前
【快捷入门笔记】mysql基本操作大全-SQL表
笔记·sql·mysql
Ttang238 小时前
数据库&SQL——嵌套子查询（IN/NOT IN/SOME/ALL/EXIST/NOT EXIST）
数据库·sql
Json_181790144808 小时前
京东商品详情（item getAPI接口）json数据格式参考
大数据·json
颖火虫-IT赵云10 小时前
json转excel，读取json文件写入到excel中【rust语言】
rust·json·excel·jsontoexcel
Denny辉11 小时前
Flink使用SQL Gateway提交SQL Job到远程集群
sql·flink·gateway
NoneCoder11 小时前
命令行工具进阶指南
大数据·elasticsearch·搜索引擎
热门推荐
01聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03Windows10安装PCL1.14.0及点云配准04C++——超强级病毒代码05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07硬件预取之空间预取08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09Coze扣子平台完整体验和实践（附国内和国际版对比）10【SCS-CN】SCS-CN模型中CN值的确定