Elasticsearch SQL与 Elasticsearch DSL

Elasticsearch 提供了两种主要的查询方式:Elasticsearch SQL (ES SQL) 和 Elasticsearch Domain-Specific Language (ES DSL)。这两种方式各有特点,适用于不同的场景。

1. Elasticsearch SQL (ES SQL)
  • 定义: ES SQL 是一种基于SQL的查询语言,允许用户使用类似于SQL的语法来查询Elasticsearch中的数据。
  • 特点 :
    • 易用性: 对于熟悉SQL的用户来说,学习成本较低。
    • 标准性: 支持标准SQL语法,如SELECT、FROM、WHERE等。
    • 功能性: 提供了丰富的聚合、排序、过滤等功能。
  • 适用场景: 适合需要快速构建报表、分析应用的场景,以及希望使用SQL进行查询的用户。
2. Elasticsearch DSL (ES DSL)
  • 定义: ES DSL 是一种JSON格式的查询语言,用于向Elasticsearch发送查询请求。
  • 特点 :
    • 灵活性: 提供高度定制化的查询能力。
    • 功能性: 支持复杂的查询和聚合操作。
    • 性能: 通常在性能敏感的应用中表现更优。
  • 适用场景: 适合需要高度定制化查询逻辑的应用程序开发。
3. SQL 与 ES SQL 之间的关系
  • 相似性: ES SQL 支持标准SQL语法,包括SELECT、FROM、WHERE等关键字。
  • 差异性 :
    • 数据模型: SQL通常用于关系型数据库,而Elasticsearch是一个面向文档的NoSQL数据库。
    • 查询能力: SQL支持复杂的JOIN操作,而ES SQL不直接支持JOIN,但可以通过子查询等方式模拟JOIN操作。
    • 性能考量: SQL查询可能涉及大量的表扫描,而ES SQL通常针对索引进行查询,性能较高。

如何查询Elasticsearch中的数据

使用 ES SQL 查询数据
  1. 安装和配置:

    • 确保Elasticsearch环境已经正确配置,并启用了ES SQL插件。
    • 可以通过Elasticsearch插件管理器安装支持ES SQL的插件。
  2. 发送查询:

    • 使用curl :

      bash 复制代码
      curl -X GET "localhost:9200/_sql?format=json" -H 'Content-Type: application/x-sql' -d 'SELECT * FROM books LIMIT 10'
    • 使用Python客户端 :

      python 复制代码
      from elasticsearch import Elasticsearch
      
      es = Elasticsearch()
      
      query = {
          "query": "SELECT * FROM books LIMIT 10"
      }
      
      response = es.search(index="_sql", body=query)
      
      print(response['hits']['hits'])
使用 ES DSL 查询数据
  1. 构建查询:

    • 使用JSON格式构建查询请求。
    • 查询可以非常复杂,包括过滤、排序、聚合等操作。
  2. 发送查询:

    • 使用curl :

      bash 复制代码
      curl -X GET "localhost:9200/books/_search" -H 'Content-Type: application/json' -d'
      {
        "query": {
          "match": {
            "author": "John Doe"
          }
        }
      }'
    • 使用Python客户端 :

      python 复制代码
      from elasticsearch import Elasticsearch
      
      es = Elasticsearch()
      
      query = {
          "query": {
              "match": {
                  "author": "John Doe"
              }
          }
      }
      
      response = es.search(index="books", body=query)
      
      print(response['hits']['hits'])

Elasticsearch 常用API

  • 用途: 用于执行全文搜索和聚合查询。

  • 示例 :

    json 复制代码
    {
      "query": {
        "match_all": {}
      }
    }
2. Get API
  • 用途: 用于获取单个文档。

  • 示例 :

    bash 复制代码
    curl -X GET "localhost:9200/books/_doc/1"
3. Index API
  • 用途: 用于创建或更新文档。

  • 示例 :

    bash 复制代码
    curl -X PUT "localhost:9200/books/_doc/1" -H 'Content-Type: application/json' -d'
    {
      "title": "The Great Gatsby",
      "author": "F. Scott Fitzgerald",
      "year": 1925
    }'
4. Delete API
  • 用途: 用于删除文档。

  • 示例 :

    bash 复制代码
    curl -X DELETE "localhost:9200/books/_doc/1"
5. Aggregations API
  • 用途: 用于执行聚合查询,如计算平均值、统计最大值等。

  • 示例 :

    json 复制代码
    {
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }

总结

Elasticsearch SQL (ES SQL) 和 Elasticsearch DSL (ES DSL) 是两种不同的查询方式,分别适用于不同的场景。ES SQL 提供了更接近SQL的查询方式,易于上手,适合快速构建报表和分析应用。ES DSL 则提供了高度定制化的查询能力,适用于需要复杂查询逻辑的应用程序开发。根据具体需求选择合适的查询方式,可以有效地利用Elasticsearch的强大功能。

相关推荐
java1234_小锋1 小时前
Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生1 小时前
Elasticsearch实战应用:构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
永乐春秋2 小时前
WEB-通用漏洞&SQL注入&CTF&二次&堆叠&DNS带外
数据库·sql
武子康5 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
Mephisto.java5 小时前
【大数据学习 | Spark】Spark的改变分区的算子
大数据·elasticsearch·oracle·spark·kafka·memcache
mqiqe5 小时前
Elasticsearch 分词器
python·elasticsearch
小马爱打代码6 小时前
Elasticsearch简介与实操
大数据·elasticsearch·搜索引擎
武子康13 小时前
Java-06 深入浅出 MyBatis - 一对一模型 SqlMapConfig 与 Mapper 详细讲解测试
java·开发语言·数据仓库·sql·mybatis·springboot·springcloud
爱上口袋的天空14 小时前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse