Elasticsearch高阶查询

敖小军2024-08-22 0:33

Elasticsearch高阶查询

文章目录

相关性和相关性算分

搜索是用户和搜索引擎的对话，用户关心的是搜索结果的相关性

是否可以找到所有相关的内容

有多少不相关的内容被返回了

文档的打分是否合理

结合业务需求，平衡结果排名

如何衡量相关性:

  • Precision(查准率)-尽可能返回较少的无关文档
  • Recall(查全率)-尽量返回较多的相关文档
  • Ranking-是否能够按照相关度进行排序
相关性 (Relevance)

搜索的相关性算分，描述了一个文档和查询语句匹配的程度。ES 会对每个匹配查询条件的结果进行

算分 _score。打分的本质是排序，需要把最符合用户需求的文档排在前面。ES 5之前，默认的相关性

算分采用TF-IDF，现在采用BM 25。

什么是TF-IDF

TF-IDF (term frequency-inverse document frequency) 是一种用于信息检索与数据挖掘的常用加权

技术。

  • TF-IDF被公认为是信息检索领域最重要的发明，除了在信息检索，在文献分类和其他相关领
    域有着非常广泛的应用。
  • IDF的概念，最早是剑桥大学的"斯巴克.琼斯"提出
  • 1972年一-"关键词特殊性的统计解释和它在文献检索中的应用"，但是没有从理论上解
    释IDF应该是用log(全部文档数/检索词出现过的文档总数)，而不是其他函数，也没有做进一
    步的研究
  • 1970，1980年代萨尔顿和罗宾逊，进行了进一步的证明和研究，并用香农信息论做了证明
  • 现代搜索引擎，对TF-IDF进行了大量细微的优化

Lucene中的TF-IDF评分公式

  • TF是词频（Term Frequency）

检索词在文档中出现的频率越高，相关性也越高

  • IDF是逆向文本频率（Inverse Document Frequency）

每个检索词在索引中出现的频率，频率越高，相关性越低

比如java在100个文档中都有，而多线程只有一个文档有，那么java需要扫描100篇文档，而多线程只需要扫描一篇，所以java的相关性比多线程低。

java对于用户来说，搜索java，出现了100篇文档，那么对用户搜索的相关性是低的。

  • 字段长度归一值（filed-length norm）

字段的长度是多少?字段越短，字段的权重越高。检索词出现在一个内容短的 title 要比同样的词出现在一个内容长的 content 字段权重更大。

说白了就是很长的content才找到那么一个搜索关键词，那么相关性肯定低撒。

BM25

BM25 就是对 TF-IDF 算法的改进，对于 TF-IDF 算法，TF(t)部分的值越大，整个公式返回的值就会越大。BM25 就针对这点进行来优化，随着TF(t) 的逐步加大，该算法的返回值会趋于一个数值。

explain关键字

在查询的时候加上explain:true可以返回相应的算分规则

复制代码 
POST hotel/_search
{
  "explain": true, 
  "query": {
    "match": {
      "name": "北京"
    }
  }
}

返回具体的算分规则

JSON 复制代码 
"_explanation" : {
          "value" : 1.6035968,
          "description" : "weight(name:北京 in 163) [PerFieldSimilarity], result of:",
          "details" : [
            {
              "value" : 1.6035968,
              "description" : "score(freq=2.0), computed as boost * idf * tf from:",
              "details" : [
                {
                  "value" : 2.2,
                  "description" : "boost",
                  "details" : [ ]
                },
                {
                  "value" : 1.1731012,
                  "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                  "details" : [
                    {
                      "value" : 62,
                      "description" : "n, number of documents containing term",
                      "details" : [ ]
                    },
                    {
                      "value" : 201,
                      "description" : "N, total number of documents with field",
                      "details" : [ ]
                    }
                  ]
                },
                {
                  "value" : 0.621351,
                  "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                  "details" : [
                    {
                      "value" : 2.0,
                      "description" : "freq, occurrences of term within document",
                      "details" : [ ]
                    },
                    {
                      "value" : 1.2,
                      "description" : "k1, term saturation parameter",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.75,
                      "description" : "b, length normalization parameter",
                      "details" : [ ]
                    },
                    {
                      "value" : 9.0,
                      "description" : "dl, length of field",
                      "details" : [ ]
                    },
                    {
                      "value" : 8.815921,
                      "description" : "avgdl, average length of field",
                      "details" : [ ]
                    }
                  ]
                }
              ]
            }
          ]
        }
Boosting

Boosting是控制相关度的一个手段。

参数Boost的含义：

  • 当Boost > 1 时，打分的权重相对性提升
  • 当 0 < Boost < 1时，打分的权重相对性降低
  • 当Boost < 0时，贡献负分
如何通过Boost控制想要的文档排在前面？
复制代码 
POST hotel/_search
{
  "query": {
    "match": {
      "name": {
        "query": "北京西直门",
        "operator": "and"
        
      }
    }
  }
}

如查询北京西直门的酒店

复制代码 
{
        "_index" : "hotel2",
        "_type" : "_doc",
        "_id" : "1765008760",
        "_score" : 13.104373,
        "_source" : {
          "id" : 1765008760,
          "name" : "如家酒店(北京西直门北京北站店)",
          "address" : "西直门北大街49号",
          "price" : 356,
          "score" : 44,
          "brand" : "如家",
          "city" : "北京",
          "business" : "西直门/北京展览馆地区",
          "location" : "39.945106,116.353827",
          "pic" : "https://m.tuniucdn.com/fb3/s1/2n9c/4CLwbCE9346jYn7nFsJTQXuBExTJ_w200_h200_c1_t0.jpg"
        }
      },
      {
        "_index" : "hotel2",
        "_type" : "_doc",
        "_id" : "414168",
        "_score" : 12.663941,
        "_source" : {
          "id" : 414168,
          "name" : "7天连锁酒店(北京西直门店)",
          "address" : "西城平安里西大街翠花街育幼胡同甲20-22号",
          "price" : 419,
          "score" : 37,
          "brand" : "7天酒店",
          "city" : "北京",
          "business" : "西单、金融街地区",
          "location" : "39.931338,116.364982",
          "pic" : "https://m2.tuniucdn.com/filebroker/cdn/res/bc/66/bc666859edf4fc072a8006c66758058d_w200_h200_c1_t0.jpg"
        }
      }

可以看到如家评分在前面。

当我们将北京的条件boost相关性调低。

复制代码 
POST hotel/_search
{
  "query": {
    "boosting": {
      "positive": {
        "term": {
          "name": {
            "value": "西直门"
          }
        }
      },
      "negative": {
        "term": {
          "name": {
            "value": "北京"
          }
        }
      },
      "negative_boost": 0.2
    }
  }
}

{
        "_index" : "hotel2",
        "_type" : "_doc",
        "_id" : "414168",
        "_score" : 0.87095565,
        "_source" : {
          "id" : 414168,
          "name" : "7天连锁酒店(北京西直门店)",
          "address" : "西城平安里西大街翠花街育幼胡同甲20-22号",
          "price" : 419,
          "score" : 37,
          "brand" : "7天酒店",
          "city" : "北京",
          "business" : "西单、金融街地区",
          "location" : "39.931338,116.364982",
          "pic" : "https://m2.tuniucdn.com/filebroker/cdn/res/bc/66/bc666859edf4fc072a8006c66758058d_w200_h200_c1_t0.jpg"
        }
      },
      {
        "_index" : "hotel2",
        "_type" : "_doc",
        "_id" : "1765008760",
        "_score" : 0.87095565,
        "_source" : {
          "id" : 1765008760,
          "name" : "如家酒店(北京西直门北京北站店)",
          "address" : "西直门北大街49号",
          "price" : 356,
          "score" : 44,
          "brand" : "如家",
          "city" : "北京",
          "business" : "西直门/北京展览馆地区",
          "location" : "39.945106,116.353827",
          "pic" : "https://m.tuniucdn.com/fb3/s1/2n9c/4CLwbCE9346jYn7nFsJTQXuBExTJ_w200_h200_c1_t0.jpg"
        }
      }

可以看到7天酒店的评分高了

这种业务场景在于**收费**的要排在前面，即使它的相关性没那么高。

布尔查询（bool Query）

一个bool查询,是一个或者多个查询子句的组合，总共包括4种子句，其中2种会影响算分，2种不影响算分。

  • must: 相当于&&，必须匹配，贡献算分
  • should: 相当于or，选择性匹配，贡献算分
  • must not: 相当于!，必须不能匹配，不贡献算分
  • filter: 必须匹配，不贡献算分

在Elasticsearch中，有Query和 Filter两种不同的Context

  • Query Context: 相关性算分

  • Filter Context: 不需要算分,可以利用Cache，获得更好的性能

相关性并不只是全文本检索的专利，也适用于yes|no 的子句，匹配的子句越多，相关性评分越高。如果多条查询子句被合并为一条复合查询语句，比如 bool查询，则每个查询子句计算得出的评分会被合并到总的相关性评分中。

查询语法
  • 子查询可以任意顺序出现
  • 可以嵌套多个子查询
  • 如果bool查询中，没有must条件，should必须至少满足一个查询
语法格式
复制代码 
POST hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {},{},{}
      ],
      "should": [
        {},{},{}
      ],
      "must_not": [
        {},{},{}
      ],
      "filter": [
        {},{},{}
      ]
    }
  }
}

如查询北京市的如家酒店

复制代码 
POST hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "brand": "如家"
          }
        },
        {
          "match": {
            "city": "北京"
          }
        }
      ]
    }
  }
}

查询北京市的如家酒店,并且不要国贸地区的

复制代码 
POST hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "brand": "如家"
          }
        },
        {
          "match": {
            "city": "北京"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "business.keyword": "国贸地区"
          }
        }
      ]
    }
  }
}

北京市的如家酒店,并且不要国贸地区的,并且价格在200到300之间，并且价格不重要

复制代码 
POST hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "brand": "如家"
          }
        },
        {
          "match": {
            "city": "北京"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "business.keyword": "国贸地区"
          }
        }
      ],
      "filter": [
        {
          "range": {
            "price": {
              "gte": 200,
              "lte": 300
            }
          }
        }
      ]
    }
  }
}

北京市的如家酒店,并且不要国贸地区 的,并且价格在200到300之间，并且价格不重要,而且地址最好在莲花池的

复制代码 
POST hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "brand": "如家"
          }
        },
        {
          "match": {
            "city": "北京"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "business.keyword": "国贸地区"
          }
        }
      ],
      "filter": [
        {
          "range": {
            "price": {
              "gte": 200,
              "lte": 300
            }
          }
        }
      ],
      "should": [
        {
          "match": {
            "address": "莲花池"
          }
        }
      ]
    }
  }
}

单字符串多字段查询

三种场景
最佳字段(Best Fields)

当字段之间相互竞争，又相互关联。例如，对于博客的 title和 body这样的字段，评分来自最匹配字段

多数字段(Most Fields)

处理英文内容时的一种常见的手段是，在主字段( English Analyzer)，抽取词干，加入同义词，以匹配更多的文档。相同的文本，加入子字段 (Standard Analyzer)，以提供更加精确的匹配。其他字段作为匹配文档提高相关度的信号，匹配字段越多则越好。

混合字段(Cross Field)

对于某些实体，例如人名，地址，图书信息。需要在多个字段中确定信息，单个字段只能作为整体的部分。希望在任何这些列出的字段中找到尽可能多的词

最佳字段查询(Dis Max Query)

将任何与任一查询匹配的文档作为结果返回，采用字段上最匹配的评分最终评分返回

第一种写法:

复制代码 
POST hotel/_search
{
  "query": {
    "multi_match": {
      "type": "best_fields", 
      "query": "莲花",
      "fields": ["address","business"],
      "tie_breaker": 0.2
    }
  }
}

type: best_fields默认

第二种写法：

复制代码 
POST hotel/_search
{
  "query": {
    "dis_max": {
      "tie_breaker": 0.7,
      "queries": [
        {
          "match": {
            "address": "莲花"
          }
        },
        {
          "match": {
            "business": "莲花"
          }
        }  
      ]
    }
  }
}
可以通过tie_breaker参数调整

Tier Breaker是一个介于0-1之间的浮点数。0代表使用最佳匹配;1代表所有语句同等重要

  1. 获得最佳匹配语句的评分 score。
  2. 将其他匹配语句的评分与tie breaker相乘
  3. 对以上评分求和并规范化
混合字段

混合字段支持and符，可以在多字段中精确查询每个字段。如四川成都，在province中匹配四川，在city字段中匹配成都

聚合查询

聚合主要用做统计分析功能，常见的聚合操作有求和 ，平均 ，分组

语法：

复制代码 
"aggs": {
	"aggs_name":  { //自定义聚合查询的名字
		"aggs_type" : { //聚合的定义，如求和还是平均什么的
			"aggs_body"
		},
		"aggs" : {} //子查询，如某些先分组，再平均的情况

	}
}
聚合的分类
数学运算，如最大，最小，求和，平均等

  1. 查询酒店价格最大，最小，和平均值,es默认会返回查询的数据结果，使用size：0可以不需要返回数据

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "max_price": {
    "max": {
    "field": "price"
    }
    },
    "min_price" : {
    "min" : {
    "field": "price"
    }
    },
    "avg_price" : {
    "avg": {
    "field": "price"
    }
    }
    }
    }

    {
    "took" : 3,
    "timed_out" : false,
    "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
    },
    "hits" : {
    "total" : {
    "value" : 201,
    "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
    },
    "aggregations" : {
    "max_price" : {
    "value" : 3299.0
    },
    "min_price" : {
    "value" : 127.0
    },
    "avg_price" : {
    "value" : 660.6019900497513
    }
    }
    }

  2. 利用stats类型，计算所有的数学运算结果

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "stats_price": {
    "stats": {
    "field": "price"
    }
    }
    }
    }

JSON 复制代码 
{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 201,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "stats_price" : {
      "count" : 201,
      "min" : 127.0,
      "max" : 3299.0,
      "avg" : 660.6019900497513,
      "sum" : 132781.0
    }
  }
}

  1. 去重查询 cardinality,主要是针对keyword进行去重，如果是text类型，不允许去重。

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "cardinate_city": {
    "cardinality": {
    "field": "city"
    }
    }
    }
    }

Bucket aggregation：类似于分组，就是分桶的概念

常见的分桶聚合：

  1. terms： 需要字段支持fielddata
    • keyword默认支持fielddata
    • text需要在Mapping中开启fielddata，会按照分词后的结果进行分桶
  2. 数字类型
    • Range/Data Range
    • Histogram(直方图)/Data Histogram
  3. 支持嵌套：也就在桶里再坐分桶

  • 按照城市分组

    POST hotel/_search
    {
    "aggs": {
    "by_size": {
    "terms": {
    "field": "city"
    }
    }
    }
    }

  • 按照价格区间分组

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "range_price": {
    "range": {
    "field": "price",
    "ranges": [
    {
    "key": "小于200",
    "to": 200
    },
    {
    "key": "500以内",
    "from": 200,
    "to": 500
    },
    {
    "key": "1000以内",
    "from": 500,
    "to": 1000
    },
    {
    "key": "大于1000",
    "from": 1000
    }
    ]
    }
    }
    }
    }

    "aggregations" : {
    "range_price" : {
    "buckets" : [
    {
    "key" : "小于200",
    "to" : 200.0,
    "doc_count" : 17
    },
    {
    "key" : "500以内",
    "from" : 200.0,
    "to" : 500.0,
    "doc_count" : 78
    },
    {
    "key" : "1000以内",
    "from" : 500.0,
    "to" : 1000.0,
    "doc_count" : 77
    },
    {
    "key" : "大于1000",
    "from" : 1000.0,
    "doc_count" : 29
    }
    ]
    }
    }

  • 按照价格区间进行直方图查询

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "histogram_price": {
    "histogram": {
    "field": "price",
    "interval": 1000,
    "extended_bounds": {
    "min": 0,
    "max": 3000
    }
    }
    }
    }
    }

  1. 嵌套查询，如先按照城市进行分组，再计算各城市酒店的平均价格

    先按照城市进行分桶，再求价格的平均值

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "bucket_city": {
    "terms": {
    "field": "city"
    },
    "aggs": {
    "avg_price": {
    "avg": {
    "field": "price"
    }
    }
    }
    }
    }
    }

Pipeline Aggregation: 对其他的聚合结果进行二次聚合

如求取各品牌下酒店平均价格的最小值

  1. 根据brand进行分桶

  2. 求取分桶下price的平均值

  3. 根据avg_price求最小值

    POST hotel/_search
    {
    "size": 0,
    "aggs": {
    "terms_brand": {
    "terms": {
    "field": "brand"
    },
    "aggs": {
    "avg_price": {
    "avg": {
    "field": "price"
    }
    }
    }
    },
    "min_price_by_brand" : {
    "min_bucket": {
    "buckets_path": "terms_brand>avg_price"
    }
    }
    }
    }

buckets_path下的> 符号为路径符号，意思是最小值通过terms_brand下的avg_price取

相关推荐
泊浮目25 分钟前
未来数据库硬件-计算篇
数据库·云计算·操作系统
靖顺27 分钟前
【OceanBase诊断调优】—— 执行计划显示分区 PARTITIONS[P0SP9] 如何查询是哪个分区？
数据库·oracle·oceanbase
KIDAKN1 小时前
MySQL 存储结构
数据库·mysql
Code季风1 小时前
SQL关键字快速入门：HAVING 分组后的条件过滤
数据库·sql·mysql
程序猿ZhangSir2 小时前
Redis 缓存进阶篇，缓存真实数据和缓存文件指针最佳实现？如何选择?
数据库·redis·缓存
yjb.gz2 小时前
Oracle函数JSON_TABLE使用
数据库·oracle·json
Dubhehug2 小时前
4.B树和B+树的区别？为什么MySQL选择B+树作为索引？
数据库·b树·mysql·面试·b+树
linux修理工3 小时前
n1 armbian 安装桌面环境并启用xrdp远程登录
linux·服务器·数据库
开开心心就好4 小时前
高效报价软件，简化商铺定价流程
服务器·数据库·安全·面试·职场和发展·电脑·symfony
钢铁男儿5 小时前
PyQt5高级界而控件(容器：装载更多的控件QDockWidget)
数据库·python·qt
热门推荐
01集群聊天服务器---MySQL数据库的建立02Java学习第十五部分——MyBatis03Coze扣子平台完整体验和实践（附国内和国际版对比）04基于odoo17的设计模式详解---单例模式05使用Ruby接入实时行情API教程06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解07《深入设计模式》模式结构汇总08基于odoo17的设计模式详解---装饰模式09DeepSeek各版本说明与优缺点分析10Everything文件检索工具 几秒检索几百G的文件