Elasticsearch：使用 ELSER 释放语义搜索的力量：Elastic Learned Sparse EncoderR

Elasticsearch2023-07-27 13:34

问题陈述

在信息过载的时代，根据上下文含义和用户意图而不是精确的关键字匹配来查找相关搜索结果已成为一项重大挑战。 传统的搜索引擎通常无法理解用户查询的语义上下文，从而导致相关性较低的结果。

解决方案：ELSER

Elastic 通过其检索模型 Elastic Learned Sparse EncodeR (ELSER) 引入了该问题的解决方案。 ELSER 是由 Elastic 训练的检索模型，使你能够执行语义搜索以检索更相关的搜索结果。 此搜索类型为你提供基于上下文含义和用户意图的搜索结果，而不是精确的关键字匹配。

ELSER 是一种域外（out-of-domain）模型，这意味着它不需要对你自己的数据进行微调，使其能够开箱即用地适应各种用例。 它将索引和搜索的段落扩展为术语集合，这些术语在不同的训练数据集中经常同时出现。 这些扩展术语不是搜索术语的同义词； 他们是 learned association。

架构

ELSER 使用 Elasticsearch 排名 rank-feature 类型在索引时存储术语和权重，并在以后进行搜索。 要使用 ELSER，你必须具有适当的语义搜索订阅级别或激活试用期。更多关于订阅的信息，请参阅网站 订阅 | Elastic Stack 产品和支持 | Elastic。

如果关闭部署自动扩展，则 Elasticsearch Service 中用于部署和使用 ELSER 模型的最小专用 ML 节点大小为 4 GB。 建议打开自动缩放，因为它允许你的部署根据需求动态调整资源。

KNN 与 ELSER：

Elasticsearch 的 k 最近邻 (KNN) 搜索和 ELSER (Elastic Learned Sparse EncodeR) 都提供强大的搜索功能，但它们是针对不同类型的搜索任务而设计的，并且以根本不同的方式工作。

Elasticsearch 中的 KNN 搜索

Elasticsearch 中的 KNN 搜索功能使你能够在高维空间中查找给定向量的 "最近邻居（nearest neigbors）"。 这对于图像搜索、产品推荐和异常检测等用例特别有用，在这些用例中，你可以将项目表示为矢量，并且希望查找矢量空间中相似的其他项目。

KNN 搜索的工作原理是对每个矢量进行索引，然后使用距离函数（例如 Euclidean 距离或余弦相似度）来查找最接近给定向量的向量。 这是相似性搜索的一种形式，其目标是查找与给定项目相似的项目。

Elasticsearch 中的 ELSER

另一方面，ELSER 是由 Elastic 训练的检索模型，使你能够执行语义搜索以检索更相关的搜索结果。 此搜索类型为您提供基于上下文含义和用户意图的搜索结果，而不是精确的关键字匹配。

ELSER 是一种域外（out-of-domain）模型，这意味着它不需要对你自己的数据进行微调，使其能够开箱即用地适应各种用例。 它将索引和搜索的段落扩展为术语集合，这些术语在不同的训练数据集中经常同时出现。 这些扩展术语不是搜索术语的同义词； 他们是 learned association。

比较

虽然 KNN 和 ELSER 都可用于提高搜索结果的相关性，但它们是针对不同类型的数据和用例而设计的。 KNN 最适合以下用例：你可以将条目表示为矢量，并且你希望根据其矢量表示找到相似的条目。 另一方面，ELSER 专为你想要查找与给定查询语义相关的搜索结果的用例而设计，即使它们不共享精确的关键字匹配。

在性能方面，KNN 搜索可能是计算密集型的，尤其是在高维空间中，并且可能需要大量资源来提供快速搜索结果。 另一方面，ELSER 使用学习模型来扩展搜索词，这可以更有效，但可能需要合适的订阅级别或试用期激活。

总之，KNN 和 ELSER 之间的选择取决于您的用例的具体要求和数据的性质。

代码示例

在 Kibana 中，你可以从 Machine Learning > Trained Models、Enterprise Search > Indices 或使用开发控制台下载和部署 ELSER。你可以参考文章 "Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR" 来在自己的电脑上部署 ELSER 模型。

使用开发控制台

在 Kibana 中，导航到开发控制台并通过运行以下 API 调用来创建 ELSER 模型配置：

markdown 复制代码 
1.  PUT _ml/trained_models/.elser_model_1
2.  {
3.    "input": {
4.      "field_names": [
5.        "text_field"
6.      ]
7.    }
8.  }

上述命令返回：

json 复制代码 
1.  {
2.    "model_id": ".elser_model_1",
3.    "model_type": "pytorch",
4.    "model_package": {
5.      "packaged_model_id": "elser_model_1",
6.      "model_repository": "https://ml-models.elastic.co",
7.      "minimum_version": "8.8.0",
8.      "size": 438123276,
9.      "sha256": "95f645a3ab8dc66a33de7892391a41ef4fc609a74d21d7b3f7fdd973d58dfe06",
10.      "metadata": {},
11.      "tags": [],
12.      "vocabulary_file": "elser_model_1.vocab.json"
13.    },
14.    "created_by": "api_user",
15.    "version": "8.8.2",
16.    "create_time": 1690432777746,
17.    "model_size_bytes": 0,
18.    "estimated_operations": 0,
19.    "license_level": "platinum",
20.    "description": "Elastic Learned Sparse EncodeR v1 (Tech Preview)",
21.    "tags": [
22.      "elastic"
23.    ],
24.    "metadata": {},
25.    "input": {
26.      "field_names": [
27.        "text_field"
28.      ]
29.    },
30.    "inference_config": {
31.      "text_expansion": {
32.        "vocabulary": {
33.          "index": ".ml-inference-native-000001"
34.        },
35.        "tokenization": {
36.          "bert": {
37.            "do_lower_case": true,
38.            "with_special_tokens": true,
39.            "max_sequence_length": 512,
40.            "truncate": "first",
41.            "span": -1
42.          }
43.        }
44.      }
45.    },
46.    "location": {
47.      "index": {
48.        "name": ".ml-inference-native-000001"
49.      }
50.    }
51.  }

使用带有部署 ID 的启动训练模型 deployment API 来部署模型：

bash 复制代码 
POST _ml/trained_models/.elser_model_1/deployment/_start?deployment_id=for_search

上述命令返回：

json 复制代码 
1.  {
2.    "assignment": {
3.      "task_parameters": {
4.        "model_id": ".elser_model_1",
5.        "deployment_id": "for_search",
6.        "model_bytes": 438123276,
7.        "threads_per_allocation": 1,
8.        "number_of_allocations": 1,
9.        "queue_capacity": 1024,
10.        "cache_size": "438123276b",
11.        "priority": "normal"
12.      },
13.      "routing_table": {
14.        "Gbl69vadQgK1nOqxUT8LaQ": {
15.          "current_allocations": 1,
16.          "target_allocations": 1,
17.          "routing_state": "started",
18.          "reason": ""
19.        }
20.      },
21.      "assignment_state": "started",
22.      "start_time": "2023-07-27T04:40:19.531125Z",
23.      "max_assigned_allocations": 1
24.    }
25.  }

部署完成后，我们可以通过 Kibana 来查看部署的结果：

ELSER 就可以在摄取管道或 text_expansion 查询中使用来执行语义搜索。

在摄取管道中使用 ELSER：

markdown 复制代码 
1.  PUT _ingest/pipeline/my_pipeline
2.  {
3.    "description": "ELSER pipeline",
4.    "processors": [
5.      {
6.        "inference": {
7.          "model_id": ".elser_model_1",
8.          "target_field": "ml",
9.          "field_map": {},
10.          "inference_config": {
11.            "text_expansion": {
12.              "results_field": "tokens"
13.            }
14.          }
15.        }
16.      }
17.    ]
18.  }

使用管道索引文档。设置管道后，你可以使用它索引文档：

bash 复制代码 
1.  PUT my_index
2.  {
3.    "mappings": {
4.      "properties": {
5.        "ml.tokens": {
6.          "type": "rank_features" 
7.        },
8.        "text_field": {
9.          "type": "text" 
10.        }
11.      }
12.    }
13.  }

15.  PUT my_index/_doc/1?pipeline=my_pipeline
16.  {
17.    "text_field": "This is a sample document for ELSER."
18.  }

20.  PUT my_index/_doc/2?pipeline=my_pipeline
21.  {
22.    "text_field": "Elastic is a great company"
23.  }

最后，你可以使用匹配查询来查询索引文档：

bash 复制代码 
1.  GET my_index/_search
2.  {
3.    "_source":false,
4.    "fields": [
5.      "text_field"
6.    ], 
7.    "query": {
8.      "text_expansion": {
9.        "ml.tokens": {
10.          "model_id": ".elser_model_1",
11.          "model_text": "Sample"
12.        }
13.      }
14.    }
15.  }

上面的搜索结果为：

json 复制代码 
1.  {
2.    "took": 5,
3.    "timed_out": false,
4.    "_shards": {
5.      "total": 1,
6.      "successful": 1,
7.      "skipped": 0,
8.      "failed": 0
9.    },
10.    "hits": {
11.      "total": {
12.        "value": 2,
13.        "relation": "eq"
14.      },
15.      "max_score": 5.2040906,
16.      "hits": [
17.        {
18.          "_index": "my_index",
19.          "_id": "1",
20.          "_score": 5.2040906,
21.          "fields": {
22.            "text_field": [
23.              "This is a sample document for ELSER."
24.            ]
25.          }
26.        },
27.        {
28.          "_index": "my_index",
29.          "_id": "2",
30.          "_score": 0.028514616,
31.          "fields": {
32.            "text_field": [
33.              "Elastic is a great company"
34.            ]
35.          }
36.        }
37.      ]
38.    }
39.  }

我们再做一次搜索：

bash 复制代码 
1.  GET my_index/_search
2.  {
3.    "_source":false,
4.    "fields": [
5.      "text_field"
6.    ], 
7.    "query": {
8.      "text_expansion": {
9.        "ml.tokens": {
10.          "model_id": ".elser_model_1",
11.          "model_text": "Elastic Stack"
12.        }
13.      }
14.    }
15.  }

上面显示的结果为：

json 复制代码 
1.  {
2.    "took": 73,
3.    "timed_out": false,
4.    "_shards": {
5.      "total": 1,
6.      "successful": 1,
7.      "skipped": 0,
8.      "failed": 0
9.    },
10.    "hits": {
11.      "total": {
12.        "value": 1,
13.        "relation": "eq"
14.      },
15.      "max_score": 13.001609,
16.      "hits": [
17.        {
18.          "_index": "my_index",
19.          "_id": "2",
20.          "_score": 13.001609,
21.          "fields": {
22.            "text_field": [
23.              "Elastic is a great company"
24.            ]
25.          }
26.        }
27.      ]
28.    }
29.  }

我们再做一次搜索：

bash 复制代码 
1.  GET my_index/_search
2.  {
3.    "_source":false,
4.    "fields": [
5.      "text_field"
6.    ], 
7.    "query": {
8.      "text_expansion": {
9.        "ml.tokens": {
10.          "model_id": ".elser_model_1",
11.          "model_text": "ELK"
12.        }
13.      }
14.    }
15.  }

上面的搜索结果为：

json 复制代码 
1.  {
2.    "took": 48,
3.    "timed_out": false,
4.    "_shards": {
5.      "total": 1,
6.      "successful": 1,
7.      "skipped": 0,
8.      "failed": 0
9.    },
10.    "hits": {
11.      "total": {
12.        "value": 1,
13.        "relation": "eq"
14.      },
15.      "max_score": 0.054624833,
16.      "hits": [
17.        {
18.          "_index": "my_index",
19.          "_id": "2",
20.          "_score": 0.054624833,
21.          "fields": {
22.            "text_field": [
23.              "Elastic is a great company"
24.            ]
25.          }
26.        }
27.      ]
28.    }
29.  }

最后一个搜索：

bash 复制代码 
1.  GET my_index/_search
2.  {
3.    "_source":false,
4.    "fields": [
5.      "text_field"
6.    ], 
7.    "query": {
8.      "text_expansion": {
9.        "ml.tokens": {
10.          "model_id": ".elser_model_1",
11.          "model_text": "demo doc"
12.        }
13.      }
14.    }
15.  }

结果为：

json 复制代码 
1.  {
2.    "took": 56,
3.    "timed_out": false,
4.    "_shards": {
5.      "total": 1,
6.      "successful": 1,
7.      "skipped": 0,
8.      "failed": 0
9.    },
10.    "hits": {
11.      "total": {
12.        "value": 2,
13.        "relation": "eq"
14.      },
15.      "max_score": 4.6410522,
16.      "hits": [
17.        {
18.          "_index": "my_index",
19.          "_id": "1",
20.          "_score": 4.6410522,
21.          "fields": {
22.            "text_field": [
23.              "This is a sample document for ELSER."
24.            ]
25.          }
26.        },
27.        {
28.          "_index": "my_index",
29.          "_id": "2",
30.          "_score": 0.09583376,
31.          "fields": {
32.            "text_field": [
33.              "Elastic is a great company"
34.            ]
35.          }
36.        }
37.      ]
38.    }
39.  }

商业用例

ELSER（Elastic 的学习稀疏编码器）可以有效地用于以语义理解和上下文相关性为关键的各种用例。 这里有一些例子：

  1. 信息检索：在大型数据库或文档存储库中，ELSER 可用于检索与给定查询在语义上相关的文档，即使它们不共享精确的关键字匹配。 这在精确的信息检索至关重要的法律、学术或企业环境中特别有用。
  2. 电子商务搜索：电子商务平台可以使用 ELSER 来改进其搜索功能。 当客户搜索产品时，ELSER 可以根据搜索查询的语义上下文提供更相关的结果，从而改善购物体验并有可能增加销售额。
  3. 客户支持：ELSER 可用于客户支持系统，以更好地了解客户查询并提供更相关的解决方案。 例如，客户描述问题的方式可能与支持数据库中的措辞不完全匹配。 ELSER 可以帮助弥合这一差距并找到最相关的支持文档。
  4. 内容推荐：媒体平台可以使用 ELSER 来推荐与用户正在查看或已经查看的内容在语义上相关的内容。 这可以通过提供更多符合用户兴趣的内容来帮助保持用户的参与度。
  5. 社交媒体监控：公司可以使用 ELSER 监控社交媒体并了解有关其品牌的讨论背景。 这可以提供有关客户情绪和新兴趋势的宝贵见解。
  6. 语义 SEO（Search Engine Optimization）：ELSER 可用于理解 Web 内容的语义上下文并针对搜索引擎进行优化。 这可以通过将网站内容与相关搜索查询的语义上下文更紧密地结合起来，帮助提高网站的搜索引擎排名。
相关推荐
晨欣3 小时前
Elasticsearch和Lucene之间是什么关系？（ChatGPT回答）
elasticsearch·chatgpt·lucene
筱源源9 小时前
Elasticsearch-linux环境部署
linux·elasticsearch
Elastic 中国社区官方博客20 小时前
释放专利力量：Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
Shenqi Lotus1 天前
ELK-ELK基本概念_ElasticSearch的配置
elk·elasticsearch
yeye198912241 天前
10-Query & Filtering 与多字符串多字段查询
elasticsearch
Narutolxy1 天前
精准优化Elasticsearch：磁盘空间管理与性能提升技巧20241106
大数据·elasticsearch·jenkins
谢小涛2 天前
ES管理工具Cerebro 0.8.5 Windows版本安装及启动
elasticsearch·es·cerebro
LKID体2 天前
Elasticsearch核心概念
大数据·elasticsearch·搜索引擎
晨欣2 天前
Elasticsearch里的索引index是什么概念？（ChatGPT回答）
大数据·elasticsearch·jenkins
许苑向上2 天前
最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门（基础篇）
java·数据库·spring boot·elasticsearch
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解