Elasticsearch:设置向量搜索

Elasticsearch 简介

当你开始使用 Elastic 时,你将使用 Elasticsearch Relevance Engine™(ESRE),它专为 AI 搜索应用程序提供支持。通过 ESRE,你可以利用一整套开发者工具,包括 Elastic 的文本搜索、向量数据库以及我们专有的 Transformer 模型进行语义搜索。

Elastic 提供多种搜索技术,从 BM25 开始,这是文本搜索的行业标准。它可以精准匹配特定搜索内容,匹配精确的关键词,并且可以通过调优来提升效果。

在开始使用向量搜索时,需要注意向量搜索有两种形式:"dense - 密集" 向量搜索(即 kNN 向量搜索)和"sparse - 稀疏"向量搜索。

此外,Elastic 还支持 kNN 向量,以实现对文本以外的非结构化数据(如视频、图像和音频)的相似性搜索。

在本指南中,我们将演示如何利用 Elasticsearch 作为向量数据库,以支持向量搜索的应用场景。

安装

Elasticsearch 及 Kibana

我们首先需要安装 Elasticsearch 及 Kibana。我们可以参考如下的文章来进行安装:

当我们安装的时候,选择 Elastic Stack 8.x 的文章来进行安装。在本展示中,我们将使用 Elastic Stack 8.17.2 来进行展示。当我们首次运行 Elasticsearch 时,我们可以看到如下的界面:

创建 Elasticsearch 索引

让我们创建第一个 Elasticsearch 索引,可以将其命名为 vector-search 。点击 Create my index(创建我的索引)。

开始使用向量搜索

现在你已经创建了无服务器项目和第一个索引,是时候将数据导入 Elasticsearch 了。我们已让此过程变得简单,在 Data > Index Management Data 中,点击 Run in Console(在控制台中运行)。

一个侧边窗口(flyout)会弹出,显示控制台。你会在左侧看到代码,点击 Send request 按钮 ▶ 后,你将在右侧看到执行的代码。

第一个命令将为索引创建映射,包括一个名为 vector 的向量字段和一个名为 text 的文本字段。

arduino 复制代码
`

1.  PUT vector-search/_mapping
2.  {
3.    "properties": {
4.      "vector": {
5.        "type": "dense_vector",
6.        "dims": 3
7.      },
8.      "text": {
9.        "type": "text"
10.      }
11.    }
12.  }

`AI写代码

上面的命令定义 vector-search 索引的 mapping:

json 复制代码
`

1.  POST _bulk?pretty
2.  { "index" : { "_index" : "vector-search" } }
3.  {"vector": [9.048, 9.573, 3.047], 
4.  "title": "Yellowstone National Park"}
5.  { "index" : { "_index" : "vector-search" } }
6.  {"vector": [2.654, 6.36, 0.476], 
7.  "title": "Yosemite National Park"}
8.  { "index" : { "_index" : "vector-search" } }
9.  {"vector": [6.125, 8.118, 7.029], 
10.  "title": "Rocky Mountain  Park"}

`AI写代码

我们使用上面的 _bulk API 来写入三个数据。在 Elasticsearch 中,_bulk 请求是索引大量文档的首选方式。

使用 Elasticsearch

构建你的向量搜索查询

很好,现在我们可以使用 knn 查询来获取与给定向量最接近的文档,例如尝试向量 2,6,0。复制并粘贴以下请求:

sql 复制代码
`

1.  GET vector-search/_search
2.  {
3.   "knn": {
4.     "field": "vector",
5.     "k": 10,
6.     "num_candidates": 100,
7.     "query_vector": [2,6,0]
8.   }
9.  }

`AI写代码

完成,"Yosemite National Park" 的向量 2.654, 6.36, 0.476 确实是最接近的匹配项。

下一步

感谢你花时间在设置向量搜索上。随着你开始使用 Elastic,了解在你的环境中部署时需要管理的一些操作、安全和数据组件。

准备好开始了吗?启动一个免费的 14 天 Elastic Cloud 试用,或者尝试这些 15 分钟的动手学习课程:《Search AI 101》。

相关推荐
wuyk55538 分钟前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
Elasticsearch8 小时前
Java4Shell 远程代码执行漏洞 - CVE-2026-114938
elasticsearch
Elasticsearch10 小时前
哈利波特问答 Agent Builder + Workflow 教程
elasticsearch
Elasticsearch12 小时前
复制、粘贴,即刻捕获:利用文本指纹识别检测电子邮件和生成式人工智能提示词中的数据泄露
elasticsearch
岳涛1 天前
考古|ES 0.90 的 _ttl 让文档到期自动删,2.0 起引擎只做引擎,5.0 清掉内置字段
elasticsearch
wuyk5551 天前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
岳涛1 天前
时序|ES 9.1 存下写坏的文档,响应码从 400 变成 201,写入端仍当它成功
elasticsearch
Elasticsearch1 天前
九条 ES|QL 查询,揭示你的 Foundry agent 的词元消耗去向
elasticsearch
顧棟2 天前
【ES实战】 索引模板「可追溯、可校验」:一种模板治理的工程化思路
java·数据库·elasticsearch
新*2 天前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移