Elastic Search 8.9:与 RRF 的混合搜索、更快的矢量搜索和面向公众的搜索端点

作者:Nick Chow, Dana Juratoni, Gilad Gal

Elastic Search 8.9 引入了带有倒数排名融合 (RRF) 的混合搜索,以结合矢量、关键字和语义技术以获得更好的结果。 此版本还提高了矢量搜索和摄取的性能,响应时间加快了 30% 以上。 用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项,其中包括文档级安全性。 此外,8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。

这些新功能允许用户:

  • 通过轻松添加多种检索技术来改善搜索结果
  • 通过文档级安全性快速获取 SharePoint Online 数据
  • 创建面向公众的搜索端点

Elastic Search 8.9 现已在 Elastic Cloud 上推出,这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes,以获得自我管理的体验。

Elastic 8.9 中还有哪些新功能? 查看 8.9 公告帖子了解更多>>

具有倒数排名融合 (RRF) 的混合搜索结合了多种搜索技术以获得更好的结果

Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 --- BM25 用于文本,矢量搜索用于密集向量。 混合搜索技术通常会提供更好的结果:对多个 BIER 数据集进行基准测试显示,结合 BM25 和基于 ELSER 的排名时,相关性有所提高,现在用户甚至可以更轻松地组合所有这些检索方法。 在 8.9 中,使用倒数排名融合 (RRF) 的混合搜索现在允许用户组合来自以下任意组合的搜索:

它开箱即用,无需规范化或配置权重,因此你可以快速、无缝地将矢量或语义搜索与 Elastic Learned Sparse Encoder 模型合并到现有搜索体验中。 RRF 可作为 Platinum+ 用户的技术预览版。 在文档中了解有关 RRF 的更多信息

加速矢量硬件指令

在 8.9 中,我们利用了一个正在孵化的 Java API(Panama vector API),它允许使用本机指令 (SIMD) 来显着提高矢量计算的性能。 这使得 HNSW (kNN) 和暴力(brute force)搜索的矢量搜索和矢量索引性能提高了 30% (!)。 请注意,这在支持它的 CPU 上是可能的。

查看我们的每天基准测试中的性能改进示例。

为了进一步改善暴力向量搜索中的查询延迟,我们将向量中浮点元素的编码从大端改为小端。 这一变化带来了更快的解码速度,从而使暴力向量搜索的查询延迟显着降低了百分之几十。 这些改进在最重要的较慢搜索中尤其显着,其中改进可以达到大约 50% 的时间。 此改进是由于使用上述 Panama API 而带来的性能改进。

使用新的连接器和功能轻松摄取

用户可以直接从更多数据源提取数据到 Elasticsearch 中。 8.9 版中普遍为 Platinum+ 用户提供了新的 SharePoint Online 连接器,该连接器具有改进的性能、细粒度权限的文档级安全性、提高数据新鲜度的增量同步选项以及大文件的本地二进制内容提取

新的 ServiceNow 和 Dropbox 连接器客户端现已推出测试版。 这些连接器客户端使客户能够集成更多的专有数据源,同时从该版本开始,以下连接器在 Elastic Cloud 上原生提供:Azure Blob Storage、Atlassian Confluence Cloud & Server、Atlassian Jira Cloud & Server 以及 Network Drive。

查看可用原生连接器连接器客户端的完整列表。

使用搜索应用程序创建可公开访问的搜索端点

8.9 通过 public search API 为 Platinum+ 用户引入了搜索应用程序测试版,因此用户现在可以为其 Elasticsearch 索引创建面向公众的搜索端点。 _applications/search-application//_search 端点仅允许关联搜索模板中定义的查询,因此你无需在客户端和 Elasticsearch 部署之间使用直通查询系统即可提供搜索。

然后,当与使用新 API 密钥 "search_application_query" 工作流角色限制的仅限公共搜索端点的 API 密钥配对时,搜索应用程序可用于创建可公开访问的搜索,该限制提供对搜索应用程序端点的只读访问。 使用新的搜索应用程序 Javascript 客户端,开发变得更加容易!

试试看

请阅读发布说明,并了解这些功能以及更多信息。

现有 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中许多功能。 没有利用云上的 Elastic? 开始免费试用

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文:Elastic Search 8.9: Combine vector, keyword, and semantic retrieval with hybrid search | Elastic Blog

相关推荐
Karoku0663 小时前
【企业级分布式系统】ELK优化
运维·服务器·数据库·elk·elasticsearch
上优5 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
jwolf27 小时前
Elasticsearch向量搜索:从语义搜索到图搜图只有一步之遥
elasticsearch·搜索引擎·ai
你可以叫我仔哥呀8 小时前
ElasticSearch学习笔记三:基础操作(一)
笔记·学习·elasticsearch
hummhumm8 小时前
第 25 章 - Golang 项目结构
java·开发语言·前端·后端·python·elasticsearch·golang
java1234_小锋12 小时前
Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客12 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生12 小时前
Elasticsearch实战应用:构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
Mephisto.java16 小时前
【大数据学习 | Spark】Spark的改变分区的算子
大数据·elasticsearch·oracle·spark·kafka·memcache
mqiqe16 小时前
Elasticsearch 分词器
python·elasticsearch