Elastic Search 8.9:与 RRF 的混合搜索、更快的矢量搜索和面向公众的搜索端点

作者:Nick Chow, Dana Juratoni, Gilad Gal

Elastic Search 8.9 引入了带有倒数排名融合 (RRF) 的混合搜索,以结合矢量、关键字和语义技术以获得更好的结果。 此版本还提高了矢量搜索和摄取的性能,响应时间加快了 30% 以上。 用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项,其中包括文档级安全性。 此外,8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。

这些新功能允许用户:

  • 通过轻松添加多种检索技术来改善搜索结果
  • 通过文档级安全性快速获取 SharePoint Online 数据
  • 创建面向公众的搜索端点

Elastic Search 8.9 现已在 Elastic Cloud 上推出,这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes,以获得自我管理的体验。

Elastic 8.9 中还有哪些新功能? 查看 8.9 公告帖子了解更多>>

具有倒数排名融合 (RRF) 的混合搜索结合了多种搜索技术以获得更好的结果

Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 --- BM25 用于文本,矢量搜索用于密集向量。 混合搜索技术通常会提供更好的结果:对多个 BIER 数据集进行基准测试显示,结合 BM25 和基于 ELSER 的排名时,相关性有所提高,现在用户甚至可以更轻松地组合所有这些检索方法。 在 8.9 中,使用倒数排名融合 (RRF) 的混合搜索现在允许用户组合来自以下任意组合的搜索:

它开箱即用,无需规范化或配置权重,因此你可以快速、无缝地将矢量或语义搜索与 Elastic Learned Sparse Encoder 模型合并到现有搜索体验中。 RRF 可作为 Platinum+ 用户的技术预览版。 在文档中了解有关 RRF 的更多信息

加速矢量硬件指令

在 8.9 中,我们利用了一个正在孵化的 Java API(Panama vector API),它允许使用本机指令 (SIMD) 来显着提高矢量计算的性能。 这使得 HNSW (kNN) 和暴力(brute force)搜索的矢量搜索和矢量索引性能提高了 30% (!)。 请注意,这在支持它的 CPU 上是可能的。

查看我们的每天基准测试中的性能改进示例。

为了进一步改善暴力向量搜索中的查询延迟,我们将向量中浮点元素的编码从大端改为小端。 这一变化带来了更快的解码速度,从而使暴力向量搜索的查询延迟显着降低了百分之几十。 这些改进在最重要的较慢搜索中尤其显着,其中改进可以达到大约 50% 的时间。 此改进是由于使用上述 Panama API 而带来的性能改进。

使用新的连接器和功能轻松摄取

用户可以直接从更多数据源提取数据到 Elasticsearch 中。 8.9 版中普遍为 Platinum+ 用户提供了新的 SharePoint Online 连接器,该连接器具有改进的性能、细粒度权限的文档级安全性、提高数据新鲜度的增量同步选项以及大文件的本地二进制内容提取

新的 ServiceNow 和 Dropbox 连接器客户端现已推出测试版。 这些连接器客户端使客户能够集成更多的专有数据源,同时从该版本开始,以下连接器在 Elastic Cloud 上原生提供:Azure Blob Storage、Atlassian Confluence Cloud & Server、Atlassian Jira Cloud & Server 以及 Network Drive。

查看可用原生连接器连接器客户端的完整列表。

使用搜索应用程序创建可公开访问的搜索端点

8.9 通过 public search API 为 Platinum+ 用户引入了搜索应用程序测试版,因此用户现在可以为其 Elasticsearch 索引创建面向公众的搜索端点。 _applications/search-application//_search 端点仅允许关联搜索模板中定义的查询,因此你无需在客户端和 Elasticsearch 部署之间使用直通查询系统即可提供搜索。

然后,当与使用新 API 密钥 "search_application_query" 工作流角色限制的仅限公共搜索端点的 API 密钥配对时,搜索应用程序可用于创建可公开访问的搜索,该限制提供对搜索应用程序端点的只读访问。 使用新的搜索应用程序 Javascript 客户端,开发变得更加容易!

试试看

请阅读发布说明,并了解这些功能以及更多信息。

现有 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中许多功能。 没有利用云上的 Elastic? 开始免费试用

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文:Elastic Search 8.9: Combine vector, keyword, and semantic retrieval with hybrid search | Elastic Blog

相关推荐
Elasticsearch1 天前
使用 Jina 远程 MCP 服务器的 Agentic 工作流
elasticsearch
Elastic 中国社区官方博客1 天前
在 Elastic 中使用 OpenTelemetry 内容包可视化 OpenTelemetry 数据
大数据·开发语言·数据库·elasticsearch·搜索引擎
Arva .1 天前
ES 面试
elasticsearch·面试
鸿蒙程序媛1 天前
【工具汇总】git 常用命令行汇总
大数据·git·elasticsearch
Elasticsearch1 天前
多大才算太大?Elasticsearch 容量规划最佳实践
elasticsearch
Elastic 中国社区官方博客2 天前
用于 IntelliJ IDEA 的新 ES|QL 插件
java·大数据·数据库·ide·elasticsearch·搜索引擎·intellij-idea
大志哥1232 天前
整理安装ES和Logstash
大数据·elasticsearch·搜索引擎
Slow菜鸟2 天前
Git Worktree 使用教程
大数据·git·elasticsearch
大气层煮月亮2 天前
RAG 检索技术 - Elasticsearch
大数据·elasticsearch·搜索引擎
Dontla2 天前
异步知识库索引管线:与在线问答链路解耦架构介绍(离线构建,在线查询)分层索引、Elasticsearch
elasticsearch·架构