Elastic Search 8.9:与 RRF 的混合搜索、更快的矢量搜索和面向公众的搜索端点

作者:Nick Chow, Dana Juratoni, Gilad Gal

Elastic Search 8.9 引入了带有倒数排名融合 (RRF) 的混合搜索,以结合矢量、关键字和语义技术以获得更好的结果。 此版本还提高了矢量搜索和摄取的性能,响应时间加快了 30% 以上。 用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项,其中包括文档级安全性。 此外,8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。

这些新功能允许用户:

  • 通过轻松添加多种检索技术来改善搜索结果
  • 通过文档级安全性快速获取 SharePoint Online 数据
  • 创建面向公众的搜索端点

Elastic Search 8.9 现已在 Elastic Cloud 上推出,这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes,以获得自我管理的体验。

Elastic 8.9 中还有哪些新功能? 查看 8.9 公告帖子了解更多>>

具有倒数排名融合 (RRF) 的混合搜索结合了多种搜索技术以获得更好的结果

Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 --- BM25 用于文本,矢量搜索用于密集向量。 混合搜索技术通常会提供更好的结果:对多个 BIER 数据集进行基准测试显示,结合 BM25 和基于 ELSER 的排名时,相关性有所提高,现在用户甚至可以更轻松地组合所有这些检索方法。 在 8.9 中,使用倒数排名融合 (RRF) 的混合搜索现在允许用户组合来自以下任意组合的搜索:

它开箱即用,无需规范化或配置权重,因此你可以快速、无缝地将矢量或语义搜索与 Elastic Learned Sparse Encoder 模型合并到现有搜索体验中。 RRF 可作为 Platinum+ 用户的技术预览版。 在文档中了解有关 RRF 的更多信息。

加速矢量硬件指令

在 8.9 中,我们利用了一个正在孵化的 Java API(Panama vector API),它允许使用本机指令 (SIMD) 来显着提高矢量计算的性能。 这使得 HNSW (kNN) 和暴力(brute force)搜索的矢量搜索和矢量索引性能提高了 30% (!)。 请注意,这在支持它的 CPU 上是可能的。

查看我们的每天基准测试中的性能改进示例。

为了进一步改善暴力向量搜索中的查询延迟,我们将向量中浮点元素的编码从大端改为小端。 这一变化带来了更快的解码速度,从而使暴力向量搜索的查询延迟显着降低了百分之几十。 这些改进在最重要的较慢搜索中尤其显着,其中改进可以达到大约 50% 的时间。 此改进是由于使用上述 Panama API 而带来的性能改进。

使用新的连接器和功能轻松摄取

用户可以直接从更多数据源提取数据到 Elasticsearch 中。 8.9 版中普遍为 Platinum+ 用户提供了新的 SharePoint Online 连接器,该连接器具有改进的性能、细粒度权限的文档级安全性、提高数据新鲜度的增量同步选项以及大文件的本地二进制内容提取。

新的 ServiceNow 和 Dropbox 连接器客户端现已推出测试版。 这些连接器客户端使客户能够集成更多的专有数据源,同时从该版本开始,以下连接器在 Elastic Cloud 上原生提供:Azure Blob Storage、Atlassian Confluence Cloud & Server、Atlassian Jira Cloud & Server 以及 Network Drive。

查看可用原生连接器和连接器客户端的完整列表。

使用搜索应用程序创建可公开访问的搜索端点

8.9 通过 public search API 为 Platinum+ 用户引入了搜索应用程序测试版,因此用户现在可以为其 Elasticsearch 索引创建面向公众的搜索端点。 _applications/search-application//_search 端点仅允许关联搜索模板中定义的查询,因此你无需在客户端和 Elasticsearch 部署之间使用直通查询系统即可提供搜索。

然后,当与使用新 API 密钥 "search_application_query" 工作流角色限制的仅限公共搜索端点的 API 密钥配对时,搜索应用程序可用于创建可公开访问的搜索,该限制提供对搜索应用程序端点的只读访问。 使用新的搜索应用程序 Javascript 客户端,开发变得更加容易!

试试看

请阅读发布说明,并了解这些功能以及更多信息。

现有 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中许多功能。 没有利用云上的 Elastic? 开始免费试用。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文:Elastic Search 8.9: Combine vector, keyword, and semantic retrieval with hybrid search | Elastic Blog

相关推荐
Elastic 中国社区官方博客13 小时前
5 分钟内将 56 页扫描文档转化为带引用的答案:面向搜索无法读取的文档的检索增强生成流水线
大数据·运维·人工智能·elasticsearch·搜索引擎·信息可视化·全文检索
Elasticsearch2 天前
5 分钟内将 56 页扫描文档转化为带引用的答案:面向搜索无法读取的文档的检索增强生成流水线
elasticsearch
core5122 天前
Elasticsearch 车牌号片段搜索:n-gram 倒排索引实战方案
elasticsearch·n-gram·索引·倒排索引·号牌·片段
এ慕ོ冬℘゜2 天前
ES Promise.all/ Promise.race
前端·javascript·elasticsearch
Sayai3 天前
Elasticsearch 日志写入链路调优实战:ingest pipeline 补时间戳、时区偏移修复与按值类型路由(附 translog 实测)
大数据·运维·elasticsearch·搜索引擎·性能优化
总爱写点小BUG3 天前
git-tidy:一个把「提交规范治理」做成闭环的 Git 桌面客户端
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客3 天前
我们如何通过 70 多个拉取请求,将 OpenTelemetry Java agent 迁移到 invokedynamic
java·大数据·开发语言·elasticsearch·搜索引擎·全文检索·es
BreezeJiang4 天前
写了 Dockerfile 却没生效:ES + Kibana 的 compose 配置里,藏着三个反直觉的点
elasticsearch
Elasticsearch4 天前
Elastic 计划利用 NVIDIA RTX GPU 将 Jina 模型推理速度提升至 8 倍
elasticsearch
Elastic 中国社区官方博客4 天前
告别繁琐控制台:Kabanos 如何将 MongoDB Compass 的易用性带入 Elasticsearch
大数据·数据库·mongodb·elasticsearch·搜索引擎·全文检索