Elastic Search 8.9:与 RRF 的混合搜索、更快的矢量搜索和面向公众的搜索端点

作者:Nick Chow, Dana Juratoni, Gilad Gal

Elastic Search 8.9 引入了带有倒数排名融合 (RRF) 的混合搜索,以结合矢量、关键字和语义技术以获得更好的结果。 此版本还提高了矢量搜索和摄取的性能,响应时间加快了 30% 以上。 用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项,其中包括文档级安全性。 此外,8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。

这些新功能允许用户:

  • 通过轻松添加多种检索技术来改善搜索结果
  • 通过文档级安全性快速获取 SharePoint Online 数据
  • 创建面向公众的搜索端点

Elastic Search 8.9 现已在 Elastic Cloud 上推出,这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes,以获得自我管理的体验。

Elastic 8.9 中还有哪些新功能? 查看 8.9 公告帖子了解更多>>

具有倒数排名融合 (RRF) 的混合搜索结合了多种搜索技术以获得更好的结果

Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 --- BM25 用于文本,矢量搜索用于密集向量。 混合搜索技术通常会提供更好的结果:对多个 BIER 数据集进行基准测试显示,结合 BM25 和基于 ELSER 的排名时,相关性有所提高,现在用户甚至可以更轻松地组合所有这些检索方法。 在 8.9 中,使用倒数排名融合 (RRF) 的混合搜索现在允许用户组合来自以下任意组合的搜索:

它开箱即用,无需规范化或配置权重,因此你可以快速、无缝地将矢量或语义搜索与 Elastic Learned Sparse Encoder 模型合并到现有搜索体验中。 RRF 可作为 Platinum+ 用户的技术预览版。 在文档中了解有关 RRF 的更多信息

加速矢量硬件指令

在 8.9 中,我们利用了一个正在孵化的 Java API(Panama vector API),它允许使用本机指令 (SIMD) 来显着提高矢量计算的性能。 这使得 HNSW (kNN) 和暴力(brute force)搜索的矢量搜索和矢量索引性能提高了 30% (!)。 请注意,这在支持它的 CPU 上是可能的。

查看我们的每天基准测试中的性能改进示例。

为了进一步改善暴力向量搜索中的查询延迟,我们将向量中浮点元素的编码从大端改为小端。 这一变化带来了更快的解码速度,从而使暴力向量搜索的查询延迟显着降低了百分之几十。 这些改进在最重要的较慢搜索中尤其显着,其中改进可以达到大约 50% 的时间。 此改进是由于使用上述 Panama API 而带来的性能改进。

使用新的连接器和功能轻松摄取

用户可以直接从更多数据源提取数据到 Elasticsearch 中。 8.9 版中普遍为 Platinum+ 用户提供了新的 SharePoint Online 连接器,该连接器具有改进的性能、细粒度权限的文档级安全性、提高数据新鲜度的增量同步选项以及大文件的本地二进制内容提取

新的 ServiceNow 和 Dropbox 连接器客户端现已推出测试版。 这些连接器客户端使客户能够集成更多的专有数据源,同时从该版本开始,以下连接器在 Elastic Cloud 上原生提供:Azure Blob Storage、Atlassian Confluence Cloud & Server、Atlassian Jira Cloud & Server 以及 Network Drive。

查看可用原生连接器连接器客户端的完整列表。

使用搜索应用程序创建可公开访问的搜索端点

8.9 通过 public search API 为 Platinum+ 用户引入了搜索应用程序测试版,因此用户现在可以为其 Elasticsearch 索引创建面向公众的搜索端点。 _applications/search-application//_search 端点仅允许关联搜索模板中定义的查询,因此你无需在客户端和 Elasticsearch 部署之间使用直通查询系统即可提供搜索。

然后,当与使用新 API 密钥 "search_application_query" 工作流角色限制的仅限公共搜索端点的 API 密钥配对时,搜索应用程序可用于创建可公开访问的搜索,该限制提供对搜索应用程序端点的只读访问。 使用新的搜索应用程序 Javascript 客户端,开发变得更加容易!

试试看

请阅读发布说明,并了解这些功能以及更多信息。

现有 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中许多功能。 没有利用云上的 Elastic? 开始免费试用

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文:Elastic Search 8.9: Combine vector, keyword, and semantic retrieval with hybrid search | Elastic Blog

相关推荐
知福致福2 小时前
【技术复盘】Git 分支污染与提交污染事故排查与解法
大数据·git·elasticsearch
敲代码的嘎仔5 小时前
互动问答系统实战:两级评论模型、ES 搜索集成、Caffeine 多级缓存全记录
java·开发语言·数据库·elasticsearch·缓存·mybatis·高并发
彧azz21 小时前
Git 入门实操实例:从安装到远程仓库全流程
大数据·笔记·git·学习·elasticsearch
醉颜凉1 天前
Canal 与 Elasticsearch 实时同步:增量索引更新、删除处理与全量重建方案
elasticsearch·canal·数据同步·增量更新·全量重建
无风听海1 天前
深入解析 Elasticsearch 的 match_phrase_prefix与 match_bool_prefix
大数据·elasticsearch·mybatis
天天喝旺仔1 天前
Elasticsearch 全文检索实战:Lucene 倒排索引与 NoSQL 文档检索落地
elasticsearch·搜索引擎·全文检索·nosql·lucene
浅念-2 天前
一文吃透Git:本地操作|冲突处理|远程协作|GitFlow工作流详解
大数据·git·elasticsearch·搜索引擎·gitflow
vx-程序开发2 天前
【计算机毕设】基于Spring Boot的古城景区管理系统88564
java·数据库·spring boot·后端·spring·elasticsearch·课程设计
czhc11400756632 天前
2026-09-11 一日综合:树的父链、git 概念、三方死锁、静默失败
大数据·git·elasticsearch
Elastic 中国社区官方博客3 天前
Elasticsearch 向量数据库:几分钟内完成部署,以经济高效的方式扩展至数千亿规模
大数据·运维·数据库·elasticsearch·搜索引擎·ai·全文检索