Elastic 和 OpenAI 合作,将前沿智能引入非结构化企业数据

作者:来自 Elastic Gregory Tademoto, Hemant Malik

AI agent 的价值取决于它们所推理的企业上下文。组织所掌握的知识,以及 AI agent 为了发挥价值所需的信息,很大一部分分散在非结构化数据中,例如文档、工单、日志、指标、追踪和安全告警。这些数据持续变化,并受到不同权限的管理。

今天,我们宣布扩大合作,共同帮助组织结合 OpenAI 模型和 Elasticsearch 构建可用于生产环境的 AI 应用和 agent。 OpenAI 提供先进的推理能力; Elastic 专为非结构化数据打造,提供检索、治理以及运营数据层,帮助模型找到相关的实时上下文,并将其用于生产环境。

此次合作将重点关注三个客户成果:

  • 具备上下文感知能力的 AI agent,能够在更少的 token 消耗下,大规模检索准确且具备权限感知的企业知识。
  • Agent 化可观测性,通过关联遥测数据,加速 SRE 团队的根本原因调查。
  • Agent 化安全运营,加速威胁检测,帮助告警分类,支持更快响应,并主动推荐检测规则以弥补安全漏洞。

自 2023 年以来, Elastic 一直通过其 AI 助手和连接器支持 OpenAI 模型。此次发布进一步扩大了双方在产品协作和联合客户价值方面的合作基础。

Elasticsearch: Agent 化 AI 的上下文层

在 Agent 化 AI 时代,企业的价值体现在其上下文 ------ 即分布于非结构化数据中的数据、历史记录、决策以及机构知识。 OpenAI 的内部数据 agent表明,可靠的结果依赖于整合多个上下文层。作为上下文层, Elasticsearch 为 agent 提供持久且受治理的记忆,用于检索真正重要的信息,同时能够跨交互保留有价值的知识,并使每一次响应和操作都建立在企业上下文之上。

上下文面临的实际挑战本质上是一个检索问题:在正确的时间,依据正确的权限,选择正确的信息。 Elasticsearch 将关键词搜索、向量搜索、语义重排序、过滤器和访问控制整合到同一个平台中。在 Elastic 最近的内部检索测试中, Elasticsearch 被用于组织知识库,实现了 0.89 的召回率,并在不同用户之间实现了数据的完整隔离保护。

经济性与准确性同样重要。在一项基于 BrowseComp-Plus 数据集的受控实验中,与实验使用的标准检索增强生成( RAG )基线相比,我们预先计算的知识指标( Knowledge Indicators )将输入 token 使用量最多减少了 75%,同时回答准确率从 60% 提升至 92%。实际结果会因工作负载而有所不同,但趋势十分明确:更好的检索能够同时提升可靠性并降低成本。

Elastic Agent Builder 可以结合 OpenAI 模型和 agent 使用,以改进上下文并提供更高的相关性和更高的效率。 Agent Builder 工具可以通过 MCP 暴露给 OpenAI agent, Skills 可供 Codex 使用,并且 Agent Builder 支持 GPT 模型进行推理和工具调用。

随着模型不断进步,上下文将成为企业实现真正 ROI,并在 Agent 化 AI 世界中保持独特知识和竞争优势的关键。 OpenAI 和 Elasticsearch 共同为开发者提供了一个实用基础,使 agent 能够围绕受治理的企业数据创建、管理和检索上下文。

Elastic Observability:由非结构化遥测数据驱动的 Agent 化调查

运营上下文存在于非结构化遥测数据中。 Agent 化应用引入了更多数据,例如提示词、工具调用、模型响应、 token 使用情况、追踪以及检索步骤。 Elastic Observability 将这些 AI 应用信号与日志、指标、追踪和数字体验数据整合到统一的可观测性平台中。借助 Elastic Workflows、 Agent Builder 和 Skills,团队可以利用遥测数据、历史事件、设计文档、运行手册和指导文档自动执行调查和修复,并应用可重复执行的最佳实践。

Elastic 的 Agent 化调查体验始于告警触发。当告警触发后,系统会关联不同信号中的证据,识别可能的根本原因,并在 SRE 开始调查时提供建议的后续步骤。最终效果是减少收集证据所花费的时间,减少工具切换,并加快问题解决速度。

同一平台还能够帮助运营基于 OpenAI 构建应用的团队。 Elastic 的 OpenAI 集成可收集 API 使用指标和组织审计日志。团队可以利用统一的数据平台和统一的查询语言,将 token 消耗、模型活动、 API 调用以及管理变更,与应用延迟、错误、部署和基础设施健康状况关联分析,从应用层一直贯穿到模型层。

Elastic Security:Agent 化安全运营平台

安全团队面临着类似的上下文问题:过多的告警分散在数量持续增长的终端、网络、云服务提供商、身份系统和应用数据之中。 Elastic Security 是一个 Agent 化安全运营平台,它围绕 Agent 化运营模型统一了 SIEM、 XDR 和原生自动化能力。平台能够自动执行调查、关联证据并准备响应计划,而分析人员则保留判断、验证和审批职责。这些能力现已在 Elastic Security 中提供,这一全新的运营模式已经帮助客户简化调查流程并改善安全运营成果。

Attack Discovery 利用 OpenAI 最新的前沿模型,将分散的告警关联为连贯的攻击链,将活动映射到 MITRE ATT&CK,识别受影响的用户和主机,并将调查结果附加到事件和响应工作流中。因此,分析人员只需对少量有证据支撑的攻击进行分类处理,而无需面对成千上万条原始告警。

Agent Builder 内置了一个原生 agent,预先提供了威胁狩猎、告警分析等 Skills,并具备受控的工具访问能力以及完整的推理轨迹,以满足审计需求。团队也可以基于 Agent Builder 构建自定义 agent 和工作流。同时, Automatic Import 能够在几分钟内构建自定义数据集成, Automatic Migration 可将 Splunk 和 QRadar 的检测规则转换为 Elastic Security 检测规则,而 Elastic Security MCP App 则将告警分类、威胁狩猎和事件管理能力带入分析人员已经使用的 AI 工具中。

借助这些能力,我们的客户已经获得了可量化的价值。 Visa 在从传统 SIEM 迁移到 Elastic Security 的过程中,构建了其首个 Agent 化 SOC 工作流,并采用了受约束、人工参与验证的 AI 审核环节。这使得针对高风险大型机检测的告警分类时间从 10 到 20 分钟缩短至几秒钟,同时保证每一个 AI 决策都可以审计。 Airtel 的托管安全团队则表示,借助 Attack Discovery、 Agent Builder 和 Automatic Import,告警分类与分析速度提升了最高 40%,调查速度提升了 30%。

Elastic 还帮助安全和合规团队监控 OpenAI 平台本身。现有集成能够采集组织审计事件,例如登录尝试、 API 密钥生命周期变更、角色分配和配置更新。这些事件可以与终端和网络活动一起分析,以识别整个 AI 环境中的可疑行为。 Elastic 即将支持 OpenAI 的 Compliance Logs Platform,为企业团队提供跨 OpenAI 工作区和服务活动更加完整且可审计的视图。

接下来将会有什么

对于开发者而言, Elastic agent Skills 为 OpenAI Codex 提供可重复使用且针对 Elastic 优化的指导,而 Elasticsearch 及其连接工具则为 agent 提供受治理的实时访问能力,使其能够访问推理和精准执行所需的非结构化企业数据。我们将继续推进更深层次的集成,使 Elasticsearch 更好地充当上下文层。

对于安全防御团队,作为 OpenAI Daybreak Cyber Partner Program 成员,我们将努力把 GPT-5.5 Cyber 专用模型的推理能力引入 Elastic Security 的 Agent 化工作流,帮助团队关联告警、推荐响应措施,并生成检测规则以弥补已确认的安全漏洞。结合 Elastic Security Labs 的威胁研究成果,这将帮助团队更快、更精准地将攻击者行为转化为防护能力,同时确保负责任部署以及防止滥用的控制机制。

对于 SRE 团队,我们计划借助前沿 AI 进一步增强 Agent 化调查能力。随着 Elastic Knowledge Indicators 正式发布,它将能够从原始遥测数据和非结构化运营知识中预先计算运营上下文,为 agent 提供更加精准的上下文信息,用于仪表板、拓扑图、规则、调查以及修复工作流。

无论你需要的是存储在文档中的答案、运营遥测数据还是安全事件, OpenAI 与 Elastic 正在合作,将前沿智能引入你的非结构化数据。

准备开始了吗?

将 OpenAI 模型和 Codex 连接到 Elastic,结合 Agent Builder 和 Agent Skills 构建具备可靠上下文的 agent;使用 Elastic LLM Observability 监控 OpenAI 的使用情况;借助采用 OpenAI 模型的 Elastic AI Assistant 调查生产环境问题和安全威胁。立即开始构建。

本文所述任何功能或特性的发布时间及交付安排均由 Elastic 自行决定。任何当前尚未提供的功能或特性,都可能无法按时交付,甚至可能不会交付。

在本文中,我们可能使用或提及了第三方生成式 AI 工具,这些工具由各自所有者拥有和运营。 Elastic 无法控制这些第三方工具,也不对其内容、运行方式或使用承担任何责任,对于因使用这些工具而产生的任何损失或损害也不承担任何责任。在将个人信息、敏感信息或机密信息用于 AI 工具时,请务必谨慎。你提交的任何数据都可能被用于 AI 训练或其他用途。对于你提供的信息是否能够保持安全或保密,不提供任何保证。在使用任何生成式 AI 工具之前,你应充分了解其隐私政策和使用条款。

Elastic、 Elasticsearch 以及相关标识是 elasticsearch B.V. 在美国及其他国家/地区的商标、徽标或注册商标。所有其他公司名称和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Elastic and OpenAI collaborate to bring frontier intelligence to unstructured enterprise data | Elastic Blog

相关推荐
云和恩墨1 小时前
数据库一体机zData X 3.6.0以“性能、成本、韧性、生态”强化数据库基础设施价值主张
数据库
Akamai中国1 小时前
为何弹性系统设计对云可靠性至关重要
人工智能·云计算·云服务
工业机器视觉设计和实现2 小时前
再攻下1分!
人工智能·cudnn微积分
VIP_CQCRE2 小时前
用 Ace Data Cloud 快速接入 Suno 声音克隆 API:让 AI 音乐拥有专属声线
人工智能·ai·aigc·api·音乐生成
灯澜忆梦2 小时前
【MySQL7】多表查询
数据库·sql
wangqiaowq2 小时前
PostgreSQL 官方 Windows 安装
人工智能
义嘉泰2 小时前
XT25F128F-W Flash芯片全面解析
人工智能·嵌入式硬件·芯片
Qlittleboy2 小时前
tp5网站链接不上slqserver,计算机积极拒绝了链接
数据库·sql