作者：来自 Elastic Jay Shah
与所有组织一样，Elastic 处理的信息和数据量不断增加，这使得我们的团队更难保持信息最新，员工也更难从相关资源中找到答案。
作为一家领先的搜索 AI 公司，我们的客户至上方法始于客户零点 ------ 我们自己。当我们的员工需要一种更好的方法来找到完成工作所需的信息时，我们知道我们可以使用自己的技术来实现这一愿景。
快进到今天，我们推出了内部生成 AI 助手 ElasticGPT，它可以帮助员工快速找到相关信息并提高员工生产力。它在 Elastic Search AI 平台上运行，并使用我们的向量数据库、Elastic Cloud 部署、Elasticsearch、Elastic Observability 和企业连接器。它还通过检索增强生成 (retrieval augmented generation - RAG) 使用我们的专有数据来为答案添加上下文和相关性。
我们的 AI 之旅的开始
Elastic 的 IT 团队在加速技术计划方面发挥着基础性作用。在过去的 18 个月中，我们的重点是在整个组织内启用生成式 AI 技术，以提高员工效率。这包括几种自主开发的生成式 AI 工具和功能，以及我们企业产品中新增的新兴创新。
在整个旅程中，多个业务职能部门齐聚一堂，共同寻找使用生成式 AI 来提升员工体验的机会，但随着我们在这个领域的发展，出现了几个问题。其中包括：
- Elasticsearch 如何与生成式 AI 相结合，让员工更容易在我们的企业数据源和系统中查找信息？
- 我们如何将私人公司信息与大型语言模型 (large language models - LLM) 的强大功能结合起来，以生成相关结果，同时保持安全性和机密性？
- 我们能否构建一个可扩展的解决方案，作为多种用例的平台，同时为我们提供使用多个 LLM 的灵活性？我们如何通过在整个组织内提供托管服务来促进特定领域的创新？
- 我们如何通过引入自助服务工作流来提高跨团队的能力，从而实现解决耗时且冗余请求的功能？
- 我们如何通过优化支出、管理风险和缓解工具蔓延来避免技术债务？
我们的核心目标很简单：使用 Elastic Search AI 平台构建一个内部、私有且安全的生成式 AI 工具，让所有 Elasticians 都能从信息检索和知识发现中受益。
考虑到我们是 Elastic，我们知道 Elasticsearch 的产品功能将如何补充我们想要实现的 AI 功能。话虽如此，眼前的挑战是磨练最有影响力的用例，定义我们的数据策略，并始终专注于我们的核心愿景。
构建我们的数据策略
我们的目标是构建一个让所有 Elastic 员工受益的解决方案，我们知道我们需要首先检查哪些数据源可以成为我们的最小可行产品 (minimum viable product - MVP)。我们将范围缩小到两个标准：1) 数据源应具有使所有员工受益的详细信息，2) 数据需要保持最新，以便在输出中检索相关的实时信息。我们为 MVP 确定了两个数据源：
- Confluence 数据：我们的内部 Confluence 网站 Elastic Wiki 是与 Elastic 相关的所有事物的综合内部资源，包括有关我们的产品、团队、技术、流程、政策和公司文化的详细信息。
- ServiceNow 数据：我们使用 ServiceNow 知识文章来帮助解决各种主题的问题，例如政策、使用说明、故障排除提示以及向 IT 和 HR 等团队请求支持。
识别这两个数据源很简单，但治理却不那么容易。为什么？与大多数拥有 PB 级数据的组织一样，我们在各个位置都拥有大量信息，但我们对数据的准确性没有信心。解决这个多维问题至关重要，以确保响应质量不会受到 "脏" 或 "嘈杂" 数据的负面影响。
为了应对数据挑战，我们制定了一个分步框架：
- 步骤 1：捕获和组织数据。这需要清点我们的数据源、组织我们的信息，并定义如何以及在何处使用这些数据。
- 步骤 2：确保数据的准确性和相关性。我们必须定义哪些信息是可靠的，因此我们建立了数据标准，将信息归类为 "过时的 - stale"（例如，在规定时间内未更新的信息、没有所有者的工件），并提出计划来归档或更新这些过时的信息。这对于确保我们基于 RAG 的方法和架构取得成功至关重要。 RAG 可以通过主动检索数据源中最新和最相关的信息来回答查询，从而管理冲突信息。专注于数据质量使我们能够确保查询的答案可靠且值得信赖。
- 步骤 3：为未来做好准备。虽然我们计划从两个数据源开始，但我们知道这会随着时间的推移而增长。尽早建立数据治理框架将有助于我们在扩展时更快地成长。
提示：投资建立正确的数据策略和治理对于确保数据的质量和相关性至关重要，从而获得更准确、更可靠的输出。明确的数据策略还可以帮助管理数据隐私和合规性，这对于维护用户信任和遵守监管要求至关重要。这在你扩展工具或生成式 AI 程序时至关重要，因为它为你将要或不会纳入的功能和能力提供了一个框架。
一旦我们的核心团队和利益相关者达成一致，我们就开始构建概念证明，这将使我们能够根据 source code 原则 "进步、简单完美/Progress SIMPLE, Perfection" 进行实验、迭代和快速行动。
了解 ElasticGPT
ElasticGPT 是我们基于 RAG 框架构建的生成式 AI 员工助手，旨在帮助 Elasticians 从自然语言查询中检索相关信息，并提供有效的方法来汇总日常任务的信息。借助两个主要专有数据源和来自我们内部工具（Confluence 和 ServiceNow）的全公司信息，用户可以轻松找到答案，而不必在多个来源中搜索信息。
过去，像 John 这样的人会花时间（通常是其他人的时间）尝试快速查找信息。
但现在，John 使用 ElasticGPT 来自助查找信息。
借助 ElasticGPT，像 John 这样的人现在可以快速访问信息和答案，而无需花费太多时间寻找信息或联系多位 Elasticians，从而节省他和其他人的时间以专注于更具战略性的工作。
ElasticGPT 背后的技术
ElasticGPT 由基于 Elastic Search AI 平台构建的多种产品和功能提供支持。这包括 Elasticsearch、向量数据库、语义搜索、企业连接器、Elastic Observability、应用程序性能监控 (application performance monitoring - APM) 和 Kibana。这些功能中的每一项在开发和监控 ElasticGPT 中都发挥着特殊的作用，并允许我们使用 RAG 技术构建可靠且准确的解决方案，以安全地使用机密和专有数据。Elastic Search AI 平台上的这些功能现在称为 Elastic AI 生态系统。
我们企业产品上的每项 Search AI 平台功能在构建此解决方案方面都发挥着至关重要的作用：
- Elastic Cloud：我们的 IT 组织使用 Google Cloud Platform (GCP) 和 Microsoft Azure Services 作为现有基础设施。我们使用 GCP 上的 Elastic Cloud 来构建 ElasticGPT。
- 企业连接器 ：我们使用托管连接器将数据源（Confluence 和 BigQuery for ServiceNow）导入 Elastic。
- Elasticsearch：使用 Elasticsearch 作为向量数据库，我们可以通过 "分块" 过程轻松分解数据，帮助生成式 AI 处理大量数据并提供有效的响应。借助语义搜索和向量搜索，我们可以高效地检索与对话上下文最相关的答案。借助 Elasticsearch 的存储功能，我们可以实时存储所有对话和相关元数据，如时间戳和用户反馈。
- **Elastic 可观察性：**使用我们的 Elastic 可观察性堆栈，我们实施了 APM 来跟踪 ElasticGPT 的性能和运行状况。这包括捕获响应时间、错误率和资源利用率，以帮助我们识别和解决影响用户体验的瓶颈。
- 信息安全：为了确保数据安全并符合我们的安全政策，我们实施了强大的安全措施，包括对所有 Elasticians 进行 SSO 身份验证。
- Kibana：通过访问 APM 的真实用户监控 (RUM) 数据，我们可以收集指标（例如用户参与度、总对话次数、失败次数、报告的聊天次数、模型使用情况和其他关键详细信息），以跟踪 ElasticGPT 的使用情况、性能和其他 KPI。
在构建 ElasticGPT 时，我们使用 Microsoft Azure OpenAI 订阅将 LLMs（例如 GPT-4o 和 GPT-4o-mini）集成到我们的解决方案中。Elasticsearch 检索查询上下文，然后将其传递给这些 LLMs，使它们能够生成高度相关且可读的文本答案。Elasticsearch 还可以轻松存储每次交互的其他上下文，包括使用的特定 LLM 模型、对话线程、源引用和用户反馈。
通过在 Kubernetes 上部署，我们能够利用基于需求的自动扩展、零停机部署和通过 Elastic Observability 进行的全面监控来确保可扩展性和可靠性。
改变我们的工作方式
在 ElasticGPT 的第一阶段，全球的 Elastic 员工都在使用生成式 AI 体验来查找相关信息。自推出后的前 90 天以来，我们已成功使用 ElasticGPT 回答了近 10,000 个查询，并且根据聊天反馈，满意率达到 99%。ElasticGPT 对业务的影响通常取决于具体情况。但是，在整个组织中，Elastic 员工都可以通过这种自助服务体验来提高效率。这不仅有助于在整个组织中处理冗余问题或请求，还可以减少共享服务团队（例如 HR 和 IT）的支持工单。
在许多用例中，员工将此工具用作日常工作流程的一部分，以汇总信息、分析数据集、生成草稿并激发他们的创造力。以下是我们从整个组织的早期使用中看到的一些具体用例：
1. 产品支持：新员工使用 ElasticGPT 了解我们的产品和功能，而现有员工则赶上 Elastic 的创新速度，尤其是新版本和发布。
在营销团队工作期间，我开始在编写内容时使用 ElasticGPT 来验证特定产品功能的技术能力。
产品营销
2. 人力资源、IT、法律和公司信息：用户可以提出问题，例如 "How do I request access to specific tools?"；"Where can I find my benefits information?"；"What is our travel and expense policy?"；或者 "When is our December holiday party?"
我团队中有人结婚了，需要更改姓氏。我使用 ElasticGPT 来了解如何根据她的姓氏更改更新她的 Elastic 福利。
法律运营
3. 销售运营：我们整个销售组织的用户都在使用 ElasticGPT 来查找和更好地了解我们的销售动向、流程和关键联系人。用户可以找到剧本并做出明智的决定，确定何时与辅助团队合作以及有哪些资源可用。支持销售团队（例如 Deal Desk 或 Order Operations）也使用 ElasticGPT 来跟进内部流程。
我经常看到针对特定目标细分市场的新销售动作。使用 ElasticGPT 来了解最新和最好的材料非常容易。
客户主管
4. 分析：我们看到多个 ElasticGPT 聊天中，团队使用 ElasticGPT 来总结大型文章或数据集。
我们还观察到启用 ElasticGPT 时产生的飞轮效应。当员工在回复中发现过时的信息时，他们会采取行动来更新或通知内容所有者。这有机地改善了我们的知识库，使我们能够使用更多更新的信息，并使 ElasticGPT 更加可靠。
下一步是什么？
当我们评估生成式 AI 路线图的下一步时，特别是针对 ElasticGPT，我们正在从以下几个方面进行思考：
- 扩展我们的知识库：我们希望在知识库中添加增量数据源，以提供对更广泛信息的访问。
- 使用托管 API 服务进行扩展：基于我们的 "中央着陆点 - central landing point" 方法，我们希望让我们的业务团队更容易开始使用生成式 AI。我们正在开发一种托管 API 服务，团队可以使用它来在这个领域进行实验。
- 构建特定功能的体验 ：我们计划使用我们的 Elastic 推理 API 添加专门的内部模型，以支持特定功能的用例，例如在财务和法律领域，使用不同的模型。这允许访问针对特定功能和开箱即用选项的微调模型，确保灵活和精确地满足不同的业务需求。
- 整合自动化：我们计划了解如何将代理工作流自动化整合到具有预定义目标的手动和常规任务中。
在你的工作流程中采用生成式 AI
正在考虑为你的工作场所构建生成式 AI 工具？成功发布需要规划和准备。在开始构建之前，你的组织应该定义一套关于如何以及在何处安全使用生成式 AI 工具的指导方针和框架。这些指导方针概述了重要原则，例如确保敏感数据的保护以及考虑所创建材料的版权等方面。
生成式 AI 工具可能是强大的资产，但它们也带来了一系列应考虑的新风险。提前制定指导方针、数据策略和框架将有助于你引导讨论你将做什么以及你将不做什么。换句话说，你将能够定义哪些功能和数据源将在你的构建范围内以及应如何使用这些输出。
使用我们的 AI Playground 可以轻松开始使用 Elastic 的生成式 AI 功能。你可以使用 LLMs 解锁强大的生成式 AI 功能，并免费试用 14 天。测试数据采集、构建概念验证，并试用 Elastic 的机器学习和 RAG 功能。实时、大规模地在任何云（或多个云）中部署任何数据。
深入了解如何在你的组织中实施生成式 AI 或开始使用 AI Playground。
本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。
在这篇博文中，我们可能使用或提及了第三方生成式 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息将得到安全或保密。在使用任何生成式 AI 工具之前，你应该熟悉其隐私惯例和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关商标是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。
原文：ElasticGPT: Empowering our workforce with generative AI | Elastic Blog