这篇文章最初发表在 NVIDIA 技术博客上。
会议是组织的生命线。它们促进协作和明智的决策。它们通过头脑风暴和解决问题来消除孤岛。它们还可以推进战略目标和规划。
然而，实现这些目标的主要会议(尤其是涉及跨职能团队和外部参与者的会议)可能具有挑战性。需要将人员管理技能和熟练的文档策略独特地结合起来，以无缝促进决策制定并确保有效的会后任务执行。
本文介绍了基于云原生微服务的架构，adam.ai。通过 NVIDIA 初创加速计划，adam.ai 成为了一个全面的会议管理平台，旨在为组织、团队和专业人士的整个会议生命周期提供支持。该架构提供高可扩展性、低延迟和经济高效的在线会议自动记录服务。具体而言，adam.ai 利用了 NVIDIA 的技术。
- Google Cloud Dataflow，用于自动调配处理资源
- NVIDIA Riva 用于低延迟转录的语音转文本 (STT) 模型
- 大型语言模型 (LLM) 以实现高效的信息汇总
AI 驱动的自动笔记
人工做笔记需要实时决定要记录的信息和省略的信息。此外，即使对最熟练的人来说，在积极参与和细致的笔记之间取得平衡也会带来挑战。专注所需的耐久性，尤其是在漫长或复杂的讨论期间，仍然是一个持续的障碍。
在以下方面的进展：自动语音识别（ ASR ）和 LLM 为管理和组织会议信息的新方法铺平了道路。自动记笔记可利用转录的强大功能，确保捕捉细微差别的准确性和深度。
转录模型可将口语实时转换为准确的文本，使团队、公司高管和专业人士能够创建全面的会议纪要，不会忽视关键细节。LLM 利用理解、推理和知识表征能力来分析会议数据并提取宝贵见解。
借助用户友好型 adam.ai 界面，您可以访问基本议程项目，并精心追踪决策和行动项目(图 1)。这种直观的方法有助于进行会议管理，促进无缝协作，并支持取得出色的会议成果。
图 1.adam.ai 提供有见地的说明和后续步骤，以促进会议管理
转录和汇总架构
adam.ai 的 AI 工程团队开发了专为 Google Cloud 设计的微服务架构(图 2)。该架构包括笔记系统，可以无缝转换为 AWS 和 Azure 等其他云平台。
图 2.adam.ai 自动笔记架构
该架构利用 Google Cloud 组件(例如 Storage、Dataflow 和 Pub/Sub 系统)来存储用户数据、管理数据处理资源，并促进不同组件之间的通信。
会议转录由 NVIDIA Riva 模型提供动力支持，可提供出色的准确性和低延迟，同时大规模高效地处理实时音频处理任务。Riva 的独特之处在于其完整的自定义功能。Riva 可以针对法律和医疗等专业行业进行微调，即使在利基词汇表和语言使用中也能提供精确的转录。此外，针对可变需求，使用 Helm 图表部署 Riva 模型可以实现可扩展的资源管理，提供经济高效的解决方案。
记录数据流
adam.ai 笔记数据流通过四个关键步骤编排：
第 1 步：开始做笔记
上传新的会议录像时，系统会通过 Google Cloud Pub/Sub 消息传递服务生成和传输活动消息。这种由事件驱动的分布式机制建立了松散合的架构，简化了平台与笔记服务之间的通信，尤其是在处理需要大量分析和总结时间的冗长会议时。
第 2 步：启动数据处理管道
封装音频和视频录制内容位置的活动消息通过自定义数据处理流程进行处理，以获得会议见解。这些流程通过 Google Cloud Dataflow 执行，从而自动调配针对动态用户工作负载定制的计算资源，从而确保处理任务的最佳性能和成本效益。
第 3 步：生成会议转录
数据处理流程首先从@cloud storage 下载音频和视频录制内容。然后， NVIDIA Riva 精心转录下载的文件。生成的不仅仅是将语音转换为文本的简单操作，Riva 还使用上下文理解提高了转录质量。对标点符号和大写进行了优化，以提供可靠准确的总结和见解生成。
第 4 步：生成摘要和可行见解
然后，将精心转录的文本传递给 LLM，以总结会议内容。通过改进的提示工程，LLM 对会议进行总结，并生成有价值的可行见解。然后，会议摘要和见解返回到平台供用户展示。
adam.ai 架构的优势
此架构可确保高效、可扩展且经济高效地转录和总结会议内容。具体优势包括：
动态可扩展的容错系统
借助 Google Cloud Pub/Sub，该架构采用了松散合、事件驱动的微服务方法，从而实现了可扩展的容错系统。这不仅简化了通信，而且还提供了组件的独立功能。此外，Google Cloud Dataflow 自动资源调配可动态扩展计算能力，从而实现经济高效的数据处理。
实时准确的会议转录
Riva ASR 模型支持流式传输音频，并提供实时、准确的转录。它能够细化标点符号和大小写，从而提高转录质量，实现有价值见解的准确总结和提取。
可理解且结构化良好的汇总
LLM 集成可提供清晰且结构化的摘要，促进从会议文稿中提取宝贵且可行的见解。
直观的用户体验
从转录到总结的整个过程都无缝集成到平台中。请求和结果通过 Pub/Sub 系统高效流动，提供流畅直观的用户体验，并轻松获取会议洞察。
总结
借助 adam.ai，将您的会议转变为更高效、更动态的协作。ASR 和 LLM 携手合作，无缝捕获所说的每个单词，提取关键见解，并生成详细的笔记。这让参与者摆脱了笔记的负担，因此他们可以充分参与会议。
为确保以可扩展、低延迟且经济高效的方式处理会议音频数据，adam.ai 会议管理平台采用了基于云原生微服务的架构。该架构能够实现实时且准确的转录，并通过增强标点符号和大写功能，由 NVIDIA Riva 提供全面、出色的会议记录。
要探索 adam.ai 如何帮助提升您的会议水平，请注册以获得免费试用。如需详细了解 LLM 企业应用，请参阅开始使用适用于企业解决方案的大型语言模型并加入我们的语音 AI 对话NVIDIA Riva 论坛。