2024 GIAC 全球互联网架构大会:拓数派向量数据库 PieCloudVector 架构设计与案例实践

5月24-25日,msup 和高可用架构联合举办了第11届 GIAC 全球互联网架构大会。会议聚焦"共话AI技术的最新进展、架构实践和未来趋势"主题,邀请了 100 余位行业内的领军人物和革新者,分享"Agent/RAG 技术、云原生、基座大模型"等多个热门技术领域的案例实践。

在本次大会中,拓数派向量数据库负责人邱培峰受邀参与并在『Agent技术/RAG技术』分会场发表了《大模型时代下向量数据库的设计与应用》主题演讲,详细介绍了云原生向量数据库 PieCloudVector 的设计与实践。

PieCloudVector 是拓数派旗下大模型数据计算系统 PieDataCS 的第二款数据计算引擎。除 PieCloudVector,PieDataCS 目前还支持云原生虚拟数仓 PieCloudDB Database,机器学习引擎 PieCloudML 两款计算引擎。

向量数据库作为一种新型数据库,因其高效的数据存储和检索能力,已经成为大模型时代的关键技术之一。向量数据库主要分为两种技术流派:一派是以向量搜索算法为基础,围绕其核心算法补充配套功能;另一派则是以传统关系型数据库为基础,通过扩展提供通过 sql 语句搜索向量的功能。而拓数派在设计 PieCloudVector 时,充分考虑两个方向的优劣势,将 Faiss 算法库作为向量搜索引擎,并与自研的关系型数据库对接起来,既提高了向量检索的性能,同时具备处理通用数据的能力。

拓数派打造的云原生向量数据库 PieCloudVector 支持多种索引类型和主流检索算法(IVF、HNSW等),并对 Faiss OpenMP 线程进行大量改造,避免无效线程,大幅提升 QPS,降低内存占用。此外,PieCloudVector 可兼容国产软硬件环境,并通过了信通院认证测试,满足自主可控的要求。

拓数派向量数据库负责人邱培峰

PieCloudVector 是大模型时代的分析型数据库升维,助力多模态大模型 AI 应用,支持和配合大模型的 Embeddings,帮助基础模型在场景 AI 的快速适配和二次开发。目前 PieCloudVector 已经帮助东吴证券秀财 GPT 构建了 AIGC 应用平台。

邱培峰被颁发GIAC合作讲师奖杯

未来,拓数派将持续改进 PieCloudVector 的存储、索引和检索能力,致力于与不同领域的应用场景相结合,并将逐步扩展支持多模态数据的处理和分析能力,提供更全面、灵活的解决方案。

PPT下载地址

相关推荐
李匠20241 小时前
云计算架构学习之LNMP架构部署、架构拆分、负载均衡-会话保持
学习·架构·云计算
一 铭2 小时前
《Hands_On_LLM》8.2 RAG: 利用语言模型进行语义搜索(Semantic Search with Language Models)
人工智能·语言模型·大模型·llm
周杰伦_Jay2 小时前
详细介绍:Kubernetes(K8s)的技术架构(核心概念、调度和资源管理、安全性、持续集成与持续部署、网络和服务发现)
网络·ci/cd·架构·kubernetes·服务发现·ai编程
周杰伦_Jay5 小时前
详细介绍:云原生技术细节(关键组成部分、优势和挑战、常用云原生工具)
java·云原生·容器·架构·kubernetes·jenkins·devops
网安打工仔6 小时前
斯坦福李飞飞最新巨著《AI Agent综述》
人工智能·自然语言处理·大模型·llm·agent·ai大模型·大模型入门
猿类崛起@6 小时前
百度千帆大模型实战:AI大模型开发的调用指南
人工智能·学习·百度·大模型·产品经理·大模型学习·大模型教程
黑客-雨6 小时前
从零开始:如何用Python训练一个AI模型(超详细教程)非常详细收藏我这一篇就够了!
开发语言·人工智能·python·大模型·ai产品经理·大模型学习·大模型入门
fanstuck7 小时前
从构思到上线的全栈开发指南:全栈开发中的技术选型和架构
架构
md_100814 小时前
架构优化指南:五大场景下如何发现隐藏的耦合?
架构
Ase5gqe15 小时前
大数据-259 离线数仓 - Griffin架构 修改配置 pom.xml sparkProperties 编译启动
xml·大数据·架构