飞桨框架v3.2发布,ERNIE-4.5-21B-A3B-Thinking模型开源

文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习框架和文心大模型的联合优化。

百度AI技术生态总经理马艳军正式对外发布飞桨(PaddlePaddle)框架v3.2,以及文心大模型开发套件ERNIEKit、大模型高效部署套件FastDeploy和两大AI科学计算套件PaddleCFD、PaddleMaterials,全面降低大模型从训练到部署的应用门槛。依托计算优化、并行策略和原生容错能力三大核心升级,飞桨框架v3.2突破大模型训练技术难题,显著提升了训练效率,在ERNIE-4.5-300B-A47B模型上实现预训练MFU达47%。同时,该版本强化了类CUDA芯片适配能力,实现了最高92%的算子内核复用率,并全面兼容Safetensors权重及生态加速库一键接入,显著降低部署成本。

百度AI技术生态总经理 马艳军

在推理部署侧,大模型高效部署套件FastDeploy通过模型压缩、推理和服务协同优化,显著提升端到端推理性能。基于该套件,ERNIE-4.5-300B-A47B模型在TPOT 50ms时延条件下,实现了输入57K tokens/秒、输出29K tokens/秒的高吞吐性能。

面向科研领域,PaddleCFD和 PaddleMaterials两大AI科学计算开发套件能够有效提升流体力学和材料科学领域的研发效率,缩短科研周期,并提升任务精度。

大会现场,百度开源了最新思考模型ERNIE-4.5-21B-A3B-Thinking,该模型是在ERNIE-4.5-21B-A3B基础上训练的深度思考模型,在内容创作、逻辑推理、数学计算、代码生成与工具调用等多个任务中表现卓越。此外,ERNIEKit文心大模型开发套件提供了更加便捷的模型后训练方案,仅需4张GPU即可对ERNIE-4.5-300B-A47B模型进行高效调优,进一步降低开发者将模型落地到实际应用的门槛;开源了大规模计算图数据集GraphNet,提供了超2700个模型计算图及标准化评测体系,填补了AI编译器测试基准的空白,助力优化设计与性能提升。

相关推荐
KaMeidebaby1 天前
卡梅德生物技术快报|抗原如何自己检测?FAdV-4 重组抗原制备与 ELISA 体系技术调试指南
前端·人工智能·物联网·算法·百度
qq7422349842 天前
从“感知”到“决断”:测评百度伐谋产业决策智能体的端到端推理与行动机制
人工智能·算法·百度·大模型·运筹优化
2601_961194022 天前
初中英语教资笔试资源|科三教案模板和知识点资料
百度·微信·微信公众平台·facebook·twitter·新浪微博
RD_daoyi5 天前
Google SEO第三周:网站站内基础优化——决定排名快慢的核心基建
大数据·人工智能·学习·搜索引擎·百度·googlecloud
KaMeidebaby6 天前
卡梅德生物技术快报|蛋白翻译后修饰:YAP/TAZ 分子调控机制与靶向干预技术
前端·人工智能·物联网·百度·新浪微博
罗光记6 天前
Solon Server 启动模式深度解析:从 0.3MB 内核到 10+ Server 插件
其他·百度·微信·微信公众平台·新浪微博
子非鱼@Itfuture6 天前
国内可直接用、免费额度/永久免费的大模型API清单(含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等)
百度·ai·aigc·个人开发
道可云7 天前
减少60%重复实验分析,道可云智能体赋能生物医药企业
百度
KaMeidebaby7 天前
卡梅德生物技术快报|蛋白修饰调控 NETosis 分子机制及实验研究进展
前端·数据库·人工智能·算法·百度
腾视科技AI7 天前
部署“人工智能+” 推动一二三产业向智能化跃迁
人工智能·科技·百度·ai算力模组·ai模组·ai边缘算力模组