浪潮信息元脑R1服务器重塑大模型推理新标准

浪潮信息近日正式发布元脑R1推理服务器,通过系统级创新与软硬协同优化,成功实现单机部署DeepSeek 671B全参数大模型。作为AI基础设施领域的领军者,浪潮信息此次突破性技术显著降低了企业部署千亿参数模型的显存门槛,在FP8精度下仅需单台服务器即可支撑800GB显存需求,助力客户以更低成本探索大模型智能涌现。

当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间;此外,DeepSeek R1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求,元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度,能够助力企业高效完成DeepSeek全参数模型的本地化部署。

元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型 FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现极致加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行最佳通讯性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey解决方案。

元脑R1推理服务器NF5868G8是专为大推理模型(Large Reasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。

作为全球领先的IT基础设施全栈供应商,浪潮信息持续深耕智算领域创新,其打造的元脑生态已形成覆盖计算平台、资源平台、算法平台的完整产品矩阵。通过新一代以系统为核心的计算架构,浪潮信息不仅推出支持16卡全互连的NF5868G8推理服务器,更构建了开放多元的元脑智算解决方案体系。在"AI+行业"深度融合的大背景下,浪潮信息正携手生态伙伴加速人工智能技术的规模化落地,持续推动行业技术革新与生态共建。

相关推荐
文化人你不懂得15 小时前
Jenkins环境搭建与使⽤
运维·ci/cd·jenkins
cpsvps_net15 小时前
容器热更新策略在云服务器零停机部署中的实施标准
运维·服务器
恒点虚拟仿真15 小时前
XR数字融合工作站打造智能制造专业学习新范式
人工智能·智能制造·虚拟仿真·虚拟仿真实验·xr数字融合工作站·虚拟仿真实训
豆浩宇15 小时前
学习PaddlePaddle--环境配置-Windows 11 + RTX 4060
人工智能·windows·深度学习·学习·目标检测·计算机视觉·paddlepaddle
qq_3391911415 小时前
深度学习玩游戏, 模型玩游戏,大模型+游戏 llm+game, 机器学习玩游戏,人工智能游戏陪伴,模型陪玩游戏
人工智能·深度学习·玩游戏
zskj_qcxjqr15 小时前
七彩喜微高压氧舱:科技与体验的双重革新,重新定义家用氧疗新标杆
大数据·人工智能·科技·机器人
2501_9307992415 小时前
访答知识库#Pdf转word#人工智能#Al编辑器#访答PAG#企业知识库……
人工智能
敲上瘾15 小时前
Docker 容器核心指令与数据库容器化实践
linux·运维·服务器·docker·容器·eureka·dubbo
说私域15 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的公益课引流策略研究
人工智能·小程序·开源
luckysusu11115 小时前
LINUX-网络编程-TCP-UDP
linux·运维·服务器