融合架构3.0:开启计算体系架构再创新的密钥

2019年,图灵奖获得者John Hennessy和David Patterson在ACM刊登署名文章《计算机体系结构的新黄金时代》中认为:计算体系架构又将迎来创新的黄金十年,新的架构创新会带来更低成本,以及更优的性能、安全性和能耗。

的确,在摩尔定律(Moore's Law)和登纳德缩放(Dennard Scaling)定律逐渐放缓甚至走向失效之际,现有计算机体系架构的弱缺点日趋凸显。尤其是2016年以来,深度学习、机器学习、大模型等获得突飞猛进的进步,GPU、NPU等XPU需求旺盛,算力需求全面走向异构化、多样化,计算体系架构开启新纪元已是大势所趋。

那么,计算体系架构再创新的重点与方向有哪些?XPU等部件级的架构创新固然令人眼前一亮,但从算力整体视角的创新终究能给产业发展带来更具影响力的突破。正如浪潮信息从2014年开始就致力于融合架构的探索,两代融合架构对于算力产业发展起到关键作用。

如今,在OCP China Day 2023上,浪潮信息又发布了融合架构3.0原型系统,带来系统级多元异构融合、机柜级解耦和池化以及资源异步升级等多个层面的创新,为计算体系架构新黄金时代书写浓墨重彩的一笔。

浪潮信息推出融合架构3.0原型系统

以数据为中心的时代到来

如果说数据是这个时代最重要的生产要素,那么AI则是实现数据价值的最佳生产工具。

如今,一个以数据为中心的时代正在加速到来。IDC《全球计算力指数白皮书203》认为,未来基础架构将是以数据为中心的计算体系架构。事实上,从最近十年人工智能的发展也能透视这一趋势,深度学习、机器学习、LLM大模型的兴起,带来了翻天覆地般的算力新需求,也对于传统以CPU为核心的计算体系架构带来巨大冲击。

像AIGC浪潮到来,让数据规模、参数量、并行处理规模再上一个台阶,也使得数据中心的 "内存墙"、"I/O墙"、"功耗墙"等现象愈发突出。例如,OpenAI的GPT-4的参数量已经达到惊人的1.8万亿,有13万亿Token训练,未来的GPT-5参数量更可能达到10万亿,海量参数的并行处理,不仅带来对于内存需求的大幅增加,也会产生梯度数据聚合与分发等海量通信需求,以及极高的能耗表现。

除了AI带来显著算力挑战之外,千行百业用户们的数字化转型已步入深水区,云、边、端等业务场景极为丰富多样,这些业务场景均有一个显著特点,即以数据驱动为核心,对于算力需求却五花八门,对于底层的算力基础设施提出了更加复杂和细分化的需求,而传统计算架构从处理能力、运维管理、资源共享等维度均很难满足数字化转型的深层次需求。

因此,以系统创新的视角来推动计算体系架构发展是当下最为重要的方向,需要让基础设施整体资源进行解耦与池化,以更加细粒度功能服务来支撑起丰富多样的应用需求。正如浪潮信息服务器产品线总经理赵帅所言:"当前计算体系架构的不足已经在逐渐放大。融合架构3.0是浪潮信息对计算体系架构整体创新的一种探索。"

融合架构3.0创新难在哪

《人月神话》有句名言:"这个世界上没有银弹。"同样,计算体系架构的创新是一个长期、不断摸索和迭代上升的过程,创新逐步积累才能实现从量变到质变,绝没有捷径可走。

浪潮信息融合架构九年发展历程最能体现这一点。在融合架构1.0时期,浪潮信息主要解决的是集中供电、散热等非IT资源的模块化;融合架构2.0实现进一步的升级,实现存储、网络等资源的池化,并利用虚拟化、云计算等技术来满足用户需求;而融合架构3.0则有了突破性的进展,实现计算资源、存储资源、内存资源、异构加速资源等核心IT资源彻底解耦与池化,通过软件定义的方式实现资源协同动态调度。

"融合架构3.0原型系统效率可比上一代软件虚拟化系统提升一到两个数量级,可扩展性提高2~4倍,系统延时降低90%。"赵帅介绍道。

所有资源的解耦与池化,意味着打破了过去资源孤立的情况,通过整体协调与调度,应用可以根据需求来对资源进行随需所用,这无疑会对性能、成本、能耗等方面带来全面的优化。

赵帅直言,浪潮信息在探索融合架构3.0时遇到最大的挑战有二:其一是内存池化资源,其二是池化后系统的互连。

众所周知,内存解耦与池化一直都是计算体系架构创新的难点。在AI大模型等带动下,CPU、GPU、FPGA等多设备的大容量内存使用已经成为常态,进而导致了内存资源池化之后的缓存一致性等挑战。融合架构3.0的思路就是研制新型应用串行缓存一致性总线及其交换技术的内存模组和内存池化系统,利用CXL互联技术来实现多设备之间的高速互联,为大规模内存扩展与内存资源池化提供了低延时的访问路径以及缓存一致性保证,满足内存池化后的资源共享和高效运算调度需求。

赵帅介绍:"利用CXL高速互联技术,可以让远端内存像本地内存一样,达到相近的延迟。CXL已经发布3.0版本,数据传输速率提升到64GT/s,随着更多AI相关处理器接入CXL 交换网络,整系统内存可以实现硬件层面全局共享,将显著缓解AI大模型训练'内存墙'问题。"

由于实现了机柜级的解耦和池化,这意味着数据速率不断攀升和系统链路更加复杂,池化之后互连设计变得无比重要,这是确保池化之后资源协同调度和灵活按需使用的关键。浪潮信息的解决思路是在融合架构3.0中针对复杂链路高速互连进行高精度的拟合仿真研究,准确分析系统互连链路多样化拓扑和传输速率的极限。并通过探索服务器内部总线光互连技术,延展链路传输距离,实现数据中心大规模资源解耦池化。

浪潮信息技术研发部副总经理吴安认为:"融合架构3.0从设计角度是按照三步走,首先是解耦,之后把不同资源进行池化,池化之后就是重构。在这个过程中,互连是核心所在。例如,解耦池化之后,涉及到时序、时钟管理、供电管理、散热管理等如何协同管理与控制;资源重构时的逻辑单元、池化管理以及策略自动化等都需要互联技术来协调。"

事实上,浪潮信息融合架构3.0原型系统的出现,将逐步打破未来算力产品迭代的模式。众所周知,过去服务器等算力产品的更新与迭代以处理器更新为产品更新换代的基础。如今,融合架构3.0原型系统的出现,则有望真正实现以数据处理为需求中心,根据用户业务需求来进行更新迭代。

吴安介绍:"融合架构3.0提供了异步迭代这个更具想象空间的方式。因为融合架构3.0不再以CPU处理器为核心,而是与数据处理为核心。例如,很多用户业务上并不需要很快升级到DDR 5,业务对于DDR 5带宽速率提升并不在意,反而希望利用DDR 4延时、价格等优势,此时可以通过融合架构3.0实现异步升迭代,在DDR 5平台上使用DDR 4。"

John Hennessy和David Patterson在《计算机体系架构的新黄金时代》也认为,未来的计算体系架构垂直整合将变得无比重要。显然,融合架构3.0原型系统是体系架构创新的一次重要探索,它在多个技术点突破的基础上,从整体角度形成一个系统级的解决方案。

"融合架构3.0 目前是一个原型系统,未来在技术上还会有更多突破点,从而实现更好的落地效果。"赵帅如是说。

开启体系架构再创新的密钥

近年来,业界关于计算体系架构创新的呼声此起彼伏。在众多厂商中,浪潮信息是为数不多路线规划明确、稳步推进的厂商之一。随着融合架构3.0 原型系统的发布,作为算力产业领导者的浪潮信息也有望以融合架构3.0为抓手,牵引整个产业界加速开启计算体系架构的黄金时代。

首先,融合架构3.0 作为计算体系架构创新探索的一次突破,犹如一个开放的生态,将极大降低新技术融入和采用的门槛,并有望带动整个算力产业界的创新活跃度。例如,GPU之所以在当前AI大模型等领域受到追捧,很关键的因素在于其工具等生态的成熟,随着AI大模型逐步融入到各行各业之中,未来还会衍生出大量的推理和训练需求,通过融合架构3.0可以引入更多优秀的新技术。

其次,融合架构3.0原型系统的发布,有望带动创新技术加速落地到千行百业的数字化转型之中。当前,融合架构主要还是互联网用户在广泛使用,但随着千行百业数字化转型步入深水区,互联网用户今天在基础设施遇到的挑战可能就是未来行业用户会遇到的。因此,融合架构3.0可以快速弥补传统行业用户的技术鸿沟,实现业务的加速转型。

毫无疑问,下一个十年将是计算体系架构创新的"寒武纪",各种创新必然大爆发和层出不穷,一个令人激动的时代已然开启。浪潮信息融合架构3.0原型系统无疑是计算体系架构一次大胆创新,对于产业界有着深远意义。

"面向未来,企业各项业务会越来越依赖数据及价值,算力技术也需要不断演进,去帮助企业提升数据处理效率和最大化释放数据价值。"赵帅最后表示道。

相关推荐
学习菌子1 天前
第9章:【系统架构设计师】软件工程(5.系统运行与评价)
系统架构·软件工程·软考高级·系统架构师·系统维护·系统转换·系统评价
一只码代码的章鱼11 天前
操作系统 第九章 部分
系统架构
切糕师学AI11 天前
半导体行业中的专用标准产品ASSP是什么?
arm开发·嵌入式硬件·嵌入式·计算机体系结构
还债大湿兄12 天前
《王者荣耀》系统架构深度技术解析
系统架构
池佳齐12 天前
【软考高级系统架构论文】论湖仓一体架构及其应用
架构·系统架构
池佳齐13 天前
【软考高级系统架构论文】论软件设计方法及其应用
系统架构
大数据张老师13 天前
自动化性能回退机制——蓝绿部署与灰度发布
运维·系统架构·自动化·ai架构
孟猛202313 天前
股票账户的管理和交易
系统架构
hwj运维之路14 天前
大数据系统架构实践(一):Zookeeper集群部署
大数据·zookeeper·系统架构
劳埃德福杰14 天前
【系统规划与管理师第二版】1.3 新一代信息技术及发展
系统架构·软件工程·设计规范