趋动科技陈飞:从小模型到大模型,AI时代下的数据中心建设

自AI大模型横空出世,不断推动着AI从学术界到产业界向大众破圈,新的时代正在来临。11月15-16日,由CDCC主办的"2023第11届数据中心标准大会"在北京国家会议中心盛大开幕。

本届大会的主题围绕"AI时代 重塑未来",聚焦数据中心领域科技前沿,行业各领域专家从算力演进、智能升级、液冷落地、能源革新四个层面,分享了数据中心产业向AI智算时代迈进的前沿趋势、创新路径和实践经验,展示了行业高质量发展的布局与成果。

趋动科技联合创始人兼CTO陈飞博士受邀参加《智算未来·驱动AI绿色算力》论坛,并发表题为《从小模型到大模型,AI时代下的数据中心建设》的演讲,深入探讨了大模型时代,在数据中心建设中对AI算力的需求和挑战。

趋动科技联合创始人兼CTO陈飞博士

算力建设对于数据中心和人工智能发展具有重要意义,它不仅支持大模型的训练和推理,还为各行各业提供了强大的计算能力。在医疗领域,算力建设可以加速医学影像的分析和疾病诊断;在金融领域,可以进行高频交易和风险评估等复杂计算任务。此外,数据中心的算力建设还有助于推动科学研究的进展,如天文学、气候学和基因组学等领域。

然而,算力建设也面临着一些挑战。大模型通常包含数以亿计的参数,需要在海量数据上训练以获得准确的结果。为了满足这种需求,数据中心必须能够提供足够的算力和存储能力。这首先带来了成本问题,高性能硬件和大规模存储系统的采购和维护成本较高。其次是能源消耗和热管理问题,大规模数据中心需要消耗大量的电力,并且需要有效地处理散发的热量。此外,数据中心的安全性和可靠性也是需要重视的问题,因为它们存储和处理着大量敏感数据。

AI算力资源池化技术为数据中心提供了从软件角度实现智能分配计算资源、提高算力利用率的思路。

算力池化解决方案架构图

OrionX AI算力资源池化解决方案,通过软件定义算力、共享GPU的理念来构建GPU资源池,让企业内的AI用户共享数据中心内所有服务器上的AI算力,提升资源利用率5-8倍。

面对国内AI芯片的迅速崛起,趋动科技在技术方面积极创新,OrionX 现在已经能兼容包括海光、寒武纪等在内的国产芯片,实现异构资源池化管理。资源池内各类硬件加速卡可通过趋动科技 OrionX进行算力抽象,软件化后形成统一的AI算力资源提供给上层应用使用。异构算力池化解决方案可在实现多厂商AI算力硬件统一管理、统一调度、统一使用的同时,结合软件定义异构算力技术实现AI算力的统筹分配、资源池化、高效保障和运维管理。

实现异构算力的统一调度及管理

凭借标准化、可复制的产品架构,趋动科技得到了包括运营商、互联网、金融、自动驾驶、制造业、能源、科研机构和高校等大量行业头部客户的认可和规模化落地,帮助他们提升了资源利用率和工作人效,保护已有投资。

算力是推动人工智能技术发展的重要因素。随着技术的不断进步,我们可以期待算力建设在推动人工智能创新和解决现实问题方面发挥更大的作用。

相关推荐
努力还债的学术吗喽17 分钟前
PyTorch nn.Linear 终极详解:从零理解线性层的一切(含可视化+完整代码)
人工智能·pytorch·python·深度学习·基础组件·线性层·nn.linear
说私域38 分钟前
基于开源AI智能名片的S2B2C商城小程序中搜索联想功能的优化策略研究
人工智能·小程序
IT毕设梦工厂43 分钟前
大数据毕业设计选题推荐-基于大数据的全球经济指标数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
工藤学编程1 小时前
零基础学AI大模型之LangChain聊天模型多案例实战
人工智能·langchain
无风听海1 小时前
神经网络之sigmoid激活函数
人工智能·深度学习·神经网络
宸津-代码粉碎机1 小时前
Redis 进阶:跳出缓存局限!7 大核心场景的原理与工程化实践
java·人工智能·redis·python
wan5555cn1 小时前
AI视频生成技术:从想象到现实的视觉革命
人工智能·笔记·深度学习·算法·音视频
MYZR11 小时前
蓝牙音箱的技术演进:从便捷到高保真的音频革命
人工智能·物联网·音视频·ssd2351
liaomin4161005691 小时前
transformers音频实战01-音频概念
人工智能·音视频
IT_陈寒1 小时前
Python 3.12 性能暴增50%!这5个新特性让老项目直接起飞
前端·人工智能·后端