国际标准组织共聚,智源推动全球AI开源与国际标准双轮驱动人工智能普惠化发展

7 月 26 日,人工智能标准化国际合作论坛在上海召开。该论坛由联合国工业发展组织全球工业人工智能联盟卓越中心主办,中国电子技术标准化研究院、上海人工智能研究院承办,工业和信息化部副部长单忠德、国家市场监督管理总局标准创新管理司司长肖寒、国际标准化组织主席曹诚焕(ISO President, Sung Hwan Cho)、国际电信联盟电信标准化局副局长比莱尔·贾穆西(ITU Standardization Bureau, Deputy Director, Bilel Jamoussi)、欧洲标准化委员会及欧洲电工标准化委员会第21联合技术委员会主席塞巴斯蒂安·哈勒斯莱本(CEN-CENELEC JTC21, Sebastian Hallensleben)、中国电子技术标准化研究院院长杨旭东、智源研究院副院长兼总工程师林咏华等嘉宾受邀发表主题演讲。

在大会上,ISO国际标准主席曹诚焕介绍了人工智能国际标准化工作现状及人工智能治理、安全等方面的未来发展趋势,为未来标准推动人工智能安全、负责任、可信应用指出了方向和重点。ITU国际标准副局长Bilel Jamoussi肯定了中国组织在标准化活动中的贡献及在创新应用上的成果,并展望了全球各国在未来人工智能标准化领域的合作前景。同时,代表欧盟Sebastian Hallensleben介绍了欧盟标准制定工作。

倡导全球开源与国际标准双轮驱动

智源研究院一直致力于人工智能的全球开源合作,也积极参与国际标准的技术建设。林咏华表示,全球开源合作和国际标准可以形成双轮驱动,促进人工智能普惠发展。

一方面,在大模型时代,开源合作非常重要。首先,由于大模型创新成本高昂,开源能让更多企业基于开源技术进行 "迭代式" 创新,而非重复投入造轮子,节省时间和金钱;其次,单一组织已经无法单独产生大模型开发所需要的全部重要资源,例如海量训练数据、全面的基准测试(体系),这些资源都需要依靠开源社区的合作来获取;最后,统一且协作的开源技术生态对于各类底层创新(如人工智能中的各种硬件系统)的成功将非常重要 。因此,通过开源实现资源共享,达成全球协作,是实现创新的重要途径。

另一方面,通过制定国际标准达成全球技术共识,可以促进系统互通、资源共享,降低接口、格式不一致的情况,从而减少各种N*M的复杂适配,同时推动产业在共同的"语境"下进行评估和对比,助力全球AI生态建设。

智源研究院在Open Data、Open Model以及OpenCompute方面践行以上的开源和标准的双轮驱动工作。以下为两个例子。

ITU-T国际标准立项草案:FlagCX统一通信库助力跨芯互联互通

在Open Compute方面,割裂的软件生态已经成为了不同AI芯片大范围落地产业的重要障碍,因此,智源研究院联合生态合作伙伴联合开发了面向多种AI芯片的开源、统一系统软件栈FlagOS。其中,面向多种AI芯片的开源统一通信库FlagCX是FlagOS的重要组成部分,主要是用来解决各个AI芯片厂商的通信库各异的问题,具体表现为以下四个方面:

(1)不同厂商的通信库各异,导致针对通信算法的实现与优化不具备通用性和自适应性;

(2)不同芯片通信库缺乏统一接口和协议,导致跨芯高速互联开发和优化难度大,难以实现算力高效聚合;

(3)大模型训练与推理创新技术显著提高对通信灵活性,稀疏性与动态性要求,现有通信库难以满足;

(4)现有通信库难以满足多智能体通信以及端云协同计算场景要求通信系统所具备的高扩展性,低时延,可靠性等功能。

为了解决上述问题,智源研究院在2024年12月开源了FlagCX统一通信库的首个版本实现,基于该开源项目,吸引了多家芯片厂商、及软件团队的适配、代码贡献、和性能验证。

得益于开源项目的积淀,智源研究院得以联合通信库生态链上下游芯片厂商、框架厂商、服务器厂商以及运营商等,在中国电子技术标准化研究院的指导下,联合共建国内标准《人工智能统一通信库接口规范》,在此基础上积极推动国际标准ITU-T《面向分布式多媒体人工智能系统的跨平台统一通信库要求与框架》的立项工作。

目前,该标准已获得中国信通院、中国电子技术标准化研究院、华为、百度、中国科学院计算技术研究所、中国电信、国家电网有限公司、中国联通、中国移动、浪潮等众多机构的支持。

上述国内及国际标准将进一步促进全球行业内统一通信库支持跨芯片通信互联,实现异构系统高效协作;对通信算法进行自适应优化,提升整体系统通信性能;降低新硬件和通信协议的集成与适配成本;支持灵活动态的通信模式,满足现代AI工作负载的多样化需求等关键能力的发展。

IEEE P3419标准:FlagEval 大模型评测丈量模型能力边界

大模型评测对评估大模型训练/微调过程中的各种技术贡献、对多个模型之间进行公平对比、并对技术领域总体进展进行可量化跟踪都十分重要。为此,智源研究院在2023年牵头了IEEE P3419《大语言模型评测》国际标准的建设。

IEEE P3419国际标准构建了三维评测框架,包含基础能力、高级能力和安全能力3个一级维度,下设13个二级维度和39个三级维度。标准内容涵盖评测数据集的构建原则(包括单条评测数据的构建原则、评测数据集的构建原则及组成)、评测指标(准确性、效率、可信度等)以及评测过程(包括评测目标的定义、推理环境和执行配置以及评分机制和结果判定等)。

依托 IEEE P3419 标准,智源研究院携手多家合作伙伴,成功构建起以 FlagEval 为核心的多元化开源大模型评测工具及开放平台矩阵。FlagEval 平台及HuggingFace平台发布了多领域、多维度、多语言、多形式的leaderboard ,累计完成900+个主流大模型评测,为行业提供有益参考。

目前,该标准已获得中国科学技术大学、鹏城实验室、中国移动、中国信通院、百度、联想、腾讯、Intel、中国南方电网、中国电信、国家电网有限公司、中国联通、浪潮等众多机构的支持。

基于以 FlagEval 为核心的开源大模型评测工具和开放平台,为制定大模型评估标准提供全面、客观的依据,从而推动大模型评测体系的完善与发展,助力大模型技术在各领域的创新应用与持续进步。

智源研究院在统一通信库与大模型评测两大技术领域,积极推进开源合作与国际标准建设,通过全球开源促进技术共享,通过国际标准凝聚共识、实现互通。以双轮驱动,进一步降低人工智能的使用和创新门槛,加速新技术的产业落地,助力人工智能普惠化发展。

相关推荐
点云SLAM3 小时前
Eigen 中矩阵的拼接(Concatenation)与 分块(Block Access)操作使用详解和示例演示
人工智能·线性代数·算法·矩阵·eigen数学工具库·矩阵分块操作·矩阵拼接操作
木枷4 小时前
NAS-Bench-101: Towards Reproducible Neural Architecture Search
人工智能·物联网
BAOYUCompany4 小时前
暴雨服务器更懂人工智能+
运维·服务器·人工智能
飞哥数智坊4 小时前
Coze实战第17讲:工资条自动拆分+一对一邮件发送
人工智能·coze
cwn_4 小时前
自然语言处理NLP (1)
人工智能·深度学习·机器学习·自然语言处理
点云SLAM5 小时前
PyTorch中flatten()函数详解以及与view()和 reshape()的对比和实战代码示例
人工智能·pytorch·python·计算机视觉·3d深度学习·张量flatten操作·张量数据结构
智海观潮5 小时前
Unity Catalog与Apache Iceberg如何重塑Data+AI时代的企业数据架构
大数据·人工智能·ai·iceberg·catalog
爱分享的飘哥5 小时前
第三篇:VAE架构详解与PyTorch实现:从零构建AI的“视觉压缩引擎”
人工智能·pytorch·python·aigc·教程·生成模型·代码实战
柏峰电子6 小时前
市政道路积水监测系统:守护城市雨天出行安全的 “智慧防线”
大数据·人工智能·安全
蓑雨春归6 小时前
自主智能Agent如何重塑工作流自动化:技术、经济与未来展望
人工智能·chatgpt·自动化