当前AI技术发展面临算力成本、工具链碎片化及严重依赖CUDA生态等核心挑战，该如何破局？10月25日，在CNCC 2025大会上，由CCF开源发展技术委员会AI Infra工作组发起的"开源AI基础设施论坛"成功举办。多位业内专家聚焦AI Infra开源进展，开源大模型训练和推理技术解析、大模型技术体系开源开放分级评估规范、GPU开源生态建设、云原生Infra Services等各个维度对AI开源基础设施现在、未来的进行了深度探讨。
大模型时代云原生Infra Services的机会
CCF会士、开源发展技术委员会副主任，开源项目LVS(Linux Virtual Server)创始人章文嵩讲述了《在大模型时代下云原生Infra Services的发展机会》。在大模型驱动的百年智能化浪潮中，开源生态与云原生Infra Services成为关键推动力。它们有效聚合人才、数据与算力，通过构建在云上的数据与AI服务基础设施，实现经验与资源的复用。AI开发生态还处于早期阶段，通过开源协作在智能服务开发框架、高性能算子库等领域形成事实的标准，大有可为。云原生Infra Services可以大幅降低大模型AI技术的应用门槛，通过开源可以拓展国际化市场。
大模型平权时代的GPU开源生态建设
沐曦开源生态总监、CCF开源发展技术委员会AI Infra工作组负责人章津楠分享《大模型平权时代的GPU开源生态建设》。他指出Deepseek R1以开源模式推动人工智能技术普惠化应用，亟待构建更具广延性的国产AI计算基础设施开源体系。通过vLLM、SGLang等开源技术，提升包括DeepSeek等基础模型体系在国产算力平台的运行效能。基于自主研创的MXMACA软件生态栈，通过开源协同的"产研应用投"多维联动机制，主导建立标准化人工智能"Android"计算架构生态体系。并依托CCF ODTC AI Infra社区，积极探索新型开源协作范式。
大模型技术体系开源开放分级评估规范解读与应用示范
华东师范大学教授王伟开展《大模型技术体系开源开放分级评估规范解读与应用示范》报告。人工智能大模型技术革新重构供应链生态体系，形成了以数据、算法、算力等多要素为核心的技术架构，导致开发流程、协作机制和依赖关系的复杂性显著增加。他解读"大模型技术体系开源开放分级评估规范"，从要素谱系、产业链结构、数据生态和治理问题四个维度构建开源分级体系。重点剖析大模型开源许可证的演进特征与治理挑战，并以实际模型许可证为例，讨论应用示范案例。
从同构走向分离的大模型推理系统
阿里云高级技术专家马腾分享了《从同构走向分离的大模型推理系统》。他指出随着大模型应用的普及，推理过程中的高计算资源消耗和 KVCache的冗余存储成为关键瓶颈，导致推理成本高昂、吞吐量受限，尤其在长上下文场景中表现尤为突出。Mooncake 项目通过创新的以 KVCache 为中心的"PD 分离"架构和"以存换算"设计，将KVCache池化共享，结合高性能传输技术和分布式存储优化，实现跨实例的资源复用，并介绍了Mooncake 项目的Transfer Engine、KVCache Store、生态整合三大创新点。
面向超大 MoE 模型的新一代训练引擎
上海人工智能实验室高级工程师、书生系列大模型训练框架负责人高剑飞开展了《面向超大 MoE 模型的新一代训练引擎》介绍。传统基于3D并行的训练引擎在训练超大规模MoE模型时，依赖专家并行。当训练序列长度增加或专家并行维度扩大时，难以适应当前主流的大模型强化学习（RL）训练场景。针对超大MoE模型的RL训练需求，上海人工智能实验室开源了新一代训练引擎 XTuner V1。该引擎可在不引入序列和专家并行的前提下，以Dropless方式训练200B规模的MoE模型，性能显著超越传统3D并行方案。
圆桌论坛："国芯+国模"下开源AI Infra的机遇与挑战
由章津楠主持，虞正平、杜夏威、章文嵩、高剑飞、马腾等嘉宾围绕"'国芯+国模下'开源AI Infra的机遇与挑战"话题进行的圆桌论坛如火如荼开展。几位嘉宾针对"模型尺寸不断地扩大，AI Infra看今后会面临哪些大的挑战，我们应如何面对?"、"如何能很好的结合目前开源AI基础设施浪潮提升"国芯+国模"高效协同，从而弯道超车?""AI Infra生态呈现出百花齐放、如何有效的促成各方的开源协作？"这三个焦点问题各抒己见、火花碰撞、凝造出一个干货澎湃的思想域场。
本次论坛汇聚了领域内顶尖专家，从云原生设施、GPU生态、评估规范到训练推理引擎等多个维度，深入探讨了开源AI基础设施的核心议题。它不仅精准勾勒出当前开源AI基础设施发展的脉络，更通过"国芯+国模下开源AI Infra的机遇与挑战"的圆桌对话，为构建自主、协同、繁荣的开源AI基础设施生态建议了前行路径，助力国产开源AI基础设施技术的创新与落地。