阿里云 PAI 团队获邀在 ChinaSys 2025 分享动态数据调度方案 Skrull

**第 29 届中国计算机系统研讨会(ChinaSys 2025)**将于 12 月 27 日- 12 月 28 日,在吉林长春举办。ChinaSys 是中国计算机系统及相关领域的学术团体,宗旨是为本领域的研究者和从业者提供资源共享、交换思想和会晤的平台,交流和探讨系统领域的最新研究成果,促进中国计算机系统行业的发展。

阿里云大数据 AI 团队将深度参与ChinaSys 2025。PAI 团队将在 ChinaSys 2025 带来演讲,与参会者分享大模型长上下文微调中的高效动态数据调度方案 Skrull。 同时将在阿里云展台为大家揭秘 Qwen3 训练端到端加速比提效 3 倍 的核心技术、分享阿里云大数据 AI 平台的最新研究成果和技术思考,更有核心研发团队面对面交流的机会!

大模型长上下文微调中的高效动态数据调度 Skrull 技术揭秘

长文本处理能力是大语言模型的一项核心技能,直接影响很多下游任务的效果。目前,业界主要通过继续预训练和长上下文微调来提升模型在这方面的表现。这类训练通常使用精心构造的数据集,而数据集在序列长度上往往有着极度长尾或双峰分布的特点,对现有训练系统提出了很大挑战,系统很难在长短样本之间高效调度资源,常常导致整体训练效率低下。

PAI 团队在ICML 2025 上发表长序列训练优化 ChunkFlow工作后,再度提出高效动态数据调度方案 Skrull ,进一步从上下文并行和负载均衡的角度,优化系统训练性能。Skrull 研究成果被 NeurIPS 2025 收录 ,《Skrull: Towards Efficient Long Context Fine-tuning through Dynamic Data Scheduling》(https://arxiv.org/abs/2505.19609),同时获邀在 ChinaSys 2025 与参会者分享其技术原理。

大模型长上下文微调中的高效动态数据调度 Skrull 设计思路

实测表明,Skrull 相比基线平均提速 3.76 倍,最高达 7.54 倍,为高效长上下文训练提供了实用的系统优化思路, 充分验证了 Skrull 在长上下文微调中的性能与价值**。**

Skrull 在不同 Qwen 模型尺寸和数据集上的系统性能收益

如需了解 Skrull 相关的的更多技术细节,欢迎您关注 ChinaSys 2025 - 产业论坛演讲,或阅读往期文章https://blog.csdn.net/weixin_48534929/article/details/156237027

ChinaSys 现场交流

1. 阿里云展台

会议期间,阿里云大数据 AI 团队将在阿里云展台与大家共同探讨系统领域研究创新,为大家揭秘 Qwen3 训练端到端加速比提效 3 倍的核心技术,以及分享阿里云大数据 AI 平台的最新研究成果和技术思考,期待您前往交流、体验!

  • 时间:12月27日-12月28日,会议期间全天

  • 地点:吉林大学 前卫南区 --- 敬信报告厅

2. 产业论坛演讲

阿里云 PAI 团队受邀,将为参会者带来大模型长上下文微调中的高效动态数据调度方案 Skrull 技术分享。

  • 时间:12月27日 下午 17:15

  • 地点:吉林大学 前卫南区 --- 敬信报告厅

相关推荐
JackHCC11 分钟前
快手OneRetrieval:可编辑生成式电商召回
人工智能·机器学习
前端之虎陈随易32 分钟前
编程语言级别的Skill市场,AI Agent 的未来形态
前端·vue.js·人工智能·typescript·node.js
QiLinkOS41 分钟前
第三视觉理解徐玉生与他的商业活动(30)
大数据·c++·人工智能·算法·开源协议
武汉唯众智创1 小时前
当汉字成为心理CT:AI汉字联想投射分析的技术实现与心理评估价值
人工智能·ai心理健康·ai心理评估·本土化心理测评·校园心理健康解决方案·ai心理监测·多模态情绪模型
Longvox1 小时前
Agent为什么会死循环?
人工智能·ai编程
陈天伟教授1 小时前
FreeCAD 启动后小窗口闪现即退的解决思路
人工智能·机器人·工业设计
ZERO IN YOGA 客服(南湖)2 小时前
亲测有效:瑜伽改善失眠的南湖案例分享
阿里云
酒旅Agent开发实战2 小时前
AI 旅行规划助手如何接入真实酒旅数据:从自然语言到酒店预订的全流程 MCP 实战
人工智能·ai·旅游·skill·酒店api·机票api
workflower2 小时前
设备单元级(L1)实施路径
人工智能·线性代数·矩阵·机器人·开源
Dragon Wu2 小时前
ComfyUI Desktop 实例进入后一直loading的问题解决
人工智能·ai