Magnus：面向大规模机器学习工作负载的综合数据管理方法Magnus，一个专为解决大规模机器学习（ML）工作负载中数据管理挑战而设计的综合性系统。针对传统数据湖表格式（如Iceberg）在处理海量数据、多模态数据、频繁更新和大模型训练时面临的存储效率低、元数据开销大、读写性能差等问题，Magnus提出了多项创新。其核心包括：为宽表和多模态数据设计的高效Krypton和Blob存储格式；通过消除冗余和索引优化来提升元数据管理效率；支持列级更新和主键Upsert的轻量级MOR机制；以及为大型语言模型（LLM）和长序列推荐模型（LRM） 训练优化的双表设计和分片机制