元象发布首个MoE大模型XVERSE-MoE-A4.2B:仅4.2B激活量,性能堪比13B级别

前言

近日,深圳元象科技正式发布了其首个基于混合专家(Mixture of Experts,MoE)架构的大型语言模型 - XVERSE-MoE-A4.2B。这款模型总参数量高达258亿,但在推理过程中仅需激活4.2亿参数,却展现出了媲美130亿参数大模型的性能表现,可谓是当前MoE架构领域的一大突破。

作为元象公司继XVERSE-65B和XVERSE-13B系列之后的又一重磅开源产品,XVERSE-MoE-A4.2B无疑将为国内外的中小企业、科研机构以及开发者带来全新的发展机遇。

突破传统 MoE 局限,性能出色

XVERSE-MoE-A4.2B之所以备受瞩目,主要源于其在MoE架构设计上的一系列创新:

  • 首先是在模型结构上的突破。与传统MoE模型(如Mixtral 8x7B)每个专家大小等同于标准前馈网络(FFN)不同,XVERSE-MoE-A4.2B采用了更细粒度的专家设计,每个专家仅为标准FFN的1/4大小。这不仅提升了模型的灵活性,也大幅提高了性能表现。
  • 同时,XVERSE-MoE-A4.2B还将专家分为了共享专家(Shared Expert)和非共享专家(Non-shared Expert)两类。共享专家在计算过程中始终处于激活状态,而非共享专家则根据具体任务需求进行选择性激活。这种设计有利于将通用知识压缩到共享专家参数中,从而减少各专家之间的知识冗余。
  • 此外,在训练方面,XVERSE团队还引入了负载均衡损失(Balancing Loss)和路由器z-loss等技术,进一步优化了MoE架构的训练效率和稳定性。

模型性能

得益于这些创新,XVERSE-MoE-A4.2B不仅在参数量上大幅压缩,每次推理只需激活4.2亿参数,但性能却能媲美130亿参数级别的大模型,如Llama2-13B。

这一成绩的背后,离不开元象团队在数据和算法方面的深入优化:

  • 首先是在训练数据方面。XVERSE-MoE-A4.2B是基于一个高达2.7万亿token的大规模、多语种数据集进行训练的,覆盖了中英俄等40余种语言。通过精细设置数据采样比例,不仅确保了中英两种语言的卓越表现,也兼顾了其他语种的效果。
  • 其次在算法优化方面,XVERSE团队针对MoE架构独有的专家路由和权重计算逻辑,自主研发了一套高效的融合算子,大幅提升了模型的计算效率。同时,他们还创新性地设计了计算、通信和显存卸载的重叠处理方式,解决了MoE模型高显存占用和大通信量的挑战,进一步提高了整体的吞吐量。

总结

综上所述,XVERSE-MoE-A4.2B模型的发布不仅展示了元象科技在混合专家模型技术领域的领先地位,也为AI领域带来了新的应用可能性,特别是在资源受限的情况下,提供了一种新的、有效的解决方案。随着技术的不断成熟和优化,期待这种新型架构能在未来发挥更大的作用。

模型下载

Huggingface模型下载

huggingface.co/xverse/XVER...

AI快站模型免费加速下载

aifasthub.com/models/xver...

相关推荐
VIP_CQCRE10 分钟前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk5551 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷1 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我2 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit2 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn2 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks3 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
锋行天下4 小时前
langgraph 全栈项目(三)
前端·人工智能·后端