Grok-1:参数量最大的开源大语言模型

Grok-1:参数量最大的开源大语言模型

项目简介

由马斯克领衔的大型模型企业 xAI 正式公布了一项重要动作:开源了一个拥有 3140 亿参数的混合专家模型(MoE)「Grok-1」,连同其模型权重和网络架构一并公开。

此举将 Grok-1 树立为目前最大参数量的开源大语言模型。

在这个关键时刻,马斯克自然不放过机会,对 OpenAI 进行了一番讽刺,他表示:"我们很想探索 OpenAI 中'开放'的那一部分"。

模型

回到模型本身,Grok-1 是从零开始训练的,而且没有为任何特定应用(例如对话系统)进行过微调。相比之下,在 X(原名 Twitter)上使用的 Grok 大型模型已经进行了微调,因此其行为与原始权重版本不同。

Grok-1 模型的详细信息包括:

**·**基础模型基于大量文本数据训练,未针对任何特定任务进行微调;

**·**是一个包含 3140 亿参数的混合专家(MoE)模型,给定 token 的激活权重为 25%;

**·**2023 年 10 月,xAI 使用 JAX 库和 Rust 语言的自定义训练栈从头开始进行训练。

xAI 根据 Apache 2.0 许可证公开了 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由使用、修改和分发软件,不论是个人还是商业用途。项目发布仅10小时,就已获得 11.1k 星标,人气持续上升。

Grok-1模型因其巨大的参数量---314亿个参数---而引起了网友们的极大兴趣。由于每个参数需要2字节的内存来存储,整个模型大约需要628GB的GPU内存才能运行。为了达到这样的内存需求,就需要使用多个高性能GPU。

以目前市场上的高端GPU,NVIDIA H100为例,每个提供大约80GB的显存。根据这个配置,运行完整的Grok-1模型大概需要8个H100 GPUs来提供足够的内存空间。

这是一种非常高端的配置,通常只有在专业的数据中心或者具备先进计算资源的研究机构中才能找到。对于大多数个人用户和小型开发团队来说,这种配置是不切实际的。因此,想要运行如此庞大的模型,就需要获得相应级别的硬件支持,这通常意味着相当大的投资。

使用

这个仓库包含用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。

请确保下载了检查点,并将 ckpt-0 目录放在 checkpoint 中。然后,运行

复制代码
pip install -r requirements.txtpython run.py

测试代码。

该脚本加载检查点,并在一个测试输入上从模型中采样。

由于模型的体积很大(314B 参数),需要一台具有足够 GPU 内存的机器来用示例代码测试模型。这个仓库中的 MoE 层的实现并不高效。选择这种实现是为了避免需要自定义核心来验证模型的正确性。

项目链接

https://github.com/xai-org/grok-1

Grok-1:马斯克兑现诺言,发布参数量最大的开源大语言模型,发布10小时11.1k星星

相关推荐
泯泷11 分钟前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘13 分钟前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术20 分钟前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
AllData公司负责人1 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界1 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术1 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和1 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷1 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
字节跳动开源1 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术2 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent