马斯克硬刚OpenAI，开源 Grok：3140 亿为目前最大规模

IT咖啡馆2024-03-18 23:39

马斯克之前公开控诉OpenAI并宣布要开源自己的大模型，现在马斯克来兑现承诺了，由X.AI推出的大模型Grok来了。

3月17日凌晨，马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家（MoE）模型「Grok-1」，以及该模型的权重和网络架构。马斯克也在X上和OpenAI进行了亲切地互动。

Grok-1的一些详细情况：

基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；
3140 亿参数的 MoE 模型，在给定 token 上的激活权重为 25%；
2023 年 10 月，xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。

当前Grok-1已经在github上开源，并且正以一种难以置信的热度蹿升，马斯克真是在任何领域都能带来巨大的流量。注意看下面star增长速度，是小时为单位的！目前才10多个小时，已经达到了10K star。

Github的仓库包含了用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。

运行

arduino 复制代码

pip install -r requirements.txt
python run.py

由于模型规模较大（314B参数），需要有足够GPU内存的机器才能使用示例代码测试模型。

Github的仓库里也放出了模型下载的磁力链接，要动手测试的朋友们可以去下载了，296G的大小，大家要提前准备好空间。

xAI 表示，Grok-1 的研发经历了四个月。在此期间，Grok-1 经历了多次迭代。

在公布了 xAI 创立的消息之后，他们训练了一个 330 亿参数的 LLM 原型 ------Grok-0。这个早期模型在标准 LM 测试基准上接近 LLaMA 2 (70B) 的能力，但只使用了一半的训练资源。之后，他们对模型的推理和编码能力进行了重大改进，最终开发出了 Grok-1，这是一款功能更为强大的 SOTA 语言模型，在 HumanEval 编码任务中达到了 63.2% 的成绩，在 MMLU 中达到了 73%。

xAI 使用了一些旨在衡量数学和推理能力的标准机器学习基准对 Grok-1 进行了一系列评估：

在这些基准测试中，Grok-1 显示出了强劲的性能，超过了其计算类中的所有其他模型，包括 ChatGPT-3.5 和 Inflection-1。只有像 GPT-4 这样使用大量训练数据和计算资源训练的模型才能超越它。xAI 表示，这展示了他们在高效训练 LLM 方面取得的快速进展。

最近越来越多的科技巨头开始入局AI，纷纷发布自己的大模型，希望这可以让AI领域更快速的发展，为人类带来更多的收益。