颤抖吧，70B以下的LLM——314B参数Grok开源了

还记得2月份，无数新闻传媒争相报道OpenAI殿堂级的Sora模型发布（至今PPT），就连胡主编和周老板都感叹中美的在这一领域的差距相当富有挑战。

没错，那个时候，我们还是把玩着SDXL和midjourney的傻孩子，自以为了解了text2image generation的项目熟悉度，所以面对Sora的出现，就连国内的专家都啧啧称赞，当然最好是像SVD直接开源了。所以当Sota的text2video出现且闭源时，才会为这种技术差距感到一丝焦虑。

马斯克，世称美版钢铁侠，他虽然一直坚持AI的发展是需要监管的，但是他依旧通过诉讼迫使OpenAI重新开源 GPT，并且称赞 Facebook research 开源 Llama，以推动AI领域的世界进程。随后Mistral公司开源了Mistral-7B和MoE的Mixtral-7B，连谷歌也开源了Gemini的基件------Gemma 7B(目前最强的多语言7B模型)。终于，上周马斯克在X上宣布即将发布Grok开源模型。

要知道大厂在技术上都相对克制，最大参数基本围绕在70B左右进行训练，而3月17日之前世界上最大的开源大模型也就区区180B的Falcon。

这个时候，马斯克当然不会忘了嘲讽 OpenAI 一番，「我们想了解更多 OpenAI 的开放部分」

xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。项目发布短短10个小时，已经揽获 6k 星标，热度还在持续增加。

该存储库包含用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。使用之前，用户需要确保先下载 checkpoint ，并将 ckpt-0 目录放置在 checkpoint 中，然后，运行下面代码进行测试：

arduino 复制代码

pip install -r requirements.txt
python run.py

项目说明中明确强调，由于 Grok-1 是一个规模较大（314B 参数）的模型，因此需要有足够 GPU 内存的机器才能使用示例代码测试模型。此外，该存储库中 MoE 层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。（此前马斯克一直喷ChatGPT和Gemini "政治正确"的filter）

而且此次下载特意选择了p2p的磁力链接。不愧是辣个男人，连web2的HF都不用，选择最原始的web3

perl 复制代码

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

文件非常大（296.38GB）建议准备至少300GB的空间进行下载

看到这，有网友开始好奇 314B 参数的 Grok-1 到底需要怎样的配置才能运行。对此有人给出答案：可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100（每个 80GB）就可以了。

从左侧看，我们算力依旧遥遥领先，只欠"东风"！------它，已经来了！

参考

马斯克开源Grok-1：3140亿参数迄今最大，权重架构全开放，磁力下载