颤抖吧,70B以下的LLM——314B参数Grok开源了

还记得2月份,无数新闻传媒争相报道OpenAI殿堂级的Sora模型发布(至今PPT),就连胡主编和周老板都感叹中美的在这一领域的差距相当富有挑战。

胡锡进:Sora的出现是人类AI技术新的里程碑 我们承受不起AI大幅落后美国

周鸿祎谈国内追赶Sora:算力是难点,可能再出现百模大战

没错,那个时候,我们还是把玩着SDXL和midjourney的傻孩子,自以为了解了text2image generation的项目熟悉度,所以面对Sora的出现,就连国内的专家都啧啧称赞,当然最好是像SVD直接开源了。所以当Sota的text2video出现且闭源时,才会为这种技术差距感到一丝焦虑。

马斯克,世称美版钢铁侠,他虽然一直坚持AI的发展是需要监管的,但是他依旧通过诉讼迫使OpenAI重新开源 GPT,并且称赞 Facebook research 开源 Llama,以推动AI领域的世界进程。随后Mistral公司开源了Mistral-7B和MoE的Mixtral-7B,连谷歌也开源了Gemini的基件------Gemma 7B(目前最强的多语言7B模型)。终于,上周马斯克在X上宣布即将发布Grok开源模型。

要知道大厂在技术上都相对克制,最大参数基本围绕在70B左右进行训练,而3月17日之前世界上最大的开源大模型也就区区180B的Falcon。

这个时候,马斯克当然不会忘了嘲讽 OpenAI 一番,「我们想了解更多 OpenAI 的开放部分」

xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。项目发布短短10个小时,已经揽获 6k 星标,热度还在持续增加。

该存储库包含用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。使用之前,用户需要确保先下载 checkpoint ,并将 ckpt-0 目录放置在 checkpoint 中, 然后,运行下面代码进行测试:

arduino 复制代码
pip install -r requirements.txt
python run.py

项目说明中明确强调,由于 Grok-1 是一个规模较大(314B 参数)的模型,因此需要有足够 GPU 内存的机器才能使用示例代码测试模型。此外,该存储库中 MoE 层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。(此前马斯克一直喷ChatGPT和Gemini "政治正确"的filter)

而且此次下载特意选择了p2p的磁力链接。不愧是辣个男人,连web2的HF都不用,选择最原始的web3

perl 复制代码
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

文件非常大(296.38GB)建议准备至少300GB的空间进行下载

看到这,有网友开始好奇 314B 参数的 Grok-1 到底需要怎样的配置才能运行。对此有人给出答案:可能需要一台拥有 628 GB GPU 内存的机器(每个参数 2 字节)。这么算下来,8xH100(每个 80GB)就可以了。

从左侧看,我们算力依旧遥遥领先,只欠"东风"!------它,已经来了!

参考

马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载

相关推荐
汀丶人工智能1 分钟前
AI-Compass LLM训练框架生态:整合ms-swift、Unsloth、Megatron-LM等核心框架,涵盖全参数/PEFT训练与分布式优化
人工智能
mit6.8242 分钟前
[Meetily后端框架] 多模型-Pydantic AI 代理-统一抽象 | SQLite管理
c++·人工智能·后端·python
小阿技术20 分钟前
本地电脑安装Dify|内网穿透到公网
人工智能·计算机视觉·docker·目标跟踪·flask·dify
ComPDFKit38 分钟前
为什么有些PDF无法复制文字?原理分析与解决方案
人工智能·pdf·ocr
欧阳天羲1 小时前
Angular 框架下 AI 驱动的企业级大前端应用开
前端·人工智能·angular.js
Akamai中国2 小时前
为何说分布式 AI 推理已成为下一代计算方式
人工智能·分布式·云计算·边缘计算·云服务·akamai
Blossom.1182 小时前
从“炼丹”到“流水线”——如何用Prompt Engineering把LLM微调成本打下来?
人工智能·python·深度学习·神经网络·学习·机器学习·prompt
HuashuiMu花水木2 小时前
PyTorch笔记7----------计算机视觉基础
人工智能·pytorch·笔记
大明哥_2 小时前
Coze + DeepSeek + 飞影数字人制作老祖宗爆款视频“回答我”,仅需 4 步带你完美复刻(保姆级教程)
人工智能·agent
想要成为计算机高手2 小时前
6.isaac sim4.2 教程-Core API-多机器人,多任务
人工智能·python·机器人·英伟达·模拟器·仿真环境