颤抖吧,70B以下的LLM——314B参数Grok开源了

还记得2月份,无数新闻传媒争相报道OpenAI殿堂级的Sora模型发布(至今PPT),就连胡主编和周老板都感叹中美的在这一领域的差距相当富有挑战。

胡锡进:Sora的出现是人类AI技术新的里程碑 我们承受不起AI大幅落后美国

周鸿祎谈国内追赶Sora:算力是难点,可能再出现百模大战

没错,那个时候,我们还是把玩着SDXL和midjourney的傻孩子,自以为了解了text2image generation的项目熟悉度,所以面对Sora的出现,就连国内的专家都啧啧称赞,当然最好是像SVD直接开源了。所以当Sota的text2video出现且闭源时,才会为这种技术差距感到一丝焦虑。

马斯克,世称美版钢铁侠,他虽然一直坚持AI的发展是需要监管的,但是他依旧通过诉讼迫使OpenAI重新开源 GPT,并且称赞 Facebook research 开源 Llama,以推动AI领域的世界进程。随后Mistral公司开源了Mistral-7B和MoE的Mixtral-7B,连谷歌也开源了Gemini的基件------Gemma 7B(目前最强的多语言7B模型)。终于,上周马斯克在X上宣布即将发布Grok开源模型。

要知道大厂在技术上都相对克制,最大参数基本围绕在70B左右进行训练,而3月17日之前世界上最大的开源大模型也就区区180B的Falcon。

这个时候,马斯克当然不会忘了嘲讽 OpenAI 一番,「我们想了解更多 OpenAI 的开放部分」

xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。Apache 2.0 许可证允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。项目发布短短10个小时,已经揽获 6k 星标,热度还在持续增加。

该存储库包含用于加载和运行 Grok-1 开放权重模型的 JAX 示例代码。使用之前,用户需要确保先下载 checkpoint ,并将 ckpt-0 目录放置在 checkpoint 中, 然后,运行下面代码进行测试:

arduino 复制代码
pip install -r requirements.txt
python run.py

项目说明中明确强调,由于 Grok-1 是一个规模较大(314B 参数)的模型,因此需要有足够 GPU 内存的机器才能使用示例代码测试模型。此外,该存储库中 MoE 层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。(此前马斯克一直喷ChatGPT和Gemini "政治正确"的filter)

而且此次下载特意选择了p2p的磁力链接。不愧是辣个男人,连web2的HF都不用,选择最原始的web3

perl 复制代码
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

文件非常大(296.38GB)建议准备至少300GB的空间进行下载

看到这,有网友开始好奇 314B 参数的 Grok-1 到底需要怎样的配置才能运行。对此有人给出答案:可能需要一台拥有 628 GB GPU 内存的机器(每个参数 2 字节)。这么算下来,8xH100(每个 80GB)就可以了。

从左侧看,我们算力依旧遥遥领先,只欠"东风"!------它,已经来了!

参考

马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载

相关推荐
alpszero3 分钟前
YOLO11解决方案之对象裁剪探索
人工智能·python·计算机视觉·yolo11
Matlab仿真实验室27 分钟前
基于Matlab实现图像透明叠加程序
人工智能·计算机视觉·matlab
蹦蹦跳跳真可爱5891 小时前
Python----神经网络(基于DNN的风电功率预测)
人工智能·pytorch·python·深度学习·神经网络·dnn
Jackson@ML1 小时前
一分钟了解机器学习
人工智能·机器学习
四万二千1 小时前
5月16日复盘-目标检测开端
人工智能·目标检测·计算机视觉
带娃的IT创业者1 小时前
《AI大模型应知应会100篇》第65篇:基于大模型的文档问答系统实现
人工智能
TGITCIC1 小时前
智脑进化:神经网络如何从单层感知机迈向深度学习新纪元
人工智能·深度学习·神经网络
妄想成为master2 小时前
计算机视觉----常见卷积汇总
人工智能·计算机视觉
jndingxin2 小时前
OpenCV CUDA 模块中用于在 GPU 上计算矩阵中每个元素的绝对值或复数的模函数abs()
人工智能·opencv
Code哈哈笑2 小时前
【机器学习】支持向量回归(SVR)从入门到实战:原理、实现与优化指南
人工智能·算法·机器学习·回归·svm