源神,启动!马斯克开源史上最大模型Grok,参数高达3140亿,可商用!

马斯克真不愧是源神,自开源X的推荐算法以及特斯拉智能驾驶算法后,又说到做到,开源旗下大模型Grok!

代码和模型权重已上线GitHub。官方信息显示,此次开源的Grok-1是一个3140亿参数的混合专家模型,远超OpenAI GPT-3.5的1750亿。,就是说,这是当前开源模型中参数量最大的一个,遵照Apache 2.0协议开放模型权重和架构。

消息一出,Grok-1的GitHub仓库已揽获15K标星,并且还在库库猛涨。

GitHub地址:github.com/xai-org/gro...

目前Grok-1的源权重数据大小大约为300GB。

表情包们,第一时间被吃瓜群众们热传了起来。

而ChatGPT本Chat,也现身Grok评论区,开始了和马斯克新一天的斗嘴......

Grok-1介绍

此次开源,xAI发布了Grok-1的基本模型权重和网络架构。

具体来说是2023年10月预训练阶段的原始基础模型,没有针对任何特定应用(例如对话)进行微调。

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的"专家"集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为"门控网络"的机制。

在GitHub页面上,官方特别强调了Grok模型的巨大规模(总共314B参数),这意味着运行Grok需要强大的GPU和内存支持。

此外,模型的权重文件以磁力链接的形式提供,文件大小接近300GB,这也是一个相当庞大的数字。

除了参数规模之外,Grok在工程架构上也颇具创新精神------它并没有选择常见的Python、PyTorch或Tensorflow,而是采用了Rust编程语言和新兴的深度学习框架JAX。

除了官方通告外,一些专家通过深入分析代码等方式揭示了更多关于Grok的技术细节。例如,斯坦福大学的Andrew Kean Gao就对Grok的技术细节进行了深入解释。

他指出,Grok采用了旋转的embedding方式,而非传统的固定位置embedding,旋转位置的embedding大小为6144,与输入embedding相同这种创新方法为Grok的性能和效率提供了新的可能性.

当然,还有更多的参数信息:

  • Transformer层数为64,每层都有一个解码器层,包含多头注意力块和密集块;

    key value大小为128;多头注意力块中,有48 个头用于查询,8 个用于KV,KV 大小为 128;密集块(密集前馈块)扩展因子为8,隐藏层大小为32768。窗口长度为8192tokens,精度为bf16Tokenizer vocab大小为131072(2^17),与GPT-4接近;embedding大小为6144(48×128);

除了Gao,还有英伟达AI科学家Ethan He(何宜晖)指出,在专家系统的处理方面,Grok也与另一知名开源MoE模型Mixtral不同,Grok对全部的8个专家都应用了softmax函数,然后从中选择top2专家,而Mixtral则是先选定专家再应用softmax函数。

而至于有没有更多细节,可能要看官方会不会发布进一步的消息了,另外,值得一提的是,Grok-1采用的是Apache 2.0 license,也就是说,支持商用

相关推荐
AI技术控1 分钟前
计算机视觉算法实战——驾驶员安全带检测
人工智能·算法·计算机视觉
LucianaiB2 分钟前
基于自然语言处理的垃圾短信识别系统
人工智能·自然语言处理·垃圾短信识别系统
feifeikon1 小时前
大模型GUI系列论文阅读 DAY4续:《Large Language Model Agent for Fake News Detection》
论文阅读·人工智能·语言模型
feifeikon1 小时前
图神经网络系列论文阅读DAY1:《Predicting Tweet Engagement with Graph Neural Networks》
论文阅读·人工智能·神经网络
ZStack开发者社区3 小时前
AI应用、轻量云、虚拟化|云轴科技ZStack参编金融行标与报告
人工智能·科技·金融
真想骂*5 小时前
人工智能如何重塑音频、视觉及多模态领域的应用格局
人工智能·音视频
赛丽曼7 小时前
机器学习-K近邻算法
人工智能·机器学习·近邻算法
啊波次得饿佛哥9 小时前
7. 计算机视觉
人工智能·计算机视觉·视觉检测
XianxinMao9 小时前
RLHF技术应用探析:从安全任务到高阶能力提升
人工智能·python·算法
Swift社区9 小时前
【分布式日志篇】从工具选型到实战部署:全面解析日志采集与管理路径
人工智能·spring boot·分布式