欢迎关注我的公众号 [极智视界],获取我的更多技术分享
大家好,我是极智视界,本文分享了一下 解读为什么是OpenAI。
邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码下载,链接:t.zsxq.com/0aiNxERDq
最近在看一些新算法,感叹过了个年,AI 的发展依旧特别快。
今天讨论的这个话题的核心是在为什么 openai "能" 而原本比 openai 更加强大的 google、Meta、甚至是咱们国内的 BAT+字节却 "不能" 。首先这里的 "能" 和 "不能" 的东西是 "领先跑通所有 AGI 技术栈 " (当然这个表述其实并不科学也并不严谨,因为咱们现在离 AGI 还远着呢),更加准确一些的表述可能是 "openai 领先跑通主要 AIGC 应用场景,离 AGI 最近 "。具体指的应该是文本生成代表 ChatGPT (text-to-text) 、图片生成代表 DALL-E (text-to-image) 、视频生成代表 Sora (text-to-video) 以及在布局的 AI 芯片(这个可能是其他博主容易忽略的) ,这块具体可以参考我最近分享的内容,如下。
有了上面的铺垫之后,来讨论为什么是 openai。
我从 AI 的三驾马车 "算法"、"数据"、"算力" 三个角度来说。
- 算法 ==> 一个很大的原因是 openai 很好的抓住了 Transformer 构建大模型的风口,要知道现在的不管是 ChatGPT 的底座 GPT、DALL-E 的底座扩散模型还是最近的 Sora (这里需要解释一下,之前的扩散模型的 Base 一般是 Unet,但后来 Transformer 和扩散模型的梦幻联动效果很棒,类似的工作可以参考谢赛宁撰文的《 Scalable Diffusion Models with Transformers 》) ,其中的核心都是 Transformer。而正是因为 openai 很好抓住了 Transformer 这个技术架构,并基于它并将它发扬光大 (虽然 Transformer 是 google 2017 年提出来的,后来也发展出了 BERT,但是现实的发展证明 openai 的 GPT 技术方向更优) 而这个架构刚好又是这些通用 AIGC 技术一个很好的解法,所以算法方面自然是 openai 先做起来了 (当然其实算法方面也不能忽略 meta,LLaMA 直接会让 meta 处于算法的第一梯队);
- 数据 ==> 之前只有 google (BERT) 和 openai (GPT) 重视大模型的发展,后来有了 meta (LLaMA),大模型所需的巨量优质训练数据集的构建是需要时间的,这个意思是 google & openai & meta 至少要比其他大厂提前了好几年就开始构建自身的大模型优质训练数据集。这个角度,在训练数据上咱们的 BAT+字节是差距很大的。在数据上,google 可能是能够和 openai 一拼的,奈何把 "数据+算法" 加起来就拼不过了;而 meta 相对特殊,meta 在 llm 上走了开源的路,LLaMA 很有竞争力,训练 LLaMA 所积累的数据一定也是丰富,奈何 meta 的重心一直都在元宇宙;
- 算力 ==> 这个也是外企的优势,google & openai & meta 都没有芯片禁令的限制,可以按需采购训练算力,而在 openai 和 微软绑定之后,openai 购买训练算力的财力问题也已经解决。而咱们国产大厂,因为芯片禁令,算力方面也会落后很多。
当 openai 在 AI 三驾马车上都至少领先的情况下,openai 对于 "先跑通所有主要的 AIGC 应用场景" 已经有了坚实的基础。在这个基础上当然还少不了 "人才" 的因素,Sam Altman + Greg Brockman + Ilya Sutskever 的 openai 人才组合是造就这一切的重要主观因素。没有 Altman 后来改革走的资本路线 (让 openai 不 open),openai 就不会有那么充足的算力基础和人才储备 (需要花钱);没有 IIya Sutskever 对于大模型技术的把控规划,就不会有现在 openai 这些耳熟能详的大模型技术了。
然后再回到具体时间点事件上,2023 年初的 ChatGPT 发布是一个标志性事件,它直接引爆了市场,把 openai 的 GPT 技术栈扶正,直接将 google 的 BERT 技术栈打趴趴了。在 ChatGPT 率先树立起了 AIGC 标杆之后,openai 的其他标杆技术如图像生成、视频生成技术栈也相继而来,这也是很有层次感和递进顺序的。
说完了软件栈,再来说 AI 芯。这个时候需要引入英伟达,奥特曼 (这个主观因素) 一直在筹划适用于大模型时代的新型 AI 加速芯片以冲击英伟达 "一家独大" 的局势。而 openai 规划的 AI 芯片应该是存算一体的类脑芯片,这种芯片能够很好优化访存密集型计算,对于大模型的计算很友好。而考虑到英伟达 GPU 的传统冯诺依曼计算架构和 google TPU 近存计算架构,显然 openai 的类脑计算架构会更加 "先进" 一些。而这个事情一旦成功,openai 会直接甩开现在所谓的竞争对手几条街,它在 AI 领域实在太全了。
根据上面的分析,在大模型技术上,跟 openai 水平最接近的还是 google,拥有 LLaMA 的 meta 紧随,咱们的 BAT+字节 其实差距特别大。
好了,以上分享了 解读为什么是OpenAI,希望我的分享能对你的学习有一点帮助。
【公众号传送】