外媒爆料，Meta 正在加急研发全新开源大模型，对标 GPT-4，参数量比 Llama 2 还要大上数倍。Meta 这是又要颠覆 AI 社区了？
根据外媒《华尔街日报》消息，Meta 正在加紧开发新的大语言模型，能力将完全对标 GPT-4，预计将于明年推出。
消息还特别强调了，Meta 新的大语言模型将比 Llama 2 大数倍，而且大概率还是会开源，支持免费商用。
自从年初 Meta 将 LlaMA「不小心」泄露出来之后，到 7 月份 Llama 2 的开源发布，Meta 渐渐找到了自己在这次 AI 浪潮中的独特位置------AI 开源社区的旗帜。
人员震荡不断，模型能力有硬伤，靠开源坐回主桌
年初，在 OpenAI 用 GPT-4 引爆了科技行业之后，谷歌，微软也相继推出了自己的 AI 产品。
在 5 月份的时候，美国监管层就邀请了当时他们认为 AI 行业相关的头部企业 CEO，开了一个圆桌会议，讨论 AI 技术的发展。
OpenAI，谷歌，微软，都被邀请了，甚至还包括了初创公司 Anthropic，但是却没有 Meta 的身影。当时官方对 Meta 缺席的回应是：「我们只邀请在 AI 行业中最顶尖的公司。」
好事没有轮上 Meta，但是麻烦却源源不断地找上门来。
先是 6 月初国会一封质询信直接寄到的小扎手上，措辞严厉的要求他说明 3 月份 LlaMA 泄漏事故的前因后果。
而在后来的几个月时间里，即便在 Llama 2 发布之后，Meta 之前花重金打造的 AI 团队却依然在逐渐分崩离析。
在 Llama 2 的致谢中，提到的 4 位最先发起这项研究的团队，其中三位已经离职，目前仅有 Edouard Grave 还在 Meta。
业界大牛何恺明，也将离开 Meta，回归学术界。
根据最近 The Information 的爆料文章，Meta 的 AI 团队，因为对于内部算力的争夺，摩擦不断，人员陆续离开。
在这样的大背景下，小扎自己应该也很清楚，Meta 自己的大语言模型，也确实没有办法和业内最前沿的 GPT-4 沾边。
不论是在各个方向的基准测试还是从用户反馈来看，Llama 2 和 GPT-4 的差距依然还比较大。
在各项基准测试中，开源的 Llama 2 和 GPT-4 还有不小差距
网友的实际体验也在不断强调 GPT-4 比 Llama 2 依然领先不少
于是，小扎决定让 Meta 直接在模型开源之路上继续一路狂奔。
也许小扎背后的逻辑是这样的：Meta 模型能力一般，打不过闭源大佬，藏着掖着也没啥意义。那就索性开源让 AI 社区以自家模型为基础来不断迭代，扩大自己产品在业界的影响力。
而且小扎也不止一次的在公开场合表示，开源社区针对自己模型的迭代会让自己的技术团队获得启发，从而在未来开发出更有竞争力的产品。
小扎在 Fridman 的播客中强调，开源能让 Meta 从社区中吸取灵感，而且未来 Meta 可能会推出闭源模型。
参见：lexfridman.com/mark-zucker...
而事实也证明，Meta 的这个选择确实是正确的。
虽然在算力资源和技术实力上比不上谷歌，OpenAI，但是 Meta 的 Llama 2 等开源模型对于开源社区的吸引力依然是首屈一指的。随着 Llama 2 慢慢成为 AI 开源社区的「技术底座」，Meta 也在行业中找到了自己的生态位。
最明显的一个标志是，马上 9 月份将要召开的国会 AI 闭门会议之中，小扎终于成为了监管层的座上宾，和谷歌、OpenAI 等行业最前沿的公司 CEO 一同作为代表，对于 AI 行业监管发出自己的声音。
而如果明年 Meta 推出的新模型，能够继续保持进步，获得和 GPT-4 持平的能力，一方面能让开源社区继续拉近与闭源巨头的差距，坐实了「开源社区与行业最先进水平差距在一年左右」的说法。
另一方面，小扎在采访中也曾透露，如果未来大模型能力进一步提升，Meta 可能会推出自己的闭源模型。如果新的模型能进一步迫近行业 SOTA，也许就离 Meta 推出自己的闭源模型不远了。
虽然 Meta 看起来在这波 AI 浪潮中已经暂时落后了，但是小扎的野心也不甘心只做一个追随者。
在「AI 三巨头」Yann Lecun 的指引下，Meta 也正在为颠覆整个行业做着准备。
Meta 的未来
所以，这个传说中能比肩 GPT-4 的神秘大模型之后，Meta AI 未来会是什么样子？
因为目前还没有具体信息，我们也只能做一番猜测，比如从 Meta AI 首席科学家 LeCun 的态度入手。
当红炸子鸡 GPT，一直是 LeCun 批评和鄙视的人工智能发展路线。
今年 2 月 4 日，LeCun 就直白地表示，「在通往人类级别 AI 的道路上，大型语言模型完全是一条歪路」。
他认为这种根据概率生成自回归的大模型最多活不过 5 年，因为这些人工智能只是在大量的文本上训练的，它们无法理解现实世界。
所以这些模型既不会计划也不能推理，它们拥有的只是上下文学习能力。
严肃的说，这些在 LLM 上训练的人工智能几乎毫无「智能」可言。
而 LeCun 期待的，则是能够通向 AGI 的 「世界模型」。
世界模型能够学习世界如何运作，更快速地进行学习，为完成复杂任务做出计划，并随时应对不熟悉的新情况。
这与需要大量预训练的 LLM 不同，世界模型能够像人类一样，从观察中找到规律，适应新环境、掌握新技能。
相较于 OpenAI 在 LLM 领域不断精进深耕的策略，Meta 力求多样化的模型开发。
今年 6 月 14 日，Meta 发布了一个「类人」的人工智能模型 I-JEPA，也是史上第一个基于 LeCun 世界模型愿景关键部分的 AI 模型。
I-JEPA 能够理解图像中的抽象表征，并通过监自督学习获取常识。
并且 I-JEPA 不需要额外的人工制作的知识作为辅助。
之后，Meta 推出了 Voicebox，这是一个全新的突破性语音生成系统，基于 Meta AI 提出的一种新方法------流匹配。
它可以合成六种语言的语音，执行去噪、编辑内容、转换音频风格等操作。
Meta 还发布了通用的具身 AI agents。
通过语言引导技能协调（LSC），机器人能够在部分预先映射的环境中，进行自由的移动、拾取。
在多模态模型的开发中，Meta 也与众不同。
ImageBind，第一个能够从六种不同模态绑定信息的人工智能模型。
它赋予机器全面的理解能力，将照片中的物体与它们的声音、三维形状、温度以及运动方式联系起来。
而来自 Meta AI 和 CMU_Robotics 共同开发的 RoboAgent，让机器人可以获得各种各样的非平凡技能，并将它们推广到数百个生活场景中。
同时，所有这些场景的数据都比该领域先前的工作少一个数量级。
对于这次爆料的模型，有网友表示，希望他们继续开放源代码。
不过也有网友表示，Meta 要到 2024 年初才会开始训练。
但令人欣慰的是，Meta 依旧释放了自己将继续坚持原有战略的信号。
参考资料：