关于GPT5训练失败的思考

作者:姚广

https://zhuanlan.zhihu.com/p/718513570

1. 大模型:AI仍是硅谷的热门话题,但不如去年狂热

硅谷对AI的关注依然持续,但热度有所降低,主要原因是大模型扩展速度的放缓,尤其是训练算力需求的下降。大约3-4周前,谷歌内部在训练Gemini下一代模型(比上一代大10倍,类似GPT-5)时,两次尝试都失败了。这也解释了GPT-5的发布延迟。

目前,硅谷普遍认为,在LLM层面,进一步扩大模型规模变得更加困难,主要是因为:

  • MOE(混合专家模型)后的后期训练效果不佳,模型难以收敛

  • 数据瓶颈:合成数据的质量远不如互联网搜集的数据

因此,不排除GPT-5继续延期的可能性。

思考一:

在日常使用GPT-4的过程中,我发现其输出在许多场景下已经非常接近"完美"。这里的"完美"并不意味着通用人工智能(AGI)已经实现,而是在现有系统形态下,基于有限的信息给出的回复,已接近理论上应该有的最佳回答。

许多问题之所以没有得到满意的答复,主要是因为输入的信息不足。

思考二:

虽然模型拥有强大的上下文处理能力,在搜索和总结类场景中表现出色,但在复杂推理场景中,我们不能期望现有技术能实现长上下文的复杂推理。

现有模型更像是一种"快速思考"系统,对于涉及多阶推理、前后信息对比、路径探索和经验积累等复杂任务,不应期望其能在内部完成。COT(思维链)的应用实际上表明推理是外部化的,而"慢思考"应通过Agent架构来实现。

思考三:

对于一些问题,比如精确的数学计算,不应期望现有模型直接解决。对人类来说,简单的计算依赖记忆,而稍复杂的计算(如心算)则是一种逻辑推理与记忆的结合过程。因此,大模型使用工具进行计算是合理的解决方案。

思考四:

"压缩即智能"是一个有趣的观点,但人类最高层次的智能,比如物理理论,并不是通过简单的归纳和压缩得出的。压缩是一种归纳方法,例如,如果给大模型提供各种物体自由落体的视频,它可能得出"重的物体下落更快"的错误结论。

真正的智能需要推理、假设和实验支持,而不仅仅依赖于数据压缩和归纳。

总结:

如果现有的大模型无法解决你手头的问题,问题真的是因为模型不够智能吗?还是我们需要的是更好地理解如何利用工具和方法来解决问题,而不是一味追求更大参数的模型?

相关推荐
WeeJot嵌入式23 分钟前
卷积神经网络:深度学习中的图像识别利器
人工智能
脆皮泡泡32 分钟前
Ultiverse 和web3新玩法?AI和GameFi的结合是怎样
人工智能·web3
机器人虎哥36 分钟前
【8210A-TX2】Ubuntu18.04 + ROS_ Melodic + TM-16多线激光 雷达评测
人工智能·机器学习
码银43 分钟前
冲破AI 浪潮冲击下的 迷茫与焦虑
人工智能
用户37791362947551 小时前
【循环神经网络】只会Python,也能让AI写出周杰伦风格的歌词
人工智能·算法
何大春1 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
uncle_ll1 小时前
PyTorch图像预处理:计算均值和方差以实现标准化
图像处理·人工智能·pytorch·均值算法·标准化
宋138102797201 小时前
Manus Xsens Metagloves虚拟现实手套
人工智能·机器人·vr·动作捕捉
SEVEN-YEARS1 小时前
深入理解TensorFlow中的形状处理函数
人工智能·python·tensorflow
世优科技虚拟人1 小时前
AI、VR与空间计算:教育和文旅领域的数字转型力量
人工智能·vr·空间计算