关于GPT5训练失败的思考

作者:姚广

https://zhuanlan.zhihu.com/p/718513570

1. 大模型:AI仍是硅谷的热门话题,但不如去年狂热

硅谷对AI的关注依然持续,但热度有所降低,主要原因是大模型扩展速度的放缓,尤其是训练算力需求的下降。大约3-4周前,谷歌内部在训练Gemini下一代模型(比上一代大10倍,类似GPT-5)时,两次尝试都失败了。这也解释了GPT-5的发布延迟。

目前,硅谷普遍认为,在LLM层面,进一步扩大模型规模变得更加困难,主要是因为:

  • MOE(混合专家模型)后的后期训练效果不佳,模型难以收敛

  • 数据瓶颈:合成数据的质量远不如互联网搜集的数据

因此,不排除GPT-5继续延期的可能性。

思考一:

在日常使用GPT-4的过程中,我发现其输出在许多场景下已经非常接近"完美"。这里的"完美"并不意味着通用人工智能(AGI)已经实现,而是在现有系统形态下,基于有限的信息给出的回复,已接近理论上应该有的最佳回答。

许多问题之所以没有得到满意的答复,主要是因为输入的信息不足。

思考二:

虽然模型拥有强大的上下文处理能力,在搜索和总结类场景中表现出色,但在复杂推理场景中,我们不能期望现有技术能实现长上下文的复杂推理。

现有模型更像是一种"快速思考"系统,对于涉及多阶推理、前后信息对比、路径探索和经验积累等复杂任务,不应期望其能在内部完成。COT(思维链)的应用实际上表明推理是外部化的,而"慢思考"应通过Agent架构来实现。

思考三:

对于一些问题,比如精确的数学计算,不应期望现有模型直接解决。对人类来说,简单的计算依赖记忆,而稍复杂的计算(如心算)则是一种逻辑推理与记忆的结合过程。因此,大模型使用工具进行计算是合理的解决方案。

思考四:

"压缩即智能"是一个有趣的观点,但人类最高层次的智能,比如物理理论,并不是通过简单的归纳和压缩得出的。压缩是一种归纳方法,例如,如果给大模型提供各种物体自由落体的视频,它可能得出"重的物体下落更快"的错误结论。

真正的智能需要推理、假设和实验支持,而不仅仅依赖于数据压缩和归纳。

总结:

如果现有的大模型无法解决你手头的问题,问题真的是因为模型不够智能吗?还是我们需要的是更好地理解如何利用工具和方法来解决问题,而不是一味追求更大参数的模型?

相关推荐
Tianyanxiao3 分钟前
如何利用探商宝精准营销,抓住行业机遇——以AI技术与大数据推动企业信息精准筛选
大数据·人工智能·科技·数据分析·深度优先·零售
撞南墙者10 分钟前
OpenCV自学系列(1)——简介和GUI特征操作
人工智能·opencv·计算机视觉
OCR_wintone42111 分钟前
易泊车牌识别相机,助力智慧工地建设
人工智能·数码相机·ocr
王哈哈^_^33 分钟前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
一者仁心39 分钟前
【AI技术】PaddleSpeech
人工智能
是瑶瑶子啦1 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
EasyCVR1 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台(ISUP)接入EasyCVR不在线如何排查?
运维·服务器·网络·人工智能·ffmpeg·音视频
柳鲲鹏1 小时前
OpenCV视频防抖源码及编译脚本
人工智能·opencv·计算机视觉
西柚小萌新1 小时前
8.机器学习--决策树
人工智能·决策树·机器学习
向阳12181 小时前
Bert快速入门
人工智能·python·自然语言处理·bert