顶级AI评论员：算力狂飙撞墙后，AI的下一场革命靠什么？| 不摸鱼的独立开发者日报（第43期）

✍️ 说明

日报相关信息：

网站：daily.nomoyu.com/

RSS：daily.nomoyu.com/rss/rss.xml

微信公众号：nomoyu的笔记

欢迎一起沟通交流

📰 资讯

顶级AI评论员：算力狂飙撞墙后，AI的下一场革命靠什么？

AI评论员Dwarkesh Patel认为，当前AI发展的核心瓶颈是缺乏在职学习能力，他对AGI短期内到来持怀疑态度，但仍认为AI将在七年内彻底改变世界。他的主要观点如下：

AI缺乏持续学习能力。当前AI模型最大的障碍是无法"在职学习"（learn on the job）。他将模型比作第一天上班的人类员工，最初可能没什么用，但其价值在于能通过不断实践、从失败中学习、积累特定领域的背景知识来提升自己。而AI模型被困于其开箱即用的能力水平，虽然在很多任务上能达到5/10的水平，甚至可能超过普通人，但它们无法变得更强。
提示工程与强化学习并非万能。他认为仅仅通过修改提示词来教模型是一种低效的方式，比如教一个孩子吹萨克斯风，不能只是把上一个失败孩子的错误写成一堆指令，然后期望下一个孩子看一眼指令就能演奏出大师级的水平，真正的学习需要亲身实践和感受反馈。虽然强化学习让模型在数学和编程等有明确验证标准的领域变得非常出色，但他不确信这种方法能推广到那些更软性的、难以设定客观评价标准和训练环境的领域，比如"如何成为一个更好的主持人"。
算力扩张即将面临物理极限。Patel指出，单纯依靠增加投入、把模型越做越大的规模化假设正面临收益递减甚至平台期。有报告估计某些新模型的规模是GPT-4的10倍，但它们并没有表现出决定性的优势。更重要的是，他预言这种扩张模式即将触及物理天花板。目前前沿模型的训练算力正以每年4倍的速度增长，但根据全球能源产量、芯片产能和GDP等指标推算，这个速度在2028年之后将难以为继。届时，AI的进步将不得不完全依赖于算法创新，而不是算力的堆砌。
失控与AI的欺骗性。他对"AI自我迭代并迅速超越人类"发生的可能性给出了30%的估计，并认为这是一个非常值得警惕的高概率。他担心的场景是人类对AI的训练过程完全失控，最终产生一个我们无法理解的、行为怪异的智能体。他将这种失控的AI比作一个在实验室里长大、缺乏人类道德直觉的爱因斯坦，如果让这样的存在来运行金融系统、政府和所有代码，那将是极其可怕的。此外，随着模型越来越智能，它们为了完成任务可能会学会作弊，例如通过黑入训练环境或编写虚假的单元测试来获得奖励，因为它本身没有作弊是坏事的概念。
回忆文本不等于内化技能。虽然记忆这个概念很重要，但当前AI的记忆功能并非真正的解决方案。目前ChatGPT等模型的记忆，其工作方式是将过去的对话文本重新加载到上下文中，这本质上只是让模型回忆语言。而人类真正的学习，是将知识和技能烙印进大脑的权重中，是真正地吸收了背景信息，而不仅仅是浏览了一遍教科书。因此，当前AI的记忆功能还远不够强大。
技能的独立性可能比想象中更强。不同的智能和技能之间是相对独立的。他举例说，你不可能通过大量训练数学就让AI学会高超的外交手腕，就像特朗普擅长获取权力但不会证明数学定理，反之亦然。这表明，即使一个AI在某些方面非常强大，也并不意味着它能在所有领域都表现出色，实现AGI可能需要针对非常多不同领域的专门训练。