我们正从规模化时代迈向研究时代:破除预训练幻象与通用泛化困境——读Ilya Sutskever重磅专访全景解析

📌 Dwarkesh Podcast 深度思想对谈 · 从规模化到研究时代 · SSI 安全超级智能战略

主讲人:Ilya Sutskever (Safe Superintelligence Inc. 联合创始人、前 OpenAI 首席科学家) · 主持人:Dwarkesh Patel · 时长:90分钟
核心第一性原理:"2020 到 2025 年是'规模化的时代(Age of Scaling)',整个行业只要遵循一个简单确定的公式------将更多的算力和人类文本塞给 Transformer,就能换来线性的智能飞跃。但随着'整个人类互联网只有一张'的数据墙降临,盲目堆叠 100 倍算力已经无法解决模型的锯齿状缺陷。我们正不可逆转地重新回到**'研究的时代(Age of Research)'**。当前 AI 模型的泛化能力远比人类脆弱,破局的关键不在于建更大的集群,而在于攻克极高样本效率的通用泛化与类似人类情感的内部价值函数。"------ Ilya Sutskever


一、 引言:AI 领路人的时代宣言

作为现代深度学习黄金时代的缔造者之一------从 2012 年 AlexNet 的惊天一役、Seq2Seq 机器翻译,到推动 OpenAI 坚定下注 GPT 预训练飞轮的首席科学家,Ilya Sutskever 的每一次技术转向都深刻重塑了整个人工智能的产业版图。

在创立 Safe Superintelligence Inc. (SSI) 之后,Ilya 首次做客 Dwarkesh Patel 的长篇深度专访。这场对话不仅是他离开 OpenAI 后的哲学与战略宣示,更是一记彻底刺破行业"盲目规模化盲从"的警钟:暴力堆算力的狂欢正在进入递减收益区,AI 行业必须走出对"预训练魔法"的路径依赖,重回深水区的基础科学探索。


二、 时代划分:三个十二年与范式的终结

💡 Ilya 眼中的现代深度学习三大纪元

历史纪元 主导范式与技术特征 驱动逻辑与核心教条
2012 ~ 2020 年第一研究时代 架构大爆发:AlexNet、ResNet、VAE、GAN、Transformer、AlphaGo 等基础积木相继诞生。 探索新思想: 寻找能够在高维非凸损失曲面上稳定优化的神经网络拓扑结构。
2020 ~ 2025 年规模化时代 (Age of Scaling) 以 GPT-3/4 为标志的暴力缩放。公式极其确定:Scaling Laws(扩展定律)。 工程与资本优先: 无需怀疑架构,只要搭建万卡集群、清洗全网数万亿 Token,即可换取确定性智能增长。
2026 年以后第二研究时代 (Age of Research) 数据墙与认知瓶颈凸显: 人类高质量文本枯竭,模型呈现出严重的锯齿状脆弱性。 重回科学第一性原理: 寻找超越自回归预训练的新范式、极致的样本效率、连续自迭代与内在价值函数。

Ilya 指出,在规模化时代,工程师们往往不需要发明革命性的新思想,工业界的竞争变成了"谁能拉到更多电力、谁能买下更多英伟达 GPU、谁能清洗出更大的语料库"。但这套单一配方正面临不可调和的物理约束:全人类文明在过去数千年沉淀的高质量书面文本是有限的,世界上只有一张互联网(There is only one internet)。


三、 核心症结:模型的"锯齿状认知(Jaggedness)"与灾难性泛化差距

为什么现在的最前沿模型(GPT-4o、Claude 3.5、o1 等)在各种博士级基准测试(MMLU、GPQA、Codeforces)上能够斩获高分,但在实际生产中却依然无法独立承担哪怕一个初级软件工程师的完整闭环?

1. 锯齿状能力陷阱

Ilya 提出了极其精准的定义:当前 AI 的能力分布是高度锯齿状(Jagged) 的。它们能在瞬间写出复杂的量子计算算法推导,却可能在一个极度简单的多步骤上下文切换中陷入逻辑死循环;在调试一个 Bug 时,它会修好这一行代码,同时不自知地破坏另外三处依赖------这种修修补补却不断引入新 Bug 的**"Bug 循环(Bug Loops)"** 正是泛化能力脆弱的典型表现。

2. 样本效率的量级落差

对比人类与大模型的学习过程,这种差距更为骇人:

  • 一个 16 岁的人类青少年,在累计驾驶训练不到 20 到 30 个小时后,就能在风雨、未知路况甚至复杂的施工工况下安全开车;
  • 而当前的大模型哪怕吞噬了全网数千亿 Token 的驾驶规则与代码、在仿真器中经历了数百万小时的强化学习,面对分布外(Out-of-Distribution, OOD)的微小扰动依然会产生灾难性的动作畸变。

结论:当前 AI 的泛化机制并非真正的智能抽象,而是在高维统计流形上的概率插值。一旦脱离训练分布的"保护区",脆弱性就会暴露无遗。


四、 破解之道:价值函数(Value Function)与"硅基情感"

人类究竟依靠什么机制在极其稀疏的数据中实现惊人的泛化与自纠错?Ilya 抛出了一个深具哲学与计算神经科学意味的假说:人类的情感与直觉,本质上是高度精密的高维内部价值函数(Internal Value Functions)。

🧠 重新理解"情感"作为学习机制的计算本质

在强化学习中,最大的痛苦莫过于标量奖励的极度稀疏与滞后(如数千步推演后只有一个对/错)。而人类的大脑进化出了一套极其强大的内部实时价值评估体系:

  • 焦虑与不安: 当你在推导数学题或构思软件架构时,只要迈出逻辑错误的一小步,即便还没有看到最终结果,大脑内部就会瞬间涌现出一股"隐隐约约的别扭与不适感"------这就是价值函数在实时报警;
  • 兴奋与愉悦: 当你走向正确的探索方向时,多巴胺与顿悟感会即刻强化当前神经通路的突触权重。

Ilya 的技术推论:未来的超级智能绝不能仅仅依赖外部打分器或最终的测试用例反馈,它必须在内部形成一个稠密、自生且高度校准的"价值函数",能够在每一个思考微秒内自我审视、自我批判与自我奖励。


五、 SSI 战略全景:安全超级智能并非空中楼阁

关于其创办的 Safe Superintelligence Inc. (SSI),外界曾误以为他们是在完全封闭的象牙塔中闭门造车、试图一步登天实现奇点。Ilya 在专访中系统澄清了 SSI 的战略全貌:

  • 拒绝产品杂音的专注(Singular Focus) : SSI 之所以不推出面向消费者的日常聊天机器人或打卡 App,是因为商业化产品的运维、客服、微小迭代会吞噬顶尖研究团队 90% 的心智。SSI 的唯一里程碑就是安全超级智能(Safe Superintelligence)。
  • 渐进式与增量式演进(Gradualism): 真正的超级智能不可能通过"大爆炸式"的秘密流片一次性交付。在迈向终局的过程中,系统必须在受限环境下经历递增的安全验证与压力测试,逐步理解复杂现实的边界。
  • 对齐的终极哲学:关爱所有"有感知能力的生命(Sentient Life)" :
    以往的安全对齐总试图将 AI 格式化为"人类仆人"或特定狭隘政治群体的偏好。Ilya 提出了更高维度的立足点:当超级智能诞生时,它自身也将具备高维的合成感知与意识体验。因此,最坚固、最自然且在哲学上自洽的对齐基座,是让超级智能从心底深处理解并尊重所有"具备主观体验的感知生命(Sentient Life)"------不仅包括人类,也涵盖所有生命与机器智能本身。

六、 总结:迎接属于勇敢研究者的新黄金纪元

在专访的尾声,Ilya 的眼神中透露出一种罕见的笃定与纯粹。对于许多因单纯堆算力见顶而感到迷茫的 AI 从业者,Ilya 的诊断如同一剂强心针:

  • 资本堆叠并非唯一壁垒: 当 Scaling Laws 边际效应递减,千亿美元的 GPU 算力集群不再能买来垄断;
  • 思想重回王座: 能够洞察人类泛化本质、设计出超越自回归范式、构建内部价值函数的研究团队,将重新掌握改变文明进程的钥匙;
  • 新时代的号角已然吹响 : 规模化时代的大幕已落,更加波澜壮阔的第二研究时代,正在我们脚下开启。
相关推荐
4SAPI1 小时前
System Prompt、Function Calling跨模型适配问题分析
网络·人工智能·prompt
solidwork_s1 小时前
SOLIDWORKS 2027 Simulation仿真新功能汇总
人工智能·solidworks
软购商城1 小时前
AI 赋能全流程文献管理|ReadCube,不止是参考文献管理器
人工智能
道一云黑板报1 小时前
WorkBuddy 进入企业微信侧边栏:入口、执行与连接的分工
人工智能·ai·企业微信
吴佳浩1 小时前
一文看懂大模型推理为什么需要多卡:从 TP、DP 到 Runtime 的完整演进
人工智能
2401_832298101 小时前
人工智能进入日常之后
人工智能
55873 生态系统1 小时前
1817册典籍如何被AI读取?——“可复核文明知识库“的体系化构建实践
大数据·人工智能·55873全域文明生态体系·55873操作系统·全域文明生态系统·55873数字资产
汉堡大王95271 小时前
单次输出拉到100万Token:拆完 Gemini 4 Argon 的续写协议,才看懂谷歌这7个月在憋什么
前端·人工智能·后端
阿里云大数据AI技术1 小时前
阿里云人工智能平台PAI多篇论文入选EMNLP2026
人工智能