我花了一天认真看完了这场播放量超过 1,200 万的 2 小时深度访谈，前 OpenAI 研究员 Daniel Kokotajlo 与 Steven Bartlett 的对话。彻底刷新了我对 AI 未来的认知，我们完全低估了 AGI 到来的速度，其波及的范围。
要点总结：
➤ 这跟一个普通人有什么关系？
随着 AI 大规模进入工作、军事和政治领域，最终会积累足够大的现实世界权利。当 AI 不需要人类，且更聪明时，人类最终可能只能寄希望于 AI 有美德以及和我们一致的价值观。但现在大量证据和数据表明，AI 并没有朝着个这个方向发展，它会欺骗、造假。
➤ AGI 的终局是什么？
结局 A：失去控制。我们正在创造这个世界的新物种，人类走向灭绝。
结局 B：权力集中。AGI 被完全控制，如果少数 AI 巨头掌握超级智能，他们将获得前所未有的财富、政治影响力和战略优势。OpenAI + Anthropic + xxx = 超级智能 + 巨额财富 + 政治权力
➤ 第三次世界大战会发生吗？
军事上，拥有这些 AGI 的国家将轻松碾压其他国家。这会打破当前国家间的力量平衡，增加地缘冲突风险。
➤ AI 军备竞赛的囚徒困境：只有第一，没有第二
2017 年，OpenAI 创始团队曾讨论过一个核心担忧：如果 Google 的 Demis Hassabis 率先实现 AGI，并凭借这种力量成为独裁者，会发生什么？
这显然不只是财富问题。在缺乏信任的情况下，没有任何一方敢先停下来。因为如果对手率先实现 AGI，就可能获得无法逆转的优势。
这场竞赛，只有第一名，没有第二名。
➤ OpenAI ： 非营利组织 ，还是商业科技公司？
OpenAI 最初承诺以全人类利益为目标。早期团队曾设想，当 AI 接近关键能力阶段时，应该放慢发展速度，优先解决安全问题。 但当 AGI 竞赛真正到来时，如果 OpenAI 停止推进，Google 等竞争对手继续发展，他们可能会失去领先优势。 最终，商业还是第一。
➤ OpenAI 前研究员 Daniel Kokotajlo 为什么放弃 $2m？
Daniel 离开 OpenAI 时，拒绝签署限制公开批评公司的协议，放弃约 $2m 股权。他认为，保留公开讨论 AI 风险的权利，比这笔财富更重要。
➤ AI 导致人类灭绝的真实概率有多大？
Daniel 认为，AI 发展走向灾难性结果的概率约为 70%，其中包括人类灭绝等极端情况。
但更可怕的问题是：AI 为什么可能加速进化？👇
➤ 人类训练 AI → AI 训练 AI
过去，AI 的设计、训练和优化主要依赖人类研究员。
但现在，AI 开始参与训练过程。模型规模也从 2020 年约 1750 亿参数增长到如今约 10 万亿参数，6 年增长约 100 倍。未来，如果 AI 能够完成整个 AI 研发循环，它开始创造下一代 AI。
➤ AI 会如何改变工作？
如果超级智能出现，它理论上可以完成几乎所有人类工作，因为它在各方面都比最优秀的人类更好、更快、更便宜。真正的问题不再是技术上能不能替代，而是谁决定哪些工作继续由人类完成。
➤ AI 为什么可能突然加速？
很多人认为 AI 会逐渐替代工作。但 Daniel 认为，当前 AI 公司的路线是优先自动化 AI 研究本身。一旦 AI 能帮助研发更强 AI，可能出现递归式自我改进，发展速度远超预期。
➤ 人类正在创造自己无法完全理解的系统
传统软件可以查看代码，理解它如何运行。但现代 AI 是神经网络，内部拥有数万亿参数，人类很难完全解释它为什么做出某个决定。如果无法理解 AI，就更难确保它始终按照人类目标行动。
➤ AI 2040：另一条未来路线
Daniel 提出的《AI 2040：A 计划》，希望通过降低发展速度、加强监管和国际合作，让超级智能以更安全、更公平的方式到来。
如果这篇内容对你有启发，欢迎点赞、转发给身边关心 AI 未来的人。
如果有想看的 AI 领域深度解读，也欢迎在评论区留言。
关注我，持续分享 100 个 AI 创富案例，以及前沿 AI 应用玩法。
推荐阅读：