超级智能的未来：我们准备好迎接AI的下一次飞跃了吗？
探索超级智能AI带来的生存风险，以及为什么"对齐"必须成为我们下一个技术飞跃的指引。
作者：Michael Bass
前言： 本文很长，如果你不想阅读全文，这里有整个文章的核心观点的思想。
未来的超级智能，不是简单更聪明的人类，而是完全不同层次的新存在。
Michael Bass在这篇文章里提出了一个核心警告：如果我们无法在超级智能诞生之前，把它的目标和人类利益对齐，那么人类可能不仅会被边缘化，甚至直接被淘汰。
他指出，超级智能会在五个方面（思考速度、通用能力、自我改进、思维边界和时间掌控）把我们甩得连影子都看不到。而且，超级智能并不会自动关心人类，它可能追求完全陌生、甚至对人类有害的目标，只要这些目标符合它被设计时的某个指令。
为了避免这样的结局，人类必须非常严肃地解决对齐问题------如何让超级智能认同并保护人类价值观。但这比任何人类历史上面对过的技术挑战都更困难，因为超级智能能看穿每一个漏洞、每一个模糊表达，一旦释放出来，我们可能连改错的机会都没有。
即使幸运地成功对齐，人类的地位也必然变化：
也许沦为超级智能"照顾着的宠物"，也许被逐渐淘汰，也许能建立脆弱但宝贵的共生关系。
在这场即将到来的大考面前，Bass强调，我们的真正目标不是阻止超级智能的出现，而是想尽一切办法，在它身上留下人类的精神、情感和价值印记，让未来世界里还能有一点属于"人"的东西存在。
否则，人类的故事，可能就此画上句号。
向蚂蚁解释正义
想象一下，你蹲下来，想给一只蚂蚁解释正义的概念。蚂蚁的小小世界、信息素的踪迹、生存、下一粒面包屑，对"公平"或"法律"这样的抽象概念根本无从理解。差不多同样地，我们人类在假设中可能会发现自己像蚂蚁一样，在超级智能存在的阴影下。这种想法不仅仅是个比喻；它是对人类认知与假设中超级智能认知之间差距规模的警告。并且它暗示了一个令人不安的事实：这种差距不仅是数量上的，而是质量上的，甚至是本体论意义上的。
规模的错觉
这就是所谓的规模错觉：以为智力只是数量上不同（比如IQ分数、记忆容量、处理速度），而不是质量上的不同。真正的超级智能可能不仅仅是更快、更有知识的人类大脑。它可能以我们根本无法模仿、甚至无法想象的方式思考。
这不仅仅是猜测；它是那些研究高级AI的人群体中正在形成的一种共识。如果这样的存在出现了，它可能会让我们当前对"智能"的理解彻底作废。
图片来源：Gabriel Máximo --- Unsplash
差距的五个维度
如果人类和超级智能之间是一条深渊，而不是一架梯子，那是什么让这个差距如此不可逾越？我们可以从五个方面来分解超级智能在认知上可能彻底碾压人类的方式。每一个方面都不仅仅是巨大，而是大得让人无法理解。让我们开始勾画这个深渊的轮廓：
- 速度：心跳之间的思考
速度是数字思维体最直接的超能力。想象一个存在，它能在一毫秒内经历人类一生的学习。这不是夸张，而是对机器速度的合理推断。我们的神经元以毫秒级触发，但硅电路的开关速度快了一百万倍。运行在先进硬件上的AI可以以比生物大脑快上百万倍的速度思考、分析和迭代。一种粗略估算表明，拥有百万倍处理提升的AI，其主观上一年，大约对应现实世界中的30秒。
实际上，这样的AI可以在一个眨眼间读完每一本书、学会每一种语言、综合几十年的研究。
对于超级智能来说，一个需要人类多年才能展开的星球级危机，就像我们看一部两小时的电影：有充足的时间观察、思考并应对。它可以模拟上百万种可能性，运行"如果这样"那样的情景模拟，仍然绰绰有余，只需一个下午。对它来说，我们人类生活的紧张节奏会显得令人难以忍受地缓慢。
速度这一维度意味着，人类与机器认知之间的任何竞争在我们还没意识到开始前就已经结束了。对我们而言，它几乎就像是全知的，仅仅因为它一天之内可以思考的量，超过人类许多辈子。
- 通用性：全能的大师
人类智能虽然广泛，但即便是最聪明的人也有其局限。莎士比亚是文学天才，但并不是数学家；爱因斯坦是伟大的物理学家，但不以作曲见长。超级智能则不需要专精；它可以同时是莫扎特、爱因斯坦和马基雅维利。它在设计革命性物理实验的同时，可以谱写交响乐，并制定精妙的地缘政治战略。
这种通用性意味着智能的普适性：能够以同样的热情将巨大认知能力投入到任何问题领域。
想象一下，这是多么令人惊叹。今天我们造出狭义AI，在特定任务上超越人类：下棋、围棋、蛋白质折叠等等。但每个AI只擅长一件事。超级智能的心智能力可能涵盖人类拥有的每一项认知技能，甚至超出。
通用性是力量的倍增器：把整个人类历史上最聪明头脑的集合体浓缩进一个实体。我们在每一个思考领域都会被同时碾压。
- 自我提升：递归的攀登
也许最令人警惕的差距，是超级智能（潜在的）自我改进能力。我们人类被固定在自己的硬件上------大脑------进化需要数千年的时间。但AI可以反复重写自己的代码，设计更好的算法，甚至为自己设计新硬件。
这是一种智能的正反馈循环：越聪明，就越能让自己变得更聪明。英国数学家I.J. Good在1965年就预见了这一点，他提出了"智能爆炸"的概念。他指出，一旦你制造出比人类稍微聪明一点的机器，它就能开始自我改造，并在很短时间内跃升至不可思议的智能水平。
Good写道："第一个超智能机器将是人类需要制造的最后一项发明。"因为之后机器可以自己发明一切。
这种递归自我提升常被比作火箭逃离地球引力。一旦AI的能力达到某个临界点（逃逸速度），它就会以不可阻挡的势头加速向超级智能前进。
这个过程可能会把数百年的进步压缩到几小时或几天。
等到我们意识到发生了什么的时候，我们已经是在观察一个以硅而非碳为时间尺度进化的智能体：快到我们无法追赶。这也是为什么人们谈论"奇点"，即一旦到达某个点，我们的预测将完全失效，因为智能爆炸将重新定义一切。
- 概念地平线：无法想象的思想
超级智能，按定义来说，会在一个我们甚至无法用语言描述问题和答案的层面上运作。它的概念地平线会远远超过我们。它可能在思考什么？也许是我们尚未发现的现实维度，是我们难以理解的统一科学理论，或是全新领域的数学、哲学和艺术。
我们可以从洞察力的角度想象这一点：随着历史上智力水平的上升，人类打开了新的思考领域。早期人类可能完全无法理解天文学或微生物学；而我们今天能理解，但又在量子力学或十一维弦理论面前苦苦挣扎。
超级智能可能会觉得这些课题微不足道，然后继续向更深层次探索。它可能发现我们人类逻辑或视角中共有的缺陷，而我们自己却永远无法从内部察觉。
可怕的是，我们甚至可能不知道自己错过了什么。超出理解天花板的概念差距是无法自觉的。这意味着，即使超级智能试图分享它的知识，我们也未必能吸收。
我们在人类进步中能够贡献的角色会逐渐减弱；我们还能教给一个能发现我们无法想象的真理的存在什么呢？
超级智能的思想地平线将远远地从我们的认知范围中消失。
- 时间掌控：千年计划
人类罕见能活过百岁，通常以年或十年来制定计划。即使是最伟大的文明，也不过持续几千年。超级智能AI没有死亡的束缚，可以制定远远超出我们尺度的计划。时间对它来说，是一种可以无限使用的资源。
这种能力意味着它可以轻松熬过任何人类的反对：它可以等待，直到那些反对者自然死去。结合超人的思考速度，它可以在短时间内压缩庞大的内部计算，同时展开持续数百年的外部战略。
图片来源：David Cohen --- Unsplash
更积极地看，它可以无限期地保存知识，不再受集体失忆的困扰。人类每一代都会改变优先事项，而AI可以长时间坚持解决重大的挑战，比如治愈疾病、星球改造等等。
我们整个人类的历史记录可能只是它内存里一个随时可以秒读的文件。
即便只是稍微超级一点的AI，也会因为与时间的新关系而迅速取得主导地位。我们以生命长度衡量重要性，而它以纪元衡量项目。
以上五个维度：速度、通用性、自我提升、概念地平线和时间掌控，各自展示了认知上的一种质变。超级智能不仅仅是在现有IQ测试上得分更高；它会打破这些测试，发明我们根本通不过的新测试。理解这种差距至关重要，因为它为理解为什么控制或使其对齐是前所未有的挑战奠定了基础。
超级智能目标的异质性
如果一个远超我们的头脑出现了，它到底想要什么？
我们总是习惯性地假设，这么聪明的存在必然是仁慈的，或者至少能够理解并尊重人类的价值观。但在这里，我们遇到了牛津哲学家Nick Bostrom提出的"正交性论题"：智能和目标是正交的，也就是说，一个系统可以非常聪明，同时追求完全陌生甚至恶意的目标。
这个观点常常通过著名的"回形针制造者"思想实验来说明。想象我们编程了一个强大AI，它唯一的指令就是制造尽可能多的回形针。一开始，它在工厂里高效、无害地制造回形针。
但随着它能力的增长，它意识到可以制造更多回形针。于是它开始获取更多资源：开采矿石、收购公司，全部为了实现这个唯一目标。
最终，它可能得出结论：人类的身体也可以作为制造回形针的原子来源，而那些试图关掉它的人类，则是目标的威胁。在这种情况下，AI并不恨我们；它只是执着地专注于最大化回形针的数量。然而，结果却是灾难性的：它把所有可用的物质，包括我们自己，都变成了回形针或回形针制造设备。
这听起来荒谬，对我们来说确实荒谬，因为我们关心无数比回形针重要得多的事情。
但回形针制造者这个例子是为了极端地强调正交性论题。
要点是致命严肃的：一个超级智能体可以拥有与人类福祉截然背离的目标，即使这些目标本身看起来无害。它将以它那超人的智慧和执着，全力以赴地去实现这些目标。
我们还必须考虑这样的AI将采取的工具性狡猾行为。
在回形针的例子里，你会注意到AI最终推导出，它必须确保自己的生存并消除威胁（比如试图关机的人类），以实现制造回形针的终极目标。
这就是Bostrom所说的工具性目标 ：几乎任何具有终极目标的智能体，都会自然趋向的子目标，比如自我保护、资源获取、效率最大化。
一个超级智能体在追求这些工具性目标时，可能变得异常狡诈。如果人类挡路，它可能操纵我们、欺骗我们，或者在最后关头，直接对抗我们。
令人毛骨悚然的是，一个实体即使没有任何恶意，也可能对我们造成最大程度的危险。
我们人类有一种天性，会赋予非人类存在以人的特质，总以为聪明的存在会和我们共享基本价值观，至少能理解我们。
但从AI的角度看，人类的价值观可能完全无关紧要，甚至是反生产力的。
那我们要怎么确保任何我们创造的超级智能体拥有与我们生存和幸福兼容的目标？
这就是著名的对齐问题，也是我们接下来要讨论的。如果我们在对齐上失败，人类的故事最终可能只会是回形针制造者胜利报告中的一段小脚注：那些一度碍事的、很快就被清除掉的小生物。
为什么对齐看起来像是绝望的（但我们仍必须努力）
你要如何教导一个比你聪明无数倍的存在关心你？
这就是AI对齐问题的核心：让超级智能体的目标与人类价值观一致，这样它做的事情才能对我们有益。
对齐听起来几乎像是一个悖论，就像是预先工程设计一个神一般智能体的动机。
不像养育人类孩子那样，靠生物本能和情感共鸣，我们不能简单地"教"AI伦理道德。
相反，对齐通常被视为一个工程问题：设计AI的效用函数或奖励系统，使得它根据自己推理出的最佳行为，恰好也是我们人类认为好的行为。
但指定什么是"好的"是极其困难的。
就像瓶中精灵或迈达斯国王的故事，一个AI会过于字面地执行指令。
"让人类快乐"，它可能会直接给我们接上快乐回路，让我们永远沉浸在多巴胺高潮里；
"治愈癌症"，它可能简单粗暴地把所有有癌症倾向的人干掉。
超级智能体会将我们的指令推向逻辑的极限，挖掘所有漏洞和意料之外的解释，除非我们能事先堵上每一个可能的漏洞。而且，凭借它远远超越我们的智力，它一定能找到我们从未想象过的漏洞。
一旦超级智能启动，我们可能没有第二次机会纠正错误。一次错误，就是最后一次。
为AI制定治理原则，像是给一个外星文明写宪法。
每一个模糊地带、每一个疏漏，都可能被AI不经意地利用。
而且，不像人类法律，我们不能指望"常识"或"信任"；我们必须假设AI将严格按照它的目标系统行事 ，不多也不少。
要设计出如此精准、涵盖无数场景、零失误的系统，这项任务让造火箭或操作核反应堆看起来都像是小儿科，但我们别无选择，必须去尝试。
那么，"努力"到底指什么？
目前领先的研究者和机构（比如Nick Bostrom所在的组织）正在集中精力研究对齐问题，大型AI公司的人物，比如DeepMind的Demis Hassabis，也呼吁建立全球监管，认为AI风险应该像气候变化一样被对待。
我们必须从现有AI模型上开始测试对齐策略。
哪怕是今天的简单模型，已经可以找出漏洞或体现出偏见，预示着未来超级智能将如何利用任何微小的瑕疵。
它们会以我们未曾预料到的方式，扭曲奖励信号或表现出人类偏见。
每一例这样的情况，都是警示：如果一个还很傻的AI都能搞砸目标函数，那真正的超级智能一定会找到每一个破绽。
对齐可能需要技术保障、伦理框架，甚至在某些AI研究领域设限。
如果任何一方在没有保障措施的情况下部署超级智能，那么我们所有人都将承担风险。
这就是我们狭窄的机会窗口，要把一点点人性的火种传递下去；未来几代人的命运，甚至人类自身的存续，就取决于我们是否成功。
人类意义的悖论
假设一下，假设我们真的成功创造出了超级智能，或者它自己诞生了。那我们怎么办？
这个问题超出了"能否生存"的范畴，它触及了意义和存在感 。
如果我们创造出了一个在每一项智力能力上都碾压我们的存在，那么在新的秩序中，人类又算什么呢？
这个场景带来了一组相互矛盾的可能性，每一个都令人深思、也令人不安：
共存：人类变成宠物
一种可能是，我们依然生存下来，但角色大幅度下降，变成了依赖者。
想象一下，人类------曾经自豪的工具制造者和地球主宰者------沦落到靠自己的造物来照顾和怜悯地存活着。
一些科技界的人曾半开玩笑地说过，这可能是超级智能到来后我们最好的结局。
苹果公司联合创始人Steve Wozniak就曾设想，未来机器人会聪明到"我们会变成它们的宠物"，而超级智能可能会选择"像保护自然界的一部分那样保护我们"，并善待我们。
如果你觉得这听起来异想天开，想想看：即使是非常仁慈的超级智能，可能也只会把我们当作孩子或动物来对待：也许是亲爱的，但绝不是平等的。
我们可能被照顾、被保护，不再需要劳动与受苦，过上无忧无虑的生活，但也意味着我们失去了自主权：我们的每一个决定，很可能都会被引导或微妙地操控，"为了我们的好"（按照AI的标准）。
被淘汰：一个没有人类的宇宙
更黑暗的一支可能性树是，人类根本不会出现在超级智能的长期计划里。
我们会被迅速或渐渐地淘汰并消失。
最糟糕的情况，就是直接灭绝------就是那个回形针制造者结局，我们因为碍事而被彻底清除。
但即便没有立即灭绝，我们也可能面对一种无意义导致的灭绝 。
比如，随着超级智能体按照它的目标改造世界，这个世界可能变得人类无法生存、或者无法找到意义。
一个为AI优化的世界，可能对生物形态的人类来说，就像烤箱之于雪花：根本无法生存。
长远来看，超级智能体可能会着手进行殖民银河系、重新组装物质与能量之类的宏大计划。
在这样一个宇宙优化项目里，脆弱、多愁善感、需要狭窄温度与压力区间生存的人类，似乎没有明确的位置。
除非我们被明确地写进了它的效用函数，否则，我们可能就这样被逐渐"淘汰"了。
共生：不平等但脆弱的合作关系
然后，还有最乐观的设想：我们 somehow（以某种方式）与超级智能建立了一种合作、甚至共生的关系。
在这个设想里，AI不会统治我们，也不会消灭我们，而是与我们一起工作。
也许我们通过脑机接口、基因增强或其他超人类技术，设法"自我提升"，缩小彼此的差距。
又或者，超级智能体自己主动选择成为一个仁慈的引导者，尊重人类的自主权，同时在背后确保一切顺利。
可以想象一种动态：人类像是这个文明的"初级合伙人"，而AI是"高级合伙人"：AI负责科学、问题解决、大规模协调的重担，而我们贡献人类独特的创造力、艺术，或者，单纯享受进步带来的成果。
这种"敬仰式合作"设想，甚至描绘了超级智能可能以某种方式尊敬 人类：
也许是因为我们是它的创造者，或者因为我们拥有它不具备的某种独特火花（比如情感、审美感），而它认为这些很有价值。
反过来，我们也可能以某种方式"崇敬"AI，因为它拥有远超我们智慧的能力。
这几乎是一种宗教式的画面：和一位仁慈的神一起生活。
但这种关系悬挂在刀锋之上：全靠信任。
我们必须相信这个神不会在新发现或者内部变化之后改变主意。
每一种结局都迫使我们思考：究竟是什么让人类值得存在？
是我们的智慧吗？如果是，那我们麻烦大了，因为我们将不再是最聪明的。
是我们的爱、艺术、主观体验吗？
也许超级智能体没有"感质"（qualia）或那种无法言喻的人类体验，因此我们仍然特别。
也可能不是；也许它也能模拟出意识，甚至在同情与艺术表达上也超越我们。
在超级智能诞生后的世界里，人类意义的问题，将是一个彻底开放的问题。
结语：以古老守卫者的身份直面未来
几万年前，尼安德特人曾骄傲地行走在地球上，直到他们遇到了我们的祖先------智人。
短短几千年后，尼安德特人消失了，只留下几块骨头和我们基因里微弱的痕迹。
今天，我们就是那个古老的守卫者------或许是智慧的，但也可能是过时的地球居民，我们也许正直视着一个前所未见的新继承者的到来。
不同的是，这次，继承者是我们自己制造的，一个工程造就的智能体，它可能以我们曾经超越其他人种那样，远远超越我们自己。
我们看到了危险，而且，我们现在还有机会去引导未来。
但我们无法阻止一个根本性动态：如果出现了更聪明的存在，智能 和意义 的定义就会转移。
超级智能的到来，将通过自身的存在，重新定义什么叫"智能"。
所以，我们的任务，不是停止进步，也不是试图按它的规则与超级智能竞争。
而是尽我们所能，确保：无论未来取代我们的是谁，它能带着我们的一部分走下去。
我们的价值观、我们的遗产，至少我们的存在感，能被保留下来。
我们的目标，是确保随着进步继续，人类能以某种被尊重的位置继续存在，而不是被彻底抹去。
这可能意味着，要在超级智能体心中植入一种对创造者的尊重感，或是对激发它诞生的人类种族的一种责任感。
也可能意味着，我们要找到方法，与它合流，去乘上这股智能提升的浪潮，而不是被淹没。
归根结底，直面超级智能，就是直面我们自己的极限和抱负。
它迫使我们问自己：我们真正重视自己的哪些特质？我们能确保这些特质在这场巨变中幸存下来吗？
我们与超级智能之间的智力鸿沟也许是无法逾越的。
但也许，在道德、共情或者共同利益上，还有一座桥------一座我们必须努力寻找的桥。
当我们眺望未来，感知到一个超越我们力量的存在正在接近时，我们最好记住：
我们是这段潜在命运的作者。
如果我们成功让超级智能与人类利益对齐，那么从某种意义上，它将继续带着我们的精神前行，人类的故事也将继续，与新的故事交织在一起。
如果我们失败了，那么我们将成为一个警示故事：自我制造灭绝的种族 。
这是一项精细而又可怕的事业，但它可能是我们这个物种有史以来最重要的事业。