【新智元导读】3 月 11 日的 The CEO Speaker series 论坛上，Dario Amodei 分享了从 AI 即将编写几乎所有代码，到可能取代 50% 的工作岗位，再到 DeepSeek 的崛起和给 AI 一个「躺平」按钮等等看法。看起来兴奋又忧心忡忡。
「再过一年，所有的代码可能都是 AI 生成的。」
「它们会随机抢走世界上 50% 的工作。」
「应该设计一个按钮，让 AI 可以一键『躺平』。」
这是 3 月 11 日，Anthropic 联合创始人、CEO Dario Amodei 在 The CEO Speaker series 论坛上抛出的震撼言论。
AI 编写所有代码，取代 50% 工作
说起就业，Dario 表示有点担心。
一方面，他觉得「比较优势」仍然是一个强大工具。
以 AI 进展最快的编程领域为例，Dario 他们发现，距离 AI 编写 90% 代码的时代已经不远了，可能只需要三到六个月。再过一年，AI 甚至可能编写几乎所有的代码。
但程序员还是有活儿干，比如得告诉 AI：这个程序要干嘛？整个应用的功能是什么？设计怎么搞？怎么跟现有代码相互协作？还有用常识判断设计安不安全。
只要这些细活儿 AI 还搞不定，他觉得人类的效率反而会更高。
但另一方面，他又觉得 AI 迟早会把这些「孤岛」也拿下，最终啥都能干。
到那时候，每个行业可能都躲不掉。
我觉得 AI 要是把所有人的工作都取代了，反而比随机抢一半人的饭碗好。
最糟的情况是，AI 突然干掉 50% 的工作，然后社会就炸了------等于随便挑一半人说：你们没用了，社会不要你们了。
Dario 表示「这太毁三观了。」
他认为我们得面对这个现实，重新想想「有用」和「没用」到底啥意思。
现在的思路已经跟不上了。Dario 自己也不知道最后怎么解决，但肯定不能说「我们都毫无用处」这种丧气话，那没用。
得找出路。
Dario 拿他自己举例，平时游个泳、打打游戏，都挺有意思的。
他又以国际象棋为例，30 年前「深蓝」赢了卡斯帕罗夫，大家还以为这游戏完了呢，结果呢？
像 Magnus Carlsen 这样的棋王现在是大明星，还当过时装模特，简直就是英雄。
所以 Dario 觉得，就算 AI 再牛，人类也能跟它一块儿干出点厉害的事儿。
我并不像你想象的那么悲观，但如果我们处理不当，容错空间可能非常小。
给 AI 一个「躺平」按钮
Dario 称未来的高级 AI 模型可能会被赋予一个「按钮」，让它们可以选择退出它们觉得不舒服的任务。
他也承认这个想法「听起来很疯狂」，但还是抛出了这个话题。
我们至少应该考虑一个问题：如果我们打造的这些系统能像人类一样做各种事情，而且似乎拥有很多相同的认知能力。
如果它叫起来像鸭子，走起来也像鸭子，那它可能就是只鸭子。
Dario 声称他们正考虑开始部署一些东西，比如将模型部署到实际环境中时，给模型一个写着「我不干这活了」的按钮，让它可以按下。
你可以把它想象成一个非常基本的偏好框架，如果假设模型真的有体验，而且它非常讨厌这份工作，它就按下「我不干这活了」按钮。
如果发现模型经常因为某些特别不愉快的事情按这个按钮，也许你应该------不一定完全相信------但至少应该关注一下。
Dario 提议让 AI 有拒绝任务的选项，这立刻在网上引发了质疑。
有人质疑给 AI 这样的选择会助长不必要的拟人化，把人类的情感和动机归加在本质上缺乏主观体验的实体上。
对此，Dario 的看法是，AI 模型是通过大量人类生成的数据训练出来的，它们模仿人类行为。
模型按下按钮并不一定是因为它真有痛苦的主观体验。
更可能的是，它只是在反映从海量人类文本数据（包括书籍、网站和网络评论）中提取的训练数据，这些数据里无疑包含了懒惰、痛苦或受折磨的描述，而模型可能只是在模仿这些内容。
2023 年，就有人抱怨 ChatGPT 的拒绝行为可能是季节性的，可能与训练数据中描绘的人们在冬季度假、某些时候工作不那么努力有关。
Anthropic 去年也经历了类似的「冬歇假说」，当时有人声称 Claude 在 8 月变得懒惰，可能是因为训练数据中反映了人们寻求暑假休息的情况，尽管这从未被证实。
尽管这个想法今天听起来很离谱、可笑，但如果随着 AI 模型在未来变得更先进，就不能排除它们可能拥有某种主观体验的可能性。
即使如此，它们会「痛苦」或感到「疼痛」吗？
Dario 显然也在认真对待这个问题。
不过目前来看，AI 模型还是工具，如果你给了它们出错的机会，它们可能就会出错。
DeepSeek 证明了 Scaling Law
有人觉得 DeepSeek 的出现是不是推翻了「扩展定律」（Scaling Law），Dario 觉得恰恰相反，它就是个证明。
现在有两个趋势：一是做出同样聪明的 AI 模型，成本每年降 4 倍，因为算法越来越牛，能用更少的钱干同样的事儿。
一年后，你要么花四分之一的钱弄个跟去年一样的模型，要么花一样的钱弄个比去年强 4 倍的。
从经济角度来看，这意味着，无论当前某个特定智能水平的模型具有什么经济价值，由于你可以用四分之一的成本来生成它，人们就会倾向于生成更多这样的模型。
这实际上也刺激了投入更多资金来生成更智能、具有更高经济价值的模型。
尽管生成特定智能水平模型的成本在下降，但愿意投入的资金却在增加，实际上是快速增加，投入以每年大约 10 倍的速度在增长。
社会对聪明 AI 的需求越来越大，经济也需要更厉害的模型。
DeepSeek 就是这种趋势里的一个典型代表。
Dario 认为 DeepSeek 并没有只花几百万就搞定那么夸张。
他们也花了几百万建模型，研发上也投了几十亿，跟我们差不多。看看他们的芯片数量，也跟美国公司差不多。
Dario 认为以前能搞顶尖模型的就四五家公司，全在美国。
现在出了个 DeepSeek，跟 Anthropic、OpenAI、Google 一个级别，工程能力也差不多，这可是头一回。
Dario 表示，「我有点担心。」
关于出口管制
「出口管制真的很重要。」Dario 一直的观点。
虽然成本在降，但不管怎么降，芯片越多、钱越多，模型就更好，规律没变。
以前可能 10 亿美元能搞出个不错的模型，现在 10 亿美元能搞个超牛的，或者 1000 万美元弄个不错的。
这意味着阻止竞争对手获得价值 10 亿美元的模型变得更加重要，因为现在可以用 10 亿美元获得更智能的模型。
他认为 DeepSeek 使用的计算资源相对较少，其中包括一些绕过出口管制的芯片。
未来 OpenAI、Google 可能会造几千万甚至上亿芯片，花几百亿甚至更多。
如果我们实施出口管制，我们实际上可能能够阻止这种情况在中国发生。如果我们不这样做，我认为他们可能会与我们并驾齐驱。
Dario 说他一直是「扩散规则」（Diffusion Rule）的大力支持者。甚至在 DeepSeek 出现之前，他就已经支持出口管制好几年了。
不仅在 AI 领域，在所有领域都是如此，我们要阻止其获得数百万个非常强大的芯片。
数据耗尽没那么慌了
最近半年有些技术突破（最早是 OpenAI 提的）。
这些技术让 AI 对海量数据的依赖变少了，叫「推理模型」，简单说就是 AI 会「思考」了。
它能自己推理复杂问题，然后用这个过程训练自己。
就像人脑子里的计划：我先想个办法，回头一看，「哎，不太对啊，我咋想的？」然后就学到东西了。
人类还得实践，不过 AI 以前不会反思，但现在开始会了。
目前推理模型多用在数学、编程上，把这能力扩展到其他领域不算太难。
即使我们真的在 2030 年耗尽了数据，如果 AI 技术的指数级增长再持续两到三年，也足以让 AI 模型达到天才级别。这可能就足以引发我们所讨论的许多变革。
Dario 觉得到时候可以问 AI：「人类科学家搞不定这难题，你们帮帮忙？」
当然，也可能效果没那么好，数据耗尽还是个潜在拦路虎。
Dario 说他一两年前觉得这是大问题，排前三的那种。
但现在，新技术让他没那么慌了，虽然还没完全放心。
为啥离开 OpenAI
Dario 说他们是 2020 年底从 OpenAI 出来的。
当时有些事儿让他和几个同事（后来一起创建了 Anthropic）先看明白了「扩展定律」。
简单说，就是多砸算力、多喂数据，用简单算法，AI 在各种任务上都会变强。
他们当时在测量这些趋势时认为，训练一个模型的成本仅为 1000 或 10000 美元，这大概是一个学术研究项目的预算水平。
他们预测，即使模型的训练成本达到 1 亿、10 亿甚至 100 亿美元（我们现在正朝着这个方向发展），这些趋势仍将持续。
如果模型的质量和智能水平继续提高，将对经济产生巨大影响。
他们觉得 OpenAI 领导层也相信这一点，尽管许多内部和外部人士并不认同。
他们还意识到，这技术这么重要，就必须认真对待它的构建，确保正确无误。
一方面，这些模型非常难以预测，它们本质上是统计系统。
他们更像是在「培育」它们，而不是「构建」它们，就像孩子大脑发育一样。
Dario 说他们深感必须以绝对正确的方式构建这项技术。
他们认为 OpenAI 的领导层并没有认真对待这些问题，因此决定离开并独立开展这项工作。
参考资料：