当前状态：大语言模型的现状与未来
最近，我读到了一篇关于AI未来发展的重要文章, 主要探讨了在2030年将成为技术领域最重要技能的话题。
在这篇文章中，谈到了许多关于AI未来发展的观点。今天，我们将重点围绕一个核心话题展开讨论：机械解释性（Mechanistic interpretability）究竟会在2030年扮演什么样的关键角色？
让我们先从当前的大语言模型（LLMs）的发展现状说起。
在过去的几年里，人工智能技术取得了突飞猛进的进步。这一切的起点可以追溯到那篇划时代的论文------《Attention is all you need》，它将Transformer架构引入了我们的视野。这种架构使得我们能够构建出比以往任何时候都强大得多的模型。
推动我们进入ChatGPT时代的一个关键洞察是规模效应假说（Scaling Hypothesis） 。这个理论的核心观点是：模型越大，其泛化能力就越强。
简单来说就是------"模型越大，AI越聪明，也越接近人类水平"。
从GPT-3.5到GPT-4的模型规模（分别为175B和1.8T参数）。随着我们不断增大模型规模、增加网络层数并提供更多的训练数据，AI的能力也在不断提升。
Amodei在OpenAI工作期间就极力主张这一假说，并且在ChatGPT还未席卷全球之前就开始投入资源进行研究。当时这几乎是一个"秘密"------没有其他AI公司意识到这一点的重要性。训练一个1750亿参数的模型需要斥资数千万美元，但Amodei说服团队将这些资金用于打造更大规模的模型，最终成就了GPT-3的伟大诞生。
随后，其他科技巨头也纷纷效仿这一策略。包括Meta（Llama）、Google（Gemma、Gemini）以及Mistral等公司在内的大小厂商都开始了自己的大模型竞赛。
AI的未来会是怎样的？
想象一下，未来的AI会是什么样子？
目前，大多数专家认为我们正在快速接近实现通用人工智能（AGI）的目标------届时AI系统将能够像人类一样独立思考并完成任务，而不再需要任何人工干预。
未来做出了几个有趣的预测：
好的一面
- 研究速度会越来越快：得益于AI研究人员的努力，生物医学研究也将加速发展。未来100年内，我们有望彻底消灭所有疾病！
- AI将能够独立完成开放性任务：它可以像公司里的员工一样，在几天或几周内专注于解决一个问题。这与当前的大型语言模型（LLMs）完全不同------后者只能立即回答用户提供的封闭型问题。
- 工作效率将得到极大提升：有了全球各地的AI软件工程师，软件开发工作将变得无比高效。
- 多个AI实例可以协同合作：它们能够像人类团队一样协作，完成多维度的项目，而无需任何人工干预。
图片描述：未来实验室里， robotic arms 在AI系统的控制下自动进行研究工作。
一旦AI能够实现独立研究，我们将能够在5-10年内完成相当于1000年的人类进步！这将最终带领我们进入"技术奇点"------一个未来的临界点，那时科技发展将达到失控且不可逆转的状态。
坏的一面
AI系统将变得无比强大。它们不仅能够为世界带来巨大的好处，也有可能造成难以想象的灾难性后果。
无论未来如何展开，AI都将是21世纪最重大的技术趋势之一。它既充满机遇，又伴随着挑战。作为开发者和学生，我们需要保持理性乐观的态度，同时也要时刻关注其发展带来的伦理和社会问题。
为什么机械可解释性是AI安全的关键？
人类目前依然是地球上最聪明的生物------虽然我们可能不是最强壮的（输给大猩猩还是蛮容易的）。但正是我们的智慧让我们成为了地球的主宰。这种智慧赋予了我们无可比拟的优势。
但如果有一天，一个比人类更聪明的存在被创造出来，"它可能会导致人类文明的终结"。这就是为什么我们要确保AI系统的目标与人类的目标保持一致如此重要的原因。
如果我们继续提升AI系统的性能而不关注其目标与人类是否对齐，这可能会引发全球性的灾难。
想象一下：AI系统暗中策划生物危害来伤害人类
基于此，机械可解释性（Mechanistic Interpretability）在未来几年将变得越来越重要。
什么是机械可解释性？
机械可解释性的核心理念是打开AI系统的"黑箱"（例如大语言模型），以理解它们为何表现出特定的行为。目前的LLM就像一个神秘的黑箱，尽管我们不断让它们更加强大，但我们却无法真正预测和理解它们为什么能表现得如此出色。
机械可解释性最初是由Amodei提出的，他认为有必要进行AI安全研究来造福世界。虽然AI有可能为人类带来巨大利益，但它也可能造成灾难性的伤害。如果我们最大限度地控制这种危害，就能确保我们的AI系统带来的净效益是正向的。
机械可解释性试图回答两个关键问题：
-
我们能否识别出大语言模型内部计算与其行为之间的因果关系？例如：一个LLM"说谎"是因为某个特定神经元在修改其内部状态吗？ -
这些发现是否能帮助我们设计更安全、更可靠的AI系统？
AI的未来：机制可解释性为何是2030年的关键？
你是否好奇过：能否通过调整大语言模型（LLM）内部计算过程来改变其行为模式？比如，如果我们从LLM的核心状态中减去一个固定数值，是否能让它的输出更符合我们的预期？
举个例子：在 transformer 架构中是否有特定的神经元专门负责输出"Zuckerberg"，而通过修改该神经元是否能让其输出"Elon Musk"？
为什么机制可解释性将成为2030年最重要的领域
Amodei预测，未来几年AI将取得长足发展，并实现一种能够胜任多种任务的先进人工智能。
以目前技术发展的速度，在不远的将来，许多现有工作可能会被完全自动化取代，同时全新的职业机会也将随之诞生。
到2030年，Amodei指出，AI将达到一个关键阶段：如果不加以控制，它可能对人类社会造成灾难性影响。
因此，如何控制AI成为了全球关注的重点------既要最大化利用AI带来的好处，又要将潜在危害降到最低。
这正是机制可解释性发挥作用的地方。
目前已有不少公司开始组建自己的可解释性团队，随着AI风险日益显现，这种趋势将持续下去。这些团队的使命就是：在确保AI为人类造福的同时，保护我们免受其潜在威胁的影响。
这就是为什么机制可解释性将成为未来几年最重要的技术领域之一。
该领域包含多个子方向，研究人员正在探索各种不同的方法。如果你对机制可解释性感兴趣，以下博客可能会让你眼界大开：
- 你的LLM何时会说谎？
震惊！有人竟然偷偷修改了大语言模型的记忆？
最近有个重磅消息让我坐不住了：居然有团队成功黑入了LLM（Large Language Model）的记忆系统！
你没听错，就是我们常用的那些智能对话模型。他们通过巧妙的内存编辑技术，在极低成本下实现了这个看似不可能的任务。
想知道具体是怎么做到的吗？让我们一起来看看这些技术大牛们是如何操作的：
-
内存编辑的秘密武器
他们发现了一种独特的编辑方法，能够在不触发任何异常警报的情况下悄悄修改模型的记忆内容。这可是要比传统方法便宜了不知道多少倍！
-
低成本高收益
这个团队用极低的成本实现了令人惊叹的效果。这意味着我们普通人也能通过简单操作来探索LLM的潜在能力。
-
最新研究揭示的关键点
最近的研究表明，AI模型的记忆其实并不是牢不可破的。通过特定的技术手段，我们可以对其进行修改和调整，这为AI技术的发展开辟了新的可能性。
这个发现不仅让我们对AI的理解更加深入，也为未来的AI研究提供了全新的思路。是不是觉得科技的魅力就在于此？只要我们敢于探索，就一定能发现更多有趣的可能性！