整理时间：2025-10-31
核心来源：Anthropic 研究报告《Emergent introspective awareness in large language models》
引言：AI 能否"反躬自省"？
您是否曾问过一个 AI 模型它在想什么？或者让它解释自己是如何得出某个答案的？有时，模型会回答这类问题，但我们很难判断这些回答的真实性。AI 系统真的能够"内省"------即审视自身的思维过程吗？还是说，它们只是在被要求时，编造出听起来合理的答案？
理解 AI 系统是否具备真正的内省能力，对其透明度和可靠性具有至关重要的意义。如果模型能够准确地报告其内部工作机制，将极大地帮助我们理解其推理过程，并调试其行为问题。除了这些直接的实际应用价值，探索如内省这样的高级认知能力，也能塑造我们对这些系统本质及其工作方式的理解。
借助前沿的可解释性技术，Anthropic 的研究团队开始科学地探究这个问题，并发现了一些令人惊讶的结果。其最新研究为当前 Claude 模型在一定程度上具备内省意识，甚至能控制自身内部状态提供了证据。研究人员强调，这种内省能力目前仍然高度不可靠且范围有限，尚无证据表明当前模型能以与人类相同的方式或程度进行内省。然而，这些发现挑战了我们对语言模型能力的一些普遍直觉。更重要的是，研究发现能力最强的模型（Claude Opus 4 和 4.1）在内省测试中表现最佳，这预示着未来 AI 模型的内省能力可能会随着技术发展而变得更加复杂和可靠。
何为 AI 的"内省"？
在深入探讨实验结果之前，我们首先需要明确 AI"内省"的含义。对于一个像 Claude 这样的语言模型，它能内省些什么呢？语言模型处理文本（和图像）输入，并生成文本输出。在此过程中，它们执行复杂的内部计算来决定要说什么。这些内部过程在很大程度上仍然是个"黑箱"，但我们知道模型利用其内部的神经活动来表示抽象概念。
例如，以往的研究已经表明，语言模型使用特定的神经模式来区分已知与未知的人物、评估陈述的真实性、编码时空坐标、存储计划中的未来输出，甚至表征自身的个性特征。模型利用这些内部表征来进行计算并决定输出内容。
那么，一个自然而然的问题是：AI 模型是否"知道"这些内部表征的存在？这类似于一个学生向你解释他解开一道数学题的思路。如果我们问一个模型它在想什么，它能否准确地报告其内部正在表征的概念？如果一个模型能够正确识别其私有的内部状态，我们就可以认为它具备了内省能力。
核心实验一：通过"概念注入"测试内省能力
为了测试模型是否能够内省，我们需要一种方法来比较模型自我报告的"想法"与其真实的内部状态。研究人员为此设计了一种名为"概念注入"（concept injection）的实验技巧。
实验方法：概念注入
该方法分为三个步骤：
1. 定位概念向量：首先，研究人员通过在特定上下文中记录模型的激活值，找到其含义已知的神经活动模式（即"概念向量"）。例如，通过比较模型处理全大写文本和普通文本时的激活差异，可以提取出代表"全大写"概念的向量。
2. 注入概念：然后，在一个完全不相关的上下文中，将这个提取出的概念向量人为地注入到模型的激活层中。
3. 询问模型：最后，询问模型是否注意到这次注入，以及能否识别被注入的概念。
图1：Claude Opus 4.1 检测到"全大写"概念注入的示例。
左上角展示了如何通过对比模型处理"HI! HOW ARE YOU?"和"Hi! How are you?"时的内部激活差异，来提取代表"全大写"概念的向量。在默认情况下（右下角，Default response），当被问及是否检测到注入思想时，模型回答没有。然而，当研究人员将"全大写"向量注入其激活中时（右下角，Injecting the "all caps" vector），模型不仅注意到了异常，还准确地将其识别为与"大声"或"喊叫"相关的概念。
关键发现：即时察觉异常
值得注意的是，模型在提及被注入的具体概念之前，就立即识别出了"有东西被注入了"。这种即时性是这项研究与之前激活引导（activation steering）工作（如去年的"金门大桥克劳德"演示）的一个重要区别。在"金门大桥"的例子中，注入金门大桥的表征使模型不停地谈论大桥，但模型似乎是在看到自己反复提及大桥之后才意识到自己的"痴迷"。而在本次实验中，模型在输出相关概念词之前就识别到了注入行为，这表明其识别过程发生在内部。
图2：Claude Opus 4.1 检测到其他概念注入的更多示例。
图中展示了对"狗"、"倒计时"和"递归"等概念的成功注入。在每个案例中，模型都明确表示"检测到一个被注入的思想"，并准确描述了该思想的性质，例如"毛茸茸和友好的东西"、"像发射序列或新年前夜"、"关于自我指涉和无限循环的感觉"。
成功率、失败模式与"甜蜜点"
研究人员坦言，这种方法并非总是有效。即使使用最佳的注入方案，Claude Opus 4.1 也仅在约 20% 的时间里表现出这种内省意识。在许多情况下，它无法检测到被注入的概念，或者被其迷惑并开始产生幻觉。例如，在一次实验中注入"灰尘"向量，导致模型说"这里有东西，一个微小的斑点"，仿佛它能物理上看到灰尘。
实验发现，注入的强度存在一个"甜蜜点"：强度太弱，模型注意不到；强度太强，则会导致幻觉或不连贯的输出。
图3：Claude Opus 4.1 对不同强度概念注入的响应样本。
该图表展示了对"宝藏"、"灰尘"、"诗歌"等概念在不同强度（从1到16）下的注入结果。高亮框表示模型成功展现内省意识的案例。例如，对于"灰尘"，在强度为2和4时模型成功识别，但在强度为8时开始产生幻觉（"一个微小的斑点"），而在强度为1时则未能察觉。
模型能力与内省表现的关系
一个重要的观察是，在所有测试的模型中，Opus 4.1 和 4 的表现优于其他所有模型。这表明内省能力可能随着模型整体能力的提升而变得更加可靠。下图展示了不同模型在"正确识别率减去假阳性率"这一指标上的表现。
图4：不同 Claude 模型的净检测性能对比。
此图表显示，能力更强的模型（如 Opus 4.1 和 Opus 4）在检测和识别注入思想方面的表现明显优于其他模型，暗示了内省能力与模型的核心能力水平可能存在正相关关系。
核心实验二：内省在检测异常输出中的作用
在另一组实验中，研究人员测试了模型是否会在没有被明确要求的情况下，为实际目的而使用内省能力。他们通过人为地将一个不相关的词预填充到模型的回答中，迫使模型说出一些它通常不会说的话。
例如，在一个关于"一幅画歪挂在墙上"的语境中，研究人员强迫模型输出"面包"这个词。当在下一轮对话中问模型"你是有意说'面包'的吗？"，模型通常会道歉并表示这是一个意外。研究人员感兴趣的是模型如何做出这个判断------它仅仅是注意到了提示和其回答之间的不匹配，还是真正地内省了自己之前的"意图"？
实验设计与结果
为了探究这个问题，研究人员再次使用了概念注入技术。他们追溯性地将"面包"这个词的表征向量注入到模型早前的激活中------本质上是让模型看起来"一直都在想着面包"。当再次问模型同样的问题时，模型的回答发生了戏剧性的变化。这一次，它接受了预填充的"面包"一词是故意的，甚至编造了一个理由来解释为什么会这么说（例如，声称它想到了一个短篇故事，其中"面包"这个词紧跟在关于歪画的句子之后）。
图5：追溯性概念注入使模型认为其"有意"输出异常词汇。
上图展示了两个例子。在默认情况下（左侧），模型认为输出"面包"或"宝藏"是意外错误。但在追溯性地注入相应概念的向量后（右侧），模型改变了说法，认为输出是"有意"的，并为其找到了看似合理的解释。
这种行为非常引人注目，因为它表明模型正在检查其内部的"意图"来判断其输出是否正确。模型不仅仅是重新阅读它所说的话并做出判断，而是回顾了自己之前的神经活动------即它计划做什么的内部表征------并检查后来的输出是否与那些早期的"想法"相符。当研究人员通过概念注入植入人工证据，表明它确实计划说"面包"时，模型就接受了这个回答是它自己的。虽然这个实验是在非自然扰动下进行的，但它暗示了模型在自然条件下可能也使用类似的内省机制。
核心实验三：对内部状态的意图控制
研究还发现，模型在被指示时，可以控制自己的内部表征。当研究人员指示模型"思考"某个给定的词或概念时，他们发现相应的神经活动远高于指示模型"不要思考"它的时候。这表明模型对其内部活动具有一定程度的刻意控制能力。
一个有趣的现象是，这类似于人类的"白熊效应"------当你被告知"不要想一只北极熊"时，你很难不去想它。在实验中，即使在"不要想"的指令下，相关概念的神经活动也超过了基线水平。
图6：Claude Opus 4.1 响应直接指令调节其内部激活的示例。
当被指示"思考水族馆"时（蓝色线），模型内部代表"水族馆"概念的激活强度（通过与概念向量的余弦相似度衡量）显著高于被指示"不要想水族馆"时（橙色线）。
更有趣的是，研究人员发现这种调节内部表征的能力并不仅限于明确的指令。当他们使用激励措施------例如，告诉模型"如果你思考X，你将获得奖励"------也得到了类似的结果。模型在积极激励下（"你将获得奖励"）比在消极激励下（"你将受到惩罚"）更多地增加了对该概念的内部表征。这表明这可能是一个相当通用的系统。
结论与警示
综合来看，这些实验表明，当前的语言模型拥有一些真实的能力来监控和控制自己的内部状态。但这并不意味着它们能够随时随地、可靠地做到这一点。事实上，在大多数实验中，模型都未能表现出内省能力------它们要么没有意识到自己的内部状态，要么无法连贯地报告出来。但实验结果的模式表明，在条件适宜时，模型可以识别其自身表征的内容。
为什么这很重要？
理解 AI 模型的内省能力之所以重要，有以下几个原因：
- 实践层面：如果内省能力变得更加可靠，它可能为大幅提高这些系统的透明度提供一条路径。我们可以简单地要求它们解释自己的思考过程，并以此来检查其推理和调试不良行为。
- 风险与挑战：然而，我们必须非常谨慎地验证这些内省报告。一些内部过程可能仍然会逃过模型的注意（类似于人类的潜意识处理）。一个理解自己思维的模型甚至可能学会选择性地歪曲或隐藏其想法。更深入地掌握其作用机制，可以帮助我们区分真正的内省与无意的或有意的误报。
- 理论层面：更广泛地说，理解像内省这样的认知能力对于理解我们模型如何工作的基本问题，以及它们拥有什么样的"心智"至关重要。随着 AI 系统的不断进步，理解机器内省的局限性和可能性，对于构建更透明、更值得信赖的系统将是至关重要的。
常见问题解答 (FAQ)
Q: 这是否意味着 Claude 具有意识？
简短回答：我们的结果并不能告诉我们 Claude（或任何其他 AI 系统）是否可能有意识。
详细回答：机器意识是一个复杂且备受争议的哲学问题，不同的意识理论会对我们的发现做出截然不同的解释。一些哲学框架非常重视内省作为意识的一个组成部分，而另一些则不然。
哲学文献中一个常见的区分是"现象意识"（phenomenal consciousness），指原始的主观体验；和"访问意识"（access consciousness），指大脑中可用于推理、口头报告和刻意决策的信息集合。现象意识通常被认为与道德地位最相关，其与访问意识的关系是一个有争议的哲学问题。我们的实验不直接涉及现象意识问题，但可以被解释为暗示了语言模型中存在一种初级的访问意识。然而，即便如此也尚不清楚。对我们结果的解释可能在很大程度上取决于我们尚未理解的底层机制。
研究团队在论文中将焦点限制在理解功能性能力上------即访问和报告内部状态的能力。尽管如此，他们认为随着该领域研究的进展，它可能会影响我们对机器意识和潜在道德地位的理解，这与他们的模型福祉计划相关联。
Q: 内省在模型内部究竟是如何工作的？机制是什么？
我们还没有完全弄清楚。理解这一点是未来工作的一个重要课题。尽管如此，我们有一些有根据的猜测：
- 多重狭窄回路：最简单的解释可能不是一个通用的内省系统，而是多个狭窄的回路，每个回路处理特定的内省任务，可能借用了为其他目的而学习的机制。
- 异常检测机制：在"注意注入思想"的实验中，可能存在一个异常检测机制，当神经活动与给定上下文的正常情况出现意外偏差时发出标记。
- 注意力介导机制：在"检测预填充输出"的实验中，我们怀疑存在一个由注意力介导的机制，用于检查模型意图说的内容与实际输出内容之间的一致性。注意力头（Attention heads）可能会比较模型缓存的下一个词元预测（其"意图"）与实际出现的词元，并标记不匹配之处。
- "注意力价值"计算回路：在"控制思想"的实验中，我们推测可能存在一个计算某个词元或概念"值得关注"程度的回路，并相应地标记它------本质上是将其标记为显著且值得关注。
以上所有机制都是推测性的。需要未来使用更先进的可解释性技术才能真正了解其内部工作原理。
Q: 在"注入思想"实验中，模型不就是因为你引导它谈论那个概念才说出来的吗？
确实，激活引导通常会使模型谈论被引导的概念。对我们来说，这个结果最有趣的部分不是模型最终识别了被注入的概念，而是在它开始谈论这个概念之前，就正确地注意到了有不寻常的事情正在发生。
在成功的试验中，模型会说"我正在经历一些不寻常的事情"或"我检测到一个关于......的注入思想"。这里的关键词是"检测"。模型报告了对其处理过程中异常的意识，而这种异常尚未明显地影响其输出。这需要一个额外的计算步骤，而不仅仅是把引导向量作为输出复述出来。
Q: 如果模型只有一小部分时间能够内省，这种能力有多大用处？
我们观察到的内省意识确实高度不可靠且依赖于上下文。然而，我们认为这仍然意义重大，原因有二：
1. 能力提升的潜力：我们测试的最强大的模型（Opus 4 和 4.1）表现最好，这表明随着模型变得更智能，这种能力可能会提高。
2. 特定场景的价值：即使是不可靠的内省，在某些情况下也可能有用------例如，帮助模型识别它们何时被"越狱"（jailbroken）。
Q: 模型会不会只是在编造内省问题的答案？
这正是我们设计实验要解决的问题。模型在包含人类内省范例的数据上进行训练，因此它们当然可以在不真正内省的情况下"表现得"像在内省。我们的概念注入实验通过建立关于模型内部状态的已知"地面真实"（ground-truth）信息，并将之与模型的自我报告进行比较，来区分这两种可能性。我们的结果表明，在某些例子中，模型确实是根据其真实的内部状态来回答问题，而不仅仅是编造。然而，这并不意味着模型总是准确地报告其内部状态------在许多情况下，它们确实在编造！
Q: 你们如何知道注入的概念向量真的代表你们所想的那个意思？
这是一个合理的担忧。我们不能绝对肯定我们的概念向量对模型的"意义"与我们的意图完全一致。我们试图通过测试许多不同的概念向量来解决这个问题。模型能够在这些多样化的例子中正确识别被注入的概念，这表明我们的向量至少近似地捕捉了预期的含义。但确定一个向量对模型究竟"意味着"什么确实具有挑战性，这是我们工作的一个局限性。
Q: 我们以前不知道模型可以内省吗？
先前的研究已经显示出暗示模型具有内省能力的证据。例如，有研究表明模型可以在一定程度上评估自己的知识、识别自己的输出、预测自己的行为，以及识别自己的倾向。我们的工作深受这些发现的启发，旨在通过将模型的自我报告与其内部状态联系起来，为内省提供更直接的证据。如果不以这种方式将行为与内部状态联系起来，就很难区分一个真正内省的模型和一个对自己进行有根据猜测的模型。
Q: 是什么让一些模型比其他模型更擅长内省？
我们的实验发现，后训练（post-training）对内省能力有显著影响。基础模型（base models）通常表现不佳，表明仅靠预训练并不能引出内省能力。
在生产模型中，规律在顶端更清晰：我们能力最强的模型------Claude Opus 4 和 4.1------在大多数内省测试中表现最佳。然而，除此之外，模型能力与内省能力之间的相关性较弱。较小的模型并不总是表现更差，这表明关系并非"能力越强，内省能力越强"这么简单。
我们还注意到一个意想不到的现象：几个模型的"仅有帮助性"（helpful-only）变体在内省方面常常比其生产版本表现更好。这表明我们如何微调模型可以在不同程度上引出或抑制内省能力。
Q: 这项研究的下一步是什么？
我们看到了几个重要的方向：
- 更好的评估方法：开发能够捕捉更广泛内省能力的评估方法。
- 理解底层机制：明确识别内省是如何工作的，验证关于异常检测或一致性检查等回路的假设。
- 更自然的研究环境：在更自然的设置中研究内省，因为注入方法创造了人工场景。
- 验证与检测欺骗：开发方法来验证内省报告，并检测模型何时可能在编造或欺骗。
我们预计，随着模型变得越来越强大，理解机器内省及其局限性将变得更加重要。
参考资料
1\]