神经网络可解释性积木：从特征可视化到归因地图

![

神经网络可解释性积木：从特征可视化到归因地图

本文为原创中文解读，不是原文逐段翻译。

参考来源：Chris Olah 等，The Building Blocks of Interpretability ，Distill，2018-03-06。

原文链接：https://distill.pub/2018/building-blocks/

授权说明：Distill 页面"Reuse"部分说明，除特别标注外，正文和图表采用 Creative Commons Attribution CC-BY 4.0 授权，源码公开在 GitHub。本文引用其开放授权图示并保留来源说明。

深度神经网络的难点不只是"模型太大"，而是我们缺少一套合适的语言去描述它内部到底发生了什么。

如果只看最终分类结果，我们会得到一个非常粗糙的答案：模型认为这是一只狗、一辆车，或者一朵花。如果只看某个神经元，我们又容易陷入过度局部的解释：这个神经元似乎响应纹理，那个通道似乎响应眼睛，但这些观察很难连接成完整图景。

Distill 的经典文章 The Building Blocks of Interpretability 提出的核心思路是：不要把可解释性工具看成孤立技巧，而要把它们拆成可以组合的"积木"。一块积木回答"看什么对象"，一块积木回答"用什么内容衡量"，一块积木回答"如何呈现"。把这些积木组合起来，我们就能构造出更有解释力的界面。

第一块积木：把激活张量切开

卷积网络的隐藏层激活不是一个简单数字，而是一个三维结构：空间位置、高度宽度上的格点，以及通道。这个结构可以从多个角度切开。

按单个神经元看，问题是"这个具体位置的具体通道在响应什么？"按空间位置看，问题变成"图像某个区域触发了哪些特征？"按通道看，则是在问"这个通道整体代表怎样的视觉概念？"

这一步非常关键，因为解释神经网络往往不是找一个万能视角，而是在不同粒度之间切换。太细，会淹没在大量神经元里；太粗，又会丢掉模型内部真正的结构。

第二块积木：用"语义词典"解释激活

单个激活向量本身不具备可读性。它可能是几百个通道数值，直接打印出来只是一串数字。语义词典的思想是：用特征可视化给每个通道一个"视觉含义"，再把当前样本的激活映射到这些含义上。

这类似给网络内部建立一部小词典。模型不是直接告诉你"我看到了一只狗"，而是暴露出一组中间判断：这里有毛发纹理、那里有眼睛形状、某些区域像耳朵边缘。

这种方式的价值在于，它把"黑箱解释"从一句话结论变成了一组可检查的中间证据。研究者可以追问：模型真正依赖的是物体形状，还是背景纹理？它看到的是狗的脸，还是网球和草地？

第三块积木：从单点解释走向空间地图

如果我们只解释一个位置或一个通道，仍然会漏掉空间结构。图像模型的判断通常来自多个局部证据共同作用：某个区域支持"拉布拉多"，另一个区域支持"网球"，背景可能还会影响分类。

这类归因图的重点不是简单做热力图，而是把"哪个区域重要"和"哪个特征重要"联系起来。一个区域之所以重要，往往不是因为像素本身特殊，而是因为它触发了一组对最终类别有贡献的通道。

这也解释了为什么很多浅层可解释性图看起来漂亮，却不一定可靠。只看到热点位置还不够，我们还需要知道热点背后的概念是什么，以及它如何影响最终输出。

第四块积木：把方法放进设计空间

文章中最有启发的一点，是把可解释性方法拆成几个维度：层级、原子、内容和呈现方式。

• 层级：解释输入层、隐藏层，还是输出层？
• 原子：研究单个神经元、空间位置、通道，还是一组神经元？
• 内容：看激活值、归因关系，还是特征可视化？
• 呈现：用信息可视化、特征图，还是两者组合？

这个框架的意义在于，它让我们能系统地产生新工具，而不是只复用已有名字。例如，把"隐藏层通道"与"输出归因"组合起来，就能得到某个通道对最终类别的贡献；把"数据样本"与"隐藏层特征"组合起来，就能研究训练样本如何塑造某些内部表示。

为什么它仍然重要

今天的大模型解释性讨论，已经从卷积网络扩展到 Transformer、扩散模型和多模态模型，但这篇文章的方法论仍然不过时。

第一，它强调解释工具需要组合。单一指标很容易误导，只有把特征、归因、空间位置和样本证据放在一起，解释才更接近模型真实行为。

第二，它强调界面也是科学工具。好的可视化不是装饰，而是改变我们能提出的问题。一个可交互界面可能让研究者发现"这个通道其实混合了两个概念"，或者"这个分类依赖了背景偏差"。

第三，它提醒我们解释应当有粒度。解释一个模型，不一定要从参数级别开始，也不一定只能停在最终输出。隐藏层中的通道、空间位置、特征组，都是可解释性的中间层。

放到今天怎么看

如果把这套思路迁移到大模型，我们可以看到类似的结构：

• Transformer 的注意力头、MLP 神经元、残差流位置，都可以看成不同"原子"。
• Logit lens、激活补丁、稀疏自编码器、归因路径，可以看成不同"内容"。
• Circuit 图、特征面板、token 级归因热图，则是不同"呈现"。

换句话说，可解释性的核心并不是某个固定技术，而是一套把内部表示拆开、命名、组合、验证的工程语言。

小结

The Building Blocks of Interpretability 的价值，不在于给出一个最终解释算法，而在于提供了一套思考方式：把神经网络内部对象拆成可组合的积木，再用合适的可视化界面把它们连接起来。

对今天做大模型的人来说，这个视角仍然很实用。我们不应该只问"模型为什么这样回答"，还应该问：这个回答由哪些内部特征支持？这些特征在哪些层出现？它们由哪些样本塑造？它们是否真的因果影响输出？

当这些问题能被系统地提出和验证时，可解释性才不只是事后讲故事，而会逐渐变成调试、审计和改进模型的一套基础设施。

参考资料

1. Chris Olah, Arvind Satyanarayan, Ian Johnson, Shan Carter, Ludwig Schubert, Katherine Ye, Alexander Mordvintsev. The Building Blocks of Interpretability. Distill, 2018. https://distill.pub/2018/building-blocks/
2. Chris Olah, Alexander Mordvintsev, Ludwig Schubert. Feature Visualization. Distill, 2017. https://distill.pub/2017/feature-visualization/
3. Matthew D. Zeiler, Rob Fergus. Visualizing and Understanding Convolutional Networks. ECCV, 2014. https://arxiv.org/pdf/1311.2901.pdf
4. Ramprasaath R. Selvaraju 等. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization . 2016. https://arxiv.org/pdf/1610.02391.pdf
   

神经网络可解释性积木：从特征可视化到归因地图

本文为原创中文解读，不是原文逐段翻译。

参考来源：Chris Olah 等，The Building Blocks of Interpretability ，Distill，2018-03-06。

原文链接：https://distill.pub/2018/building-blocks/

授权说明：Distill 页面"Reuse"部分说明，除特别标注外，正文和图表采用 Creative Commons Attribution CC-BY 4.0 授权，源码公开在 GitHub。本文引用其开放授权图示并保留来源说明。

深度神经网络的难点不只是"模型太大"，而是我们缺少一套合适的语言去描述它内部到底发生了什么。

如果只看最终分类结果，我们会得到一个非常粗糙的答案：模型认为这是一只狗、一辆车，或者一朵花。如果只看某个神经元，我们又容易陷入过度局部的解释：这个神经元似乎响应纹理，那个通道似乎响应眼睛，但这些观察很难连接成完整图景。

Distill 的经典文章 The Building Blocks of Interpretability 提出的核心思路是：不要把可解释性工具看成孤立技巧，而要把它们拆成可以组合的"积木"。一块积木回答"看什么对象"，一块积木回答"用什么内容衡量"，一块积木回答"如何呈现"。把这些积木组合起来，我们就能构造出更有解释力的界面。

第一块积木：把激活张量切开

卷积网络的隐藏层激活不是一个简单数字，而是一个三维结构：空间位置、高度宽度上的格点，以及通道。这个结构可以从多个角度切开。

按单个神经元看，问题是"这个具体位置的具体通道在响应什么？"按空间位置看，问题变成"图像某个区域触发了哪些特征？"按通道看，则是在问"这个通道整体代表怎样的视觉概念？"

这一步非常关键，因为解释神经网络往往不是找一个万能视角，而是在不同粒度之间切换。太细，会淹没在大量神经元里；太粗，又会丢掉模型内部真正的结构。

第二块积木：用"语义词典"解释激活

单个激活向量本身不具备可读性。它可能是几百个通道数值，直接打印出来只是一串数字。语义词典的思想是：用特征可视化给每个通道一个"视觉含义"，再把当前样本的激活映射到这些含义上。

这类似给网络内部建立一部小词典。模型不是直接告诉你"我看到了一只狗"，而是暴露出一组中间判断：这里有毛发纹理、那里有眼睛形状、某些区域像耳朵边缘。

这种方式的价值在于，它把"黑箱解释"从一句话结论变成了一组可检查的中间证据。研究者可以追问：模型真正依赖的是物体形状，还是背景纹理？它看到的是狗的脸，还是网球和草地？

第三块积木：从单点解释走向空间地图

如果我们只解释一个位置或一个通道，仍然会漏掉空间结构。图像模型的判断通常来自多个局部证据共同作用：某个区域支持"拉布拉多"，另一个区域支持"网球"，背景可能还会影响分类。

这类归因图的重点不是简单做热力图，而是把"哪个区域重要"和"哪个特征重要"联系起来。一个区域之所以重要，往往不是因为像素本身特殊，而是因为它触发了一组对最终类别有贡献的通道。

这也解释了为什么很多浅层可解释性图看起来漂亮，却不一定可靠。只看到热点位置还不够，我们还需要知道热点背后的概念是什么，以及它如何影响最终输出。

第四块积木：把方法放进设计空间

文章中最有启发的一点，是把可解释性方法拆成几个维度：层级、原子、内容和呈现方式。

• 层级：解释输入层、隐藏层，还是输出层？
• 原子：研究单个神经元、空间位置、通道，还是一组神经元？
• 内容：看激活值、归因关系，还是特征可视化？
• 呈现：用信息可视化、特征图，还是两者组合？

这个框架的意义在于，它让我们能系统地产生新工具，而不是只复用已有名字。例如，把"隐藏层通道"与"输出归因"组合起来，就能得到某个通道对最终类别的贡献；把"数据样本"与"隐藏层特征"组合起来，就能研究训练样本如何塑造某些内部表示。

为什么它仍然重要

今天的大模型解释性讨论，已经从卷积网络扩展到 Transformer、扩散模型和多模态模型，但这篇文章的方法论仍然不过时。

第一，它强调解释工具需要组合。单一指标很容易误导，只有把特征、归因、空间位置和样本证据放在一起，解释才更接近模型真实行为。

第二，它强调界面也是科学工具。好的可视化不是装饰，而是改变我们能提出的问题。一个可交互界面可能让研究者发现"这个通道其实混合了两个概念"，或者"这个分类依赖了背景偏差"。

第三，它提醒我们解释应当有粒度。解释一个模型，不一定要从参数级别开始，也不一定只能停在最终输出。隐藏层中的通道、空间位置、特征组，都是可解释性的中间层。

放到今天怎么看

如果把这套思路迁移到大模型，我们可以看到类似的结构：

• Transformer 的注意力头、MLP 神经元、残差流位置，都可以看成不同"原子"。
• Logit lens、激活补丁、稀疏自编码器、归因路径，可以看成不同"内容"。
• Circuit 图、特征面板、token 级归因热图，则是不同"呈现"。

换句话说，可解释性的核心并不是某个固定技术，而是一套把内部表示拆开、命名、组合、验证的工程语言。

小结

The Building Blocks of Interpretability 的价值，不在于给出一个最终解释算法，而在于提供了一套思考方式：把神经网络内部对象拆成可组合的积木，再用合适的可视化界面把它们连接起来。

对今天做大模型的人来说，这个视角仍然很实用。我们不应该只问"模型为什么这样回答"，还应该问：这个回答由哪些内部特征支持？这些特征在哪些层出现？它们由哪些样本塑造？它们是否真的因果影响输出？

当这些问题能被系统地提出和验证时，可解释性才不只是事后讲故事，而会逐渐变成调试、审计和改进模型的一套基础设施。

参考资料

1. Chris Olah, Arvind Satyanarayan, Ian Johnson, Shan Carter, Ludwig Schubert, Katherine Ye, Alexander Mordvintsev. The Building Blocks of Interpretability. Distill, 2018. https://distill.pub/2018/building-blocks/
2. Chris Olah, Alexander Mordvintsev, Ludwig Schubert. Feature Visualization. Distill, 2017. https://distill.pub/2017/feature-visualization/
3. Matthew D. Zeiler, Rob Fergus. Visualizing and Understanding Convolutional Networks. ECCV, 2014. https://arxiv.org/pdf/1311.2901.pdf
4. Ramprasaath R. Selvaraju 等. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization . 2016. https://arxiv.org/pdf/1610.02391.pdf
   

神经网络可解释性积木：从特征可视化到归因地图

本文为原创中文解读，不是原文逐段翻译。

参考来源：Chris Olah 等，The Building Blocks of Interpretability ，Distill，2018-03-06。

原文链接：https://distill.pub/2018/building-blocks/

授权说明：Distill 页面"Reuse"部分说明，除特别标注外，正文和图表采用 Creative Commons Attribution CC-BY 4.0 授权，源码公开在 GitHub。本文引用其开放授权图示并保留来源说明。

深度神经网络的难点不只是"模型太大"，而是我们缺少一套合适的语言去描述它内部到底发生了什么。

如果只看最终分类结果，我们会得到一个非常粗糙的答案：模型认为这是一只狗、一辆车，或者一朵花。如果只看某个神经元，我们又容易陷入过度局部的解释：这个神经元似乎响应纹理，那个通道似乎响应眼睛，但这些观察很难连接成完整图景。

Distill 的经典文章 The Building Blocks of Interpretability 提出的核心思路是：不要把可解释性工具看成孤立技巧，而要把它们拆成可以组合的"积木"。一块积木回答"看什么对象"，一块积木回答"用什么内容衡量"，一块积木回答"如何呈现"。把这些积木组合起来，我们就能构造出更有解释力的界面。

第一块积木：把激活张量切开

卷积网络的隐藏层激活不是一个简单数字，而是一个三维结构：空间位置、高度宽度上的格点，以及通道。这个结构可以从多个角度切开。

按单个神经元看，问题是"这个具体位置的具体通道在响应什么？"按空间位置看，问题变成"图像某个区域触发了哪些特征？"按通道看，则是在问"这个通道整体代表怎样的视觉概念？"

这一步非常关键，因为解释神经网络往往不是找一个万能视角，而是在不同粒度之间切换。太细，会淹没在大量神经元里；太粗，又会丢掉模型内部真正的结构。

第二块积木：用"语义词典"解释激活

单个激活向量本身不具备可读性。它可能是几百个通道数值，直接打印出来只是一串数字。语义词典的思想是：用特征可视化给每个通道一个"视觉含义"，再把当前样本的激活映射到这些含义上。

这类似给网络内部建立一部小词典。模型不是直接告诉你"我看到了一只狗"，而是暴露出一组中间判断：这里有毛发纹理、那里有眼睛形状、某些区域像耳朵边缘。

这种方式的价值在于，它把"黑箱解释"从一句话结论变成了一组可检查的中间证据。研究者可以追问：模型真正依赖的是物体形状，还是背景纹理？它看到的是狗的脸，还是网球和草地？

第三块积木：从单点解释走向空间地图

如果我们只解释一个位置或一个通道，仍然会漏掉空间结构。图像模型的判断通常来自多个局部证据共同作用：某个区域支持"拉布拉多"，另一个区域支持"网球"，背景可能还会影响分类。

这类归因图的重点不是简单做热力图，而是把"哪个区域重要"和"哪个特征重要"联系起来。一个区域之所以重要，往往不是因为像素本身特殊，而是因为它触发了一组对最终类别有贡献的通道。

这也解释了为什么很多浅层可解释性图看起来漂亮，却不一定可靠。只看到热点位置还不够，我们还需要知道热点背后的概念是什么，以及它如何影响最终输出。

第四块积木：把方法放进设计空间

文章中最有启发的一点，是把可解释性方法拆成几个维度：层级、原子、内容和呈现方式。

• 层级：解释输入层、隐藏层，还是输出层？
• 原子：研究单个神经元、空间位置、通道，还是一组神经元？
• 内容：看激活值、归因关系，还是特征可视化？
• 呈现：用信息可视化、特征图，还是两者组合？

这个框架的意义在于，它让我们能系统地产生新工具，而不是只复用已有名字。例如，把"隐藏层通道"与"输出归因"组合起来，就能得到某个通道对最终类别的贡献；把"数据样本"与"隐藏层特征"组合起来，就能研究训练样本如何塑造某些内部表示。

为什么它仍然重要

今天的大模型解释性讨论，已经从卷积网络扩展到 Transformer、扩散模型和多模态模型，但这篇文章的方法论仍然不过时。

第一，它强调解释工具需要组合。单一指标很容易误导，只有把特征、归因、空间位置和样本证据放在一起，解释才更接近模型真实行为。

第二，它强调界面也是科学工具。好的可视化不是装饰，而是改变我们能提出的问题。一个可交互界面可能让研究者发现"这个通道其实混合了两个概念"，或者"这个分类依赖了背景偏差"。

第三，它提醒我们解释应当有粒度。解释一个模型，不一定要从参数级别开始，也不一定只能停在最终输出。隐藏层中的通道、空间位置、特征组，都是可解释性的中间层。

放到今天怎么看

如果把这套思路迁移到大模型，我们可以看到类似的结构：

• Transformer 的注意力头、MLP 神经元、残差流位置，都可以看成不同"原子"。
• Logit lens、激活补丁、稀疏自编码器、归因路径，可以看成不同"内容"。
• Circuit 图、特征面板、token 级归因热图，则是不同"呈现"。

换句话说，可解释性的核心并不是某个固定技术，而是一套把内部表示拆开、命名、组合、验证的工程语言。

小结

The Building Blocks of Interpretability 的价值，不在于给出一个最终解释算法，而在于提供了一套思考方式：把神经网络内部对象拆成可组合的积木，再用合适的可视化界面把它们连接起来。

对今天做大模型的人来说，这个视角仍然很实用。我们不应该只问"模型为什么这样回答"，还应该问：这个回答由哪些内部特征支持？这些特征在哪些层出现？它们由哪些样本塑造？它们是否真的因果影响输出？

当这些问题能被系统地提出和验证时，可解释性才不只是事后讲故事，而会逐渐变成调试、审计和改进模型的一套基础设施。

参考资料

1. Chris Olah, Arvind Satyanarayan, Ian Johnson, Shan Carter, Ludwig Schubert, Katherine Ye, Alexander Mordvintsev. The Building Blocks of Interpretability. Distill, 2018. https://distill.pub/2018/building-blocks/
2. Chris Olah, Alexander Mordvintsev, Ludwig Schubert. Feature Visualization. Distill, 2017. https://distill.pub/2017/feature-visualization/
3. Matthew D. Zeiler, Rob Fergus. Visualizing and Understanding Convolutional Networks. ECCV, 2014. https://arxiv.org/pdf/1311.2901.pdf
4. Ramprasaath R. Selvaraju 等. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization . 2016. https://arxiv.org/pdf/1610.02391.pdf
   ](https://i-blog.csdnimg.cn/direct/dbe2fa7e028145f998590194ebda7bcb.png#pic_center)