Qwen2.5-VL - FFN(前馈神经网络)Feedforward Neural Network

Qwen2.5-VL - FFN(前馈神经网络)Feedforward Neural Network

flyfish

复制代码
FFN(前馈神经网络)Feedforward Neural Network
├─ MLP Multi-Layer Perceptron
│  ├─ Transformer中的FFN模块(特定结构的MLP)
└─ 其他FFN(如含卷积层的网络)

FFN 是最大的概念,只要数据单向传播即属于 FFN;

MLP 是 FFN 的子集,限定为全连接层组成的网络;

Transformer 的 FFN 模块是 MLP 的特例,结构固定为 "升维→激活→降维"

FFN是数据流向层面的概念;

MLP强调全连接层的堆叠;

Transformer 的 FFN是 MLP 在 Transformer 中的标准化实现。

"全连接层" 这个术语。它最早就叫多层感知机层,是 MLP 的核心组件,每个神经元和前一层所有神经元相连,没有任何限制。随着深度学习发展,全连接层成了神经网络的 "基础设施",不仅用在 MLP 里,还出现在 CNN 的分类头、RNN 的输出层,甚至 Transformer 的 FFN 模块里。而 FFN(前馈神经网络)是个更宽泛的概念,只要数据单向流动、没有反馈回路的网络都算,MLP 其实是 FFN 的一个特例 ------ 因为它全部由全连接层组成。

复制代码
  (mlp): Qwen2_5_VLMLP(
      (gate_proj): Linear(in_features=1280, out_features=3420, bias=True)
      (up_proj): Linear(in_features=1280, out_features=3420, bias=True)
      (down_proj): Linear(in_features=3420, out_features=1280, bias=True)
      (act_fn): SiLU()
    )
python 复制代码
class Qwen2_5_VLMLP(nn.Module):
    """
    Qwen2.5-VL模型中的多层感知机(MLP)模块,采用SwiGLU门控激活机制,
    专为多模态(视觉-语言)特征处理设计,增强模型对跨模态信息的表达能力。
    """
    def __init__(self, config, bias: bool = False):
        """
        初始化MLP模块
        
        Args:
            config: 模型配置对象,包含hidden_size和intermediate_size等参数
            bias: 是否在线性层中使用偏置,默认False(与Qwen系列模型设计一致)
        """
        super().__init__()
        # 从配置中获取输入/输出维度和中间层维度
        self.hidden_size = config.hidden_size          # 输入/输出特征维度(如1280)
        self.intermediate_size = config.intermediate_size  # 中间层维度(如3420)
        
        # 定义三个核心线性投影层(命名反映功能)
        self.gate_proj = nn.Linear(
            self.hidden_size, self.intermediate_size, bias=bias
        )  # 生成门控信号,控制信息流(对应SwiGLU的门控机制)
        self.up_proj = nn.Linear(
            self.hidden_size, self.intermediate_size, bias=bias
        )  # 将特征投影到高维空间(升维操作)
        self.down_proj = nn.Linear(
            self.intermediate_size, self.hidden_size, bias=bias
        )  # 将高维特征压缩回原始维度(降维操作)
        
        # 激活函数(通过配置获取,通常为SiLU/Swish函数)
        self.act_fn = ACT2FN[config.hidden_act]

    def forward(self, hidden_state):
        """
        前向传播逻辑:实现SwiGLU门控激活的MLP计算
        
        Args:
            hidden_state: 输入特征张量,形状为(batch_size, seq_len, hidden_size)
        
        Returns:
            经过MLP处理后的输出特征,形状保持(batch_size, seq_len, hidden_size)
            
        计算流程:
            1. gate_proj生成门控信号 → 2. 应用SiLU激活
            3. up_proj生成激活信号 → 4. 门控信号与激活信号逐元素相乘
            5. down_proj将结果投影回原始维度
        """
        # 1. 生成门控信号并激活,2. 生成激活信号,3. 门控机制融合
        gated_activation = self.act_fn(self.gate_proj(hidden_state)) * self.up_proj(hidden_state)
        # 4. 降维输出
        return self.down_proj(gated_activation)

门控(gate)

升维(up)

降维(down)

在Qwen2.5-VL的MLP模块中,"门控"(Gate)的命名源于其核心机制------通过门控信号选择性地控制信息流,就像现实中"门"的开关能决定多少信息通过一样。

门控机制的本质:用信号"加权"信息流动

  1. 数学视角:门控即乘法加权

    在代码的forward中,关键操作是:

    python 复制代码
    gated_activation = self.act_fn(self.gate_proj(hidden_state)) * self.up_proj(hidden_state)

    这里,gate_proj生成的张量(门控信号)经过激活函数(如SiLU)后,输出值分布在(0,1)区间。该信号与up_proj的输出逐元素相乘,等价于用门控信号对特征进行加权

    • 门控信号接近1时,对应特征"被允许通过";
    • 接近0时,特征"被抑制"。
  2. 直观比喻:信息的"筛选器"

    想象门控信号是一把"筛子",高值区域让重要特征通过(如视觉中的物体边缘、语言中的关键词),低值区域过滤噪声或无关信息,从而让模型聚焦于跨模态交互的关键信息。

相关推荐
大数据张老师5 分钟前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
音视频牛哥33 分钟前
如何打造毫秒级响应的RTSP播放器:架构拆解与实战优化指南
人工智能·机器人·音视频开发
张较瘦_41 分钟前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
go546315846544 分钟前
Python点阵字生成与优化:从基础实现到高级渲染技术
开发语言·人工智能·python·深度学习·分类·数据挖掘
Coovally AI模型快速验证1 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
人工智能·深度学习·yolo·计算机视觉·目标跟踪·无人机
巫婆理发2221 小时前
神经网络(第二课第一周)
人工智能·深度学习·神经网络
欧阳小猜2 小时前
OpenCV-图像预处理➁【图像插值方法、边缘填充策略、图像矫正、掩膜应用、水印添加,图像的噪点消除】
人工智能·opencv·计算机视觉
旭日东升的xu.2 小时前
OpenCV(04)梯度处理,边缘检测,绘制轮廓,凸包特征检测,轮廓特征查找
人工智能·opencv·计算机视觉
liliangcsdn2 小时前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
qyhua2 小时前
Windows 平台源码部署 Dify教程(不依赖 Docker)
人工智能·windows·python