什么是ResNet

什么是ResNet

  ResNet(Residual Network,残差网络)是2015年由何凯明等人提出的深层卷积神经网络(CNN)架构,因解决了"深层网络训练难题"而成为计算机视觉领域的里程碑模型。它在ImageNet图像分类竞赛中以显著优势夺冠,并深刻影响了后续几乎所有深度学习视觉任务的模型设计。

核心问题:深层网络的"退化现象"

  在ResNet提出前,研究者发现一个矛盾:当网络深度增加到一定程度后,模型性能会先提升、后下降(即使没有过拟合)。这种"深度增加但精度下降"的现象被称为"退化(Degradation)",其本质是深层网络在反向传播时,梯度经过多层传递后会逐渐消失或爆炸,导致底层参数难以更新,模型无法有效学习。(但深度增加后,梯度 ∂Loss∂x\frac{∂Loss}{∂x}∂x∂Loss 经多层传递后趋近于 0。)

ResNet的核心创新:残差块与跳跃连接

  为解决退化问题,ResNet引入了残差块(Residual Block)结构,其核心是"跳跃连接(Skip Connection)"------让输入直接跳过部分网络层,与该部分的输出相加,形成"残差学习"机制。

1. 残差块的结构

一个基础残差块包含:

  • 若干卷积层(通常是2-3层),负责学习"残差函数"F(x)F(x)F(x);
  • 一条跳跃连接(通常是直接映射,即恒等映射),将输入xxx直接传递到块的输出端;
  • 输出为"残差函数 + 输入":H(x)=F(x)+xH(x) = F(x) + xH(x)=F(x)+x。

  简单来说,传统网络要求卷积层直接学习目标映射H(x)H(x)H(x),而ResNet让卷积层学习"目标映射与输入的差值"(即残差F(x)=H(x)−xF(x) = H(x) - xF(x)=H(x)−x),再通过跳跃连接将输入"加回来"。

2. 跳跃连接的作用
  • 缓解梯度消失:反向传播时,梯度可以通过跳跃连接直接传递到浅层(无需经过所有卷积层),避免梯度在深层传递中衰减至0;
  • 简化学习目标:残差F(x)F(x)F(x)通常比直接学习H(x)H(x)H(x)更容易(例如,当最优映射接近恒等映射时,F(x)F(x)F(x)只需学习接近0的小值);
  • 保留低层特征:输入xxx直接传递到深层,避免低层特征在多层变换中被"稀释"。

ResNet的典型结构

  ResNet根据网络深度分为多个版本(如ResNet-18、34、50、101、152),数字代表总层数(含卷积层和全连接层)。其中:

  • 浅层ResNet(18/34层):使用"基础残差块",由2个3×3卷积层组成;
  • 深层ResNet(50/101/152层):使用"瓶颈残差块(Bottleneck Block)",通过1×1卷积先降维、再用3×3卷积计算、最后1×1卷积升维,在增加深度的同时减少参数和计算量。

  整体结构遵循"卷积层 + 残差块堆叠 + 全局池化 + 全连接层"的范式,通过残差块的重复堆叠实现"超深"网络(最深达152层)。

ResNet的意义与影响

  1. 突破深度限制:首次实现了100层以上网络的有效训练,证明"更深的网络可以更优";
  2. 成为基础架构:残差连接被广泛借鉴到后续模型中(如ResNeXt、DenseNet、Transformer等),成为深度学习的"标准组件";
  3. 推动视觉任务发展:在图像分类、目标检测(如Faster R-CNN)、语义分割(如U-Net改进版)等任务中,基于ResNet的模型长期保持SOTA(State-of-the-Art)性能。

  简言之,ResNet通过"残差学习"和"跳跃连接"解决了深层网络的训练难题,不仅刷新了当时的视觉任务精度,更重塑了深度学习模型的设计思路,至今仍是计算机视觉领域的基础模型之一。

相关推荐
阿里云大数据AI技术9 分钟前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream1 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记2 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金2 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络2 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI2 小时前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能