ResNet 残差连接:通往深层网络的“高速公路”

图解说明

  • 中间的直路 :代表正常的学习过程,算出 F(x)F(x)F(x)。
  • 右边的弯路 (红色虚线) :这就是"捷径",直接把原始信息 xxx 传到终点。
  • 终点 (+) :把新学的 F(x)F(x)F(x) 和原来的 xxx 加在一起,作为最终输出。

本文将介绍深度学习领域的一个里程碑式 的发明------ResNet (残差网络)

它的核心概念**"残差连接 (Residual Connection)",听起来很高深,但其实它的原理简单得令人发指。正是这个简单的设计,让神经网络从几十层一下子突破到了上千层**,彻底改变了 AI 的发展轨迹。

如果你完全不懂算法,没关系。我们用一个**"传话游戏"**的例子来拆解它。

1. 遇到的怪事:越努力,越倒退?

在 ResNet 出现之前(2015年以前),科学家们发现了一个非常反直觉的现象:
神经网络并不是越深越好。

按理说,层数越多,脑子越复杂,应该越聪明对吧?

但实际上,当网络层数增加到一定程度(比如 20 层增加到 50 层)时,它的表现反而变差了!准确率不升反降。

这就像你给一个学生补课:

  • 补 1 个小时,他学会了加减法。
  • 补 10 个小时,他学会了乘除法。
  • 补 100 个小时,他... 学傻了,连加减法都忘了。

这就是著名的**"退化问题 (Degradation Problem)"**。因为层数太多,信息在传递过程中丢失了,或者被改乱了。


2. ResNet 的神来之笔:抄作业

为了解决这个问题,微软的何恺明大神想出了一个绝妙的主意:
"如果你学不会新的东西,至少别把旧的东西忘了!"

他在网络里加了一条**"捷径" (Shortcut),也叫"跳跃连接" (Skip Connection)**。

举个栗子 🌰

假设每一层网络都是一个学生,他们在接力处理信息。

  • 普通网络

    • 学生 A 算出结果,传给学生 B。
    • 学生 B 拿着 A 的结果一顿乱改,传给学生 C。
    • 如果 B 改错了,C 拿到的就是垃圾,后面的全完了。
  • ResNet (残差网络)

    • 学生 A 算出结果 xxx。
    • 学生 B 依然要去处理 xxx,算出 F(x)F(x)F(x)。
    • 关键点来了 :在 B 把结果传给 C 之前,我们把 A 的原始结果 xxx 直接加过去
    • 最终结果 = B算出来的东西 F(x)F(x)F(x) + A原本的东西 xxx。

这就像是**"抄作业"**:

学生 B 对老师说:"老师,这是我自己算的答案 F(x)F(x)F(x),但我怕算错了,所以我把上一位同学的正确答案 xxx 也附在后面。您看着办。"


3. 为什么这样就变强了?

这个简单的 F(x)+xF(x) + xF(x)+x 带来了两个巨大的好处:

1. 兜底机制 (至少不会变差)

如果学生 B 这一层是个笨蛋,什么都没学会(F(x)F(x)F(x) 是 0 或乱码),没关系!

因为有 +x+x+x 在,输出结果至少还是 xxx(上一层的水平)。

这就保证了:加深网络,最差也就是原地踏步,绝对不会变差(退化)。

2. 高速公路 (梯度畅通无阻)

还记得我们之前说的**"梯度消失"**吗?

在普通网络里,当老师(输出层)发现错了,想把修正意见(梯度)传回给第 1 层的学生时,必须一层一层往回传。

  • 这就像在拥堵的市区开车,每经过一个路口(层),信号就会衰减一点(被红绿灯拦住)。
  • 如果是 100 层,等传到第 1 层时,信号已经微弱到听不见了,前面的层根本收不到反馈,也就学不到东西。

ResNet 的捷径 ,就像是在市区旁边修了一条直达的高速公路

  • 在反向传播(挨打)的时候,误差信号可以通过这条路直接"跳"回前面的层,不用经过中间那些复杂的关卡(权重层)。
  • 这样,即使网络有 1000 层深,第 1 层也能清晰地听到第 1000 层的反馈,保证了整个团队都在有效学习。

4. 总结

ResNet (残差连接) 就是给神经网络装上了**"记忆保持器"**:

  • 核心操作:输出 = 新学的 + 原来的。
  • 目的:防止层数太深导致"学傻了"或"信号断了"。
  • 结果:让我们能训练出几百层、上千层的超级网络,让 AI 的智商上限被无限拔高。

下次看到 ResNet,别被名字唬住,记得它就是那个**"允许抄上一层作业"**的机智网络!🛣️

相关推荐
AI营销前沿1 天前
原圈科技AI市场分析榜单:2026年如何打破数据孤岛,实现营销增长300%?
大数据·人工智能
(; ̄ェ ̄)。1 天前
机器学习入门(十六)集成学习,GBDT,XGBoost
人工智能·机器学习·集成学习
weixin_549808361 天前
2026中国AI招聘系统选型指南:从“效率工具”到“智能体协同”的跃迁
人工智能
zlt20001 天前
从Prompt工程到Skill工程:Agent Skills开放标准彻底改变了AI协作方式
人工智能·ai·agent skill
Hello World . .1 天前
排序算法:常用排序算法
c语言·数据结构·算法·vim·排序算法
咚咚王者1 天前
人工智能之核心技术 深度学习 第九章 框架实操(PyTorch / TensorFlow)
人工智能·pytorch·深度学习
天空属于哈夫克31 天前
外部群自动化:将 RPA 从“群发工具”进化为私域“情报感知系统”
人工智能·自然语言处理
大模型最新论文速读1 天前
NCoTS:搜索最优推理路径,改进大模型推理效果
人工智能·深度学习·机器学习·语言模型·自然语言处理
寻寻觅觅☆1 天前
东华OJ-基础题-86-字符串统计(C++)
开发语言·c++·算法
偷吃的耗子1 天前
【CNN算法理解】:MNIST手写数字识别训练过程
算法·机器学习·cnn