ResNet 残差连接:通往深层网络的“高速公路”

图解说明:

  • 中间的直路 :代表正常的学习过程,算出 F(x)F(x)F(x)。
  • 右边的弯路 (红色虚线) :这就是"捷径",直接把原始信息 xxx 传到终点。
  • 终点 (+) :把新学的 F(x)F(x)F(x) 和原来的 xxx 加在一起,作为最终输出。

本文将介绍深度学习领域的一个里程碑式 的发明------ResNet (残差网络)。

它的核心概念**"残差连接 (Residual Connection)",听起来很高深,但其实它的原理简单得令人发指。正是这个简单的设计,让神经网络从几十层一下子突破到了上千层**,彻底改变了 AI 的发展轨迹。

如果你完全不懂算法,没关系。我们用一个**"传话游戏"**的例子来拆解它。

1. 遇到的怪事:越努力,越倒退?

在 ResNet 出现之前(2015年以前),科学家们发现了一个非常反直觉的现象:
神经网络并不是越深越好。

按理说,层数越多,脑子越复杂,应该越聪明对吧?

但实际上,当网络层数增加到一定程度(比如 20 层增加到 50 层)时,它的表现反而变差了!准确率不升反降。

这就像你给一个学生补课:

  • 补 1 个小时,他学会了加减法。
  • 补 10 个小时,他学会了乘除法。
  • 补 100 个小时,他... 学傻了,连加减法都忘了。

这就是著名的**"退化问题 (Degradation Problem)"**。因为层数太多,信息在传递过程中丢失了,或者被改乱了。


2. ResNet 的神来之笔:抄作业

为了解决这个问题,微软的何恺明大神想出了一个绝妙的主意:
"如果你学不会新的东西,至少别把旧的东西忘了!"

他在网络里加了一条**"捷径" (Shortcut),也叫"跳跃连接" (Skip Connection)**。

举个栗子 🌰

假设每一层网络都是一个学生,他们在接力处理信息。

  • 普通网络:

    • 学生 A 算出结果,传给学生 B。
    • 学生 B 拿着 A 的结果一顿乱改,传给学生 C。
    • 如果 B 改错了,C 拿到的就是垃圾,后面的全完了。
  • ResNet (残差网络):

    • 学生 A 算出结果 xxx。
    • 学生 B 依然要去处理 xxx,算出 F(x)F(x)F(x)。
    • 关键点来了 :在 B 把结果传给 C 之前,我们把 A 的原始结果 xxx 直接加过去!
    • 最终结果 = B算出来的东西 F(x)F(x)F(x) + A原本的东西 xxx。

这就像是**"抄作业"**:

学生 B 对老师说:"老师,这是我自己算的答案 F(x)F(x)F(x),但我怕算错了,所以我把上一位同学的正确答案 xxx 也附在后面。您看着办。"


3. 为什么这样就变强了?

这个简单的 F(x)+xF(x) + xF(x)+x 带来了两个巨大的好处:

1. 兜底机制 (至少不会变差)

如果学生 B 这一层是个笨蛋,什么都没学会(F(x)F(x)F(x) 是 0 或乱码),没关系!

因为有 +x+x+x 在,输出结果至少还是 xxx(上一层的水平)。

这就保证了:加深网络,最差也就是原地踏步,绝对不会变差(退化)。

2. 高速公路 (梯度畅通无阻)

还记得我们之前说的**"梯度消失"**吗?

在普通网络里,当老师(输出层)发现错了,想把修正意见(梯度)传回给第 1 层的学生时,必须一层一层往回传。

  • 这就像在拥堵的市区开车,每经过一个路口(层),信号就会衰减一点(被红绿灯拦住)。
  • 如果是 100 层,等传到第 1 层时,信号已经微弱到听不见了,前面的层根本收不到反馈,也就学不到东西。

ResNet 的捷径 ,就像是在市区旁边修了一条直达的高速公路。

  • 在反向传播(挨打)的时候,误差信号可以通过这条路直接"跳"回前面的层,不用经过中间那些复杂的关卡(权重层)。
  • 这样,即使网络有 1000 层深,第 1 层也能清晰地听到第 1000 层的反馈,保证了整个团队都在有效学习。

4. 总结

ResNet (残差连接) 就是给神经网络装上了**"记忆保持器"**:

  • 核心操作:输出 = 新学的 + 原来的。
  • 目的:防止层数太深导致"学傻了"或"信号断了"。
  • 结果:让我们能训练出几百层、上千层的超级网络,让 AI 的智商上限被无限拔高。

下次看到 ResNet,别被名字唬住,记得它就是那个**"允许抄上一层作业"**的机智网络!🛣️

相关推荐
FITA阿泽要努力几秒前
/goal 命令:给 Agent 设定目标
服务器·人工智能·python·agent
志尊宝13 分钟前
AI原生前端开发(016):端侧AI与React 19结合实战
人工智能·react.js·ai-native
GPUStack13 分钟前
从 24 到 51 tok/s:用 GPUStack 调优 4 台 DGX Spark 上的 GLM 推理
人工智能·开源软件·gpustack·推理集群
leizhen1984080914 分钟前
操作系统正在被为智能体重做_上集(漫画)
人工智能·安全
BD_Marathon15 分钟前
【RAG开发】LangChain调用大语言模型
人工智能·语言模型·langchain
大鹏的NLP博客16 分钟前
工业视觉目标检测阈值选择与生产决策评估报告
人工智能·目标检测·图像检测
xiaoyunxuexibiji17 分钟前
供应商认证管理怎么做?从资质审核到现场认证、样品认证
运维·服务器·人工智能
嘉行文19 分钟前
传统机器学习与深度学习的特点与选择
人工智能·深度学习·机器学习
咕泡科技20 分钟前
深度学习碾压机器学习?经典机器学习是否真的无用了?从LLM底层逻辑到工业落地全景解析
人工智能·深度学习·机器学习·llm·nlp
凤山老林24 分钟前
授权模型只会RBAC?深入 ABAC 授权模型,实现权限判断做成策略引擎
大数据·数据库·算法