残差连接

【论文阅读19】-Res-Net (CVPR 2016)-Deep Residual Learning for Image Recognition这篇论文提出了深度残差学习（Deep Residual Learning）框架，通过引入残差模块（ResNet Block）解决了深层神经网络训练中的退化问题。其核心创新是将传统的层间映射 H ( x ) H(x) H(x) 转化为残差映射 F ( x ) = H ( x ) − x F(x) = H(x) - x F(x)=H(x)−x，通过跳跃连接（Skip Connection）实现恒等映射的短路机制。这种设计让网络能更高效学习微小波动（当最优解接近恒等时），同时梯度可通过残差路径直接反向传播到底

从函数逼近角度理解神经网络、残差连接与激活函数最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数 f ( x ) = x 2 f(x)=x^2 f(x)=x2时(这个激活函数想法来源于 f ( x ) = R e L U 2 ( x ) [ 3 ] f(x)=ReLU^2(x)[3] f(x)=ReLU2(x)[3])，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。