深度学习基础回顾

深度学习基础

浅层网络 VS 深层网络

浅层神经网络参数过多,导致模型的复杂度和计算量很高,难以训练。而深层网络利用多层的线性变换和共享权重的方式,使其可以用更少的参数来表示更复杂的函数,大大减少参数的数量和计算量。

同时,深层网络可以通过层次化的方式,从低层到高层,逐渐提取数据中的抽象和语义信息,从而增强了模型的泛化能力和解释能力。例如,CNN 通过使用多层的卷积核,来形成一个特征的层次结构,从边缘、角点、纹理等低层特征,到物体、场景、语义等高层特征;RNN 通过使用循环结构,来形成一个内部的记忆机制,从而捕捉数据中的长期依赖关系和动态变化规律。

深度学习常用的激活函数

Sigmoid 函数

具体形式: f ( x ) = 1 1 + e − x f(x) = \frac{1}{1+e^{-x}} f(x)=1+e−x1

  • 输出范围(0, 1),可以用于表示概率或二分问题
  • 缺点:容易出现梯度消失等问题,影响模型的收敛速度和效果

ReLU 函数

具体形式: R e L U ( x ) = m a x ( 0 , x ) ReLU(x) = max(0, x) ReLU(x)=max(0,x)

  • 输出范围[0, +∞),可以用于解决梯度消失的问题,提高模型的训练速度
  • 缺点:部分神经元的输出可能永远为零,导致模型的表达能力下降

Softplus 函数

具体形式: S o f t p l u s ( x ) = l o g ( 1 + e x ) Softplus(x) = log(1 + e^x) Softplus(x)=log(1+ex)

  • 输出范围(0, +∞),是 ReLU 函数的平滑版本,避免神经元输出恒为零的问题
  • 缺点:涉及指数和对数运算,计算量比 ReLU 大。且存在输出不以零为中心的问题。

tanh函数

具体形式: t a n h ( x ) = e x − e − x e x + e − x tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x)=ex+e−xex−e−x

  • 输出范围(-1, 1),可以用于解决输出不以零为中心的问题。
  • 缺点:仍然存在梯度消失的问题,尤其是当输入的绝对值较大时,梯度会接近于零。

归纳偏置

归纳偏置可以理解为,从现实生活中观察到的现象中,归纳出一定的规则 ,然后对模型做一定的约束 ,从而起到模型选择的作用。

CNN

适用数据

CNN 擅长捕捉图像或文本中的显著特征 ,适合处理具有空间结构局部相关性的数据。

归纳偏置

CNN 的归纳偏置:认为信息具有空间局部性,可用滑动卷积共享权重的方式降低参数空间

  1. 局部性 :数据中的某些特征或模式,只与它们周围的一部分数据相关,而与远处的数据无关。例如 CNN 通过使用小尺寸的卷积核来实现局部性,即只用卷积核覆盖输入的一小部分,从而提取出局部的特征。【就好比你拿一个放大镜,不断扫描一张图片,提出图片的局部特征】
  2. 空间不变性 :数据中的某些特征或模式,无论出现在哪个位置,都是相同或相似的。例如图像中的猫脸,不论是出现再图像的左上角还是右下角,都是一个猫的练。CNN 通过使用共享权重的卷积核,来实现空间不变性,即用同样的卷积核来扫描整个输入,从而提取出相同或相似的特征。
  3. 平移等效性 :这个假设是指数据中的某些特征或模式,经过平移变换后,仍然保持不变。比如,图像中的一个猫的脸,无论它向左或向右平移一定的距离,仍然是一个猫的脸。CNN 通过使用池化层,来实现平移等效性,即用池化层来降低输入的分辨率,从而减少平移变换对特征的影响。

RNN

适用数据

RNN 能够把握历史信息 ,适合处理具有时序结构上下文依赖性的数据。

归纳偏置

RNN 的归纳偏置:将时序信息纳入考虑,强调顺序重要性

  1. 时序性 :指数据中的某些特征或模式,是随着时间的推移而发生变化的,而且变化的方式是有一定的规律的。比如,语音中的一个单词,是由多个音素按照一定的顺序组成的,而且每个音素的发音受到前后音素的影响。RNN通过使用循环结构,来实现时序性,即将上一时刻的输出或隐藏状态作为下一时刻的输入,从而形成一个内部的记忆机制,使得它能够捕捉数据中的长期依赖关系和动态变化规律。
  2. 时间不变性 :指数据中的某些特征或模式,无论它们出现在哪个时间点,都是相同或相似的。比如,文本中的一个句子,无论它出现在文本的开头还是结尾,都是一个句子。RNN通过使用共享权重,来实现时间不变性,即用同样的参数来处理每一个时刻的输入,从而提取出相同或相似的特征。
相关推荐
搞科研的小刘选手2 分钟前
【通信&网络安全主题】第六届计算机通信与网络安全国际学术会议(CCNS 2025)
大数据·人工智能·网络安全·vr·通信工程·网络技术·计算机工程
QT 小鲜肉39 分钟前
【个人成长笔记】在Ubuntu中的Linux系统安装 anaconda 及其相关终端命令行
linux·笔记·深度学习·学习·ubuntu·学习方法
qq_314810811 小时前
三重变革:数字革命、地缘重构与生态危机
人工智能
武子康1 小时前
AI-调查研究-104-具身智能 从模型训练到机器人部署:ONNX、TensorRT、Triton全流程推理优化详解
人工智能·gpt·ai·性能优化·机器人·tensorflow·具身智能
灵犀物润1 小时前
机器宠物建模的第一步:基础形体搭建(Blocking)
人工智能·机器人·宠物
人机与认知实验室1 小时前
触摸大语言模型的边界
人工智能·深度学习·机器学习·语言模型·自然语言处理
神的孩子都在歌唱2 小时前
PostgreSQL 向量检索方式(pgvector)
数据库·人工智能·postgresql
java1234_小锋2 小时前
TensorFlow2 Python深度学习 - TensorFlow2框架入门 - 使用Keras实现分类问题
python·深度学习·tensorflow·tensorflow2
ARM+FPGA+AI工业主板定制专家2 小时前
基于Jetson+GMSL AI相机的工业高动态视觉感知方案
人工智能·机器学习·fpga开发·自动驾驶
新智元2 小时前
刚刚,谷歌深夜上新 Veo 3.1!网友狂刷 2.75 亿条,Sora 2 要小心了
人工智能·openai