深度学习零碎知识

1. 理解似然函数

似然函数是指当前状态下模型空间中找到合理模型的概率 ,所以可以理解为最小化损失函数就可以最大化似然函数,最大可能找到正确的模型。

2. 增加隐藏层层数而非神经元个数

神经网络的万有近似性质表明,​一个具有足够多神经元的单隐藏层前馈神经网络可以近似任何连续函数。这意味着理论上,单层网络已经具备强大的表达能力。

然而,​理论上的可能性并不等于实际的高效性。在实际应用中,单层网络可能需要非常多的神经元才能达到较好的效果

深层神经网络可以学习到层次化的特征表示

  • 浅层(靠近输入层)学习低级特征(如边缘、纹理)。
  • 深层(靠近输出层)学习高级特征(如物体形状、语义信息)。
    这种层次化的特征提取能力使得深层网络能够更好地表示复杂的函数关系。
(2)​更高效的特征学习

深层网络可以用更少的参数学习到更复杂的特征。相比之下,单层网络需要大量神经元才能达到类似的效果,导致参数冗余和计算浪费。

(3)​缓解梯度消失和爆炸问题

在浅层网络中,梯度消失和梯度爆炸问题较为严重,导致训练困难。深层网络通过以下技术缓解这些问题:

  • 残差连接(Residual Connections)​:如ResNet中的跳跃连接,帮助梯度更好地传播。
  • 批量归一化(Batch Normalization)​:稳定训练过程,加速收敛。

3. ​激活函数的本质是什么?

激活函数的核心作用是引入非线性,从而使神经网络能够学习复杂的函数关系。具体来说,激活函数的本质包括:

(1)​非线性变换

如果没有激活函数,神经网络只是多个线性变换的叠加,整体仍然是一个线性模型。通过激活函数,神经网络可以表示复杂的非线性函数,从而解决更复杂的任务。

(2)​特征提取

激活函数帮助神经网络提取不同层次的特征。浅层网络提取低级特征(如边缘、纹理),深层网络提取高级特征(如物体形状、语义信息)。这种层次化的特征提取能力是深度学习成功的关键。

(3)​控制输出范围

激活函数可以控制神经元的输出范围,使其符合任务需求。例如:

  • Sigmoid将输出限制在 [0,1],适合二分类任务。
  • Tanh将输出限制在 [−1,1],适合需要负值的任务。
  • ReLU将输出限制在 [0,+∞),适合需要非负值的任务。
相关推荐
白-胖-子3 分钟前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
NeoFii2 小时前
Day 22: 复习
机器学习
静心问道2 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.02 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12013 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师3 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域3 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木3 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能