深度学习零碎知识

1. 理解似然函数

似然函数是指当前状态下模型空间中找到合理模型的概率 ,所以可以理解为最小化损失函数就可以最大化似然函数,最大可能找到正确的模型。

2. 增加隐藏层层数而非神经元个数

神经网络的万有近似性质表明,​一个具有足够多神经元的单隐藏层前馈神经网络可以近似任何连续函数。这意味着理论上,单层网络已经具备强大的表达能力。

然而,​理论上的可能性并不等于实际的高效性。在实际应用中,单层网络可能需要非常多的神经元才能达到较好的效果

深层神经网络可以学习到层次化的特征表示

  • 浅层(靠近输入层)学习低级特征(如边缘、纹理)。
  • 深层(靠近输出层)学习高级特征(如物体形状、语义信息)。
    这种层次化的特征提取能力使得深层网络能够更好地表示复杂的函数关系。
(2)​更高效的特征学习

深层网络可以用更少的参数学习到更复杂的特征。相比之下,单层网络需要大量神经元才能达到类似的效果,导致参数冗余和计算浪费。

(3)​缓解梯度消失和爆炸问题

在浅层网络中,梯度消失和梯度爆炸问题较为严重,导致训练困难。深层网络通过以下技术缓解这些问题:

  • 残差连接(Residual Connections)​:如ResNet中的跳跃连接,帮助梯度更好地传播。
  • 批量归一化(Batch Normalization)​:稳定训练过程,加速收敛。

3. ​激活函数的本质是什么?

激活函数的核心作用是引入非线性,从而使神经网络能够学习复杂的函数关系。具体来说,激活函数的本质包括:

(1)​非线性变换

如果没有激活函数,神经网络只是多个线性变换的叠加,整体仍然是一个线性模型。通过激活函数,神经网络可以表示复杂的非线性函数,从而解决更复杂的任务。

(2)​特征提取

激活函数帮助神经网络提取不同层次的特征。浅层网络提取低级特征(如边缘、纹理),深层网络提取高级特征(如物体形状、语义信息)。这种层次化的特征提取能力是深度学习成功的关键。

(3)​控制输出范围

激活函数可以控制神经元的输出范围,使其符合任务需求。例如:

  • Sigmoid将输出限制在 [0,1],适合二分类任务。
  • Tanh将输出限制在 [−1,1],适合需要负值的任务。
  • ReLU将输出限制在 [0,+∞),适合需要非负值的任务。
相关推荐
飞睿科技11 分钟前
乐鑫代理商飞睿科技,2025年AI智能语音助手市场发展趋势与乐鑫芯片解决方案分析
人工智能
许泽宇的技术分享12 分钟前
从新闻到知识图谱:用大模型和知识工程“八步成诗”打造科技并购大脑
人工智能·科技·知识图谱
坤坤爱学习2.026 分钟前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
蹦蹦跳跳真可爱5891 小时前
Python----循环神经网络(Transformer ----注意力机制)
人工智能·深度学习·nlp·transformer·循环神经网络
空中湖3 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan773 小时前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
千宇宙航6 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董6 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco7 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
jndingxin9 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉