深度学习5(深层神经网络 + 参数和超参数)

深层神经网络简介

深层神经网络是机器学习中一种重要的模型,它通过增加网络的"深度"(即隐藏层的数量)来提升模型对复杂数据的表示和学习能力。同浅层类似,也分为三个部分:

输入层:接收原始数据(如图像像素、文本向量等)。

隐藏层:由多层组成,每一层包含若干神经元(节点),通过权重和激活函数处理数据。

输出层:生成最终预测结果(如分类概率、回归值等)。

深层神经网络正向传播

深层神经网络反向传播

原理比较容易理解,与浅层神经网络类似,可以分为多个逻辑回归,进行反向传播


参数和超参数

参数(Parameters)

定义

模型内部学习得到的变量,通过训练数据自动优化,无需人工设定。

示例

神经网络中的权重(Weights)偏置(Bias)

线性回归中的系数(θ0,θ1θ0​,θ1​)。

特点

数据驱动:通过反向传播(如梯度下降)从数据中学习。

数量庞大:深层网络的参数量可达数百万甚至数十亿(如GPT-3有1750亿参数)。

存储于模型中:训练完成后,参数被保存用于预测。

优化目标

最小化损失函数(如交叉熵、均方误差)。


2. 超参数(Hyperparameters)

定义

训练前人为设定的配置,控制模型的学习过程或结构。

示例

学习率(Learning Rate):梯度下降的步长。

批量大小(Batch Size):每次迭代使用的样本数。

网络结构:层数、每层神经元数量。

正则化参数:L2惩罚系数(λλ)、Dropout率。

优化器选择:Adam、SGD等。

特点

人工依赖:无法直接从数据中学习,需通过经验或调优确定。

影响全局:超参数的选择直接影响模型收敛速度、泛化能力和最终性能。

需实验验证:通常通过网格搜索、随机搜索或贝叶斯优化确定。

相关推荐
乌恩大侠2 小时前
自动驾驶的未来:多模态传感器钻机
人工智能·机器学习·自动驾驶
光锥智能3 小时前
AI办公的效率革命,金山办公从未被颠覆
人工智能
GetcharZp4 小时前
爆肝整理!带你快速上手LangChain,轻松集成DeepSeek,打造自己的AI应用
人工智能·llm·deepseek
猫头虎4 小时前
新手小白如何快速检测IP 的好坏?
网络·人工智能·网络协议·tcp/ip·开源·github·php
GeeJoe5 小时前
凡人炼丹传之 · 我让 AI 帮我训练了一个 AI
人工智能·机器学习·llm
小和尚同志5 小时前
Dify29. 为你的 Dify API 穿层衣服吧
人工智能·aigc
不会学习的小白O^O5 小时前
神经网络----卷积层(Conv2D)
人工智能·深度学习·神经网络
bastgia5 小时前
Transformer终结者?Google DeepMind新架构实现2倍推理速度和一半内存占用
人工智能·llm
努力一点9485 小时前
ubuntu22.04系统入门 linux入门(二) 简单命令 多实践以及相关文件管理命令
linux·运维·服务器·人工智能·gpu算力