深度学习5(深层神经网络 + 参数和超参数)

深层神经网络简介

深层神经网络是机器学习中一种重要的模型,它通过增加网络的"深度"(即隐藏层的数量)来提升模型对复杂数据的表示和学习能力。同浅层类似,也分为三个部分:

输入层:接收原始数据(如图像像素、文本向量等)。

隐藏层:由多层组成,每一层包含若干神经元(节点),通过权重和激活函数处理数据。

输出层:生成最终预测结果(如分类概率、回归值等)。

深层神经网络正向传播

深层神经网络反向传播

原理比较容易理解,与浅层神经网络类似,可以分为多个逻辑回归,进行反向传播


参数和超参数

参数(Parameters)

定义

模型内部学习得到的变量,通过训练数据自动优化,无需人工设定。

示例

神经网络中的权重(Weights)偏置(Bias)

线性回归中的系数(θ0,θ1θ0​,θ1​)。

特点

数据驱动:通过反向传播(如梯度下降)从数据中学习。

数量庞大:深层网络的参数量可达数百万甚至数十亿(如GPT-3有1750亿参数)。

存储于模型中:训练完成后,参数被保存用于预测。

优化目标

最小化损失函数(如交叉熵、均方误差)。


2. 超参数(Hyperparameters)

定义

训练前人为设定的配置,控制模型的学习过程或结构。

示例

学习率(Learning Rate):梯度下降的步长。

批量大小(Batch Size):每次迭代使用的样本数。

网络结构:层数、每层神经元数量。

正则化参数:L2惩罚系数(λλ)、Dropout率。

优化器选择:Adam、SGD等。

特点

人工依赖:无法直接从数据中学习,需通过经验或调优确定。

影响全局:超参数的选择直接影响模型收敛速度、泛化能力和最终性能。

需实验验证:通常通过网格搜索、随机搜索或贝叶斯优化确定。

相关推荐
TGC达成共识25 分钟前
解锁处暑健康生活
人工智能·科技·其他·安全·生活·美食·风景
猫头虎43 分钟前
什么是AI+?什么是人工智能+?
人工智能·ai·prompt·aigc·数据集·ai编程·mcp
聚客AI44 分钟前
💡为什么你的RAG回答总是胡言乱语?致命瓶颈在数据预处理层
人工智能·langchain·llm
彭军辉1 小时前
什么是AI宠物
人工智能
siliconstorm.ai1 小时前
穿越周期:AIoT产业的真实突破口与实践路径
大数据·人工智能
爱喝奶茶的企鹅1 小时前
Ethan独立开发新品速递 | 2025-08-27
人工智能
武子康2 小时前
AI-调查研究-59-机器人 行业职业地图:发展路径、技能要求与薪资全解读
人工智能·gpt·程序人生·ai·职场和发展·机器人·个人开发
大视码垛机2 小时前
大视码垛机器人:以技术优势撬动工业码垛升级
人工智能·机器人·自动化·制造
夜郎king2 小时前
基于高德地图的怀化旅发精品路线智能规划导航之旅
人工智能
MarkHD2 小时前
AI提示词30天入门培训计划
人工智能·chatgpt