神经网络与深度学习(第二章)

1.机器学习四要素

(1)数据:模型训练的基本

(2)模型:根据任务和数据类型选择合适的模型

(3)学习准则:计算损失

(4)优化算法:根据损失使用梯度下降or反向传播算法更新模型参数,从而优化模型

本质:通过数据训练所选择的模型,然后计算误差,再根据误差进行优化更新模型参数

2.过拟合和欠拟合的含义

过拟合:模型在训练集上学习的"过好",把噪声和无关特征都学习进去了,导致在测试集上的性能很差,泛化性差

欠拟合:模型在训练集和测试集上的性能都很差,主要因为模型的复杂度过低

3.经验风险和结构风险含义

经验风险:优化时追求训练集误差最小化,容易学习噪声导致过拟合

结构风险:考虑经验风险和模型复杂度,让模型复杂度作为经验风险的约束项,从而避免过拟合,提高模型的泛化能力

4.线性回归

机器学习中的基石模型:用一条直线或超平面去拟合所有的数据,通过最小化均值平方误差更新参数(梯度下降法),对异常值敏感,无法拟合非线性的数据集

5.极大似然估计

选择使当前数据出现概率最大的一组参数作为最优估计

步骤:先得到似然函数L,对L取对数然后对各个参数求偏导使偏导为0得到的参数结构即为参数最优估计

相关推荐
长桥夜波1 小时前
机器学习日报02
人工智能·机器学习·neo4j
tainshuai1 小时前
YOLOv4 实战指南:单 GPU 训练的目标检测利器
yolo·目标检测·机器学习
被放养的研究生2 小时前
设计神经网络的技巧
神经网络
wperseverance2 小时前
Pytorch常用层总结
深度学习·机器学习
永霖光电_UVLED3 小时前
FBH公司开发了200 MHz GaN降压变换器模块
人工智能·神经网络·生成对抗网络
小殊小殊3 小时前
【论文笔记】LTX-Video极致速度的视频生成模型
图像处理·人工智能·深度学习
性感博主在线瞎搞3 小时前
【人工智能】神经网络的优化器optimizer(四):Adam自适应动量优化器
人工智能·深度学习·神经网络·性能优化·优化器
paid槮4 小时前
深度学习复习汇总
人工智能·深度学习
Light604 小时前
深度学习 × 计算机视觉 × Kaggle(上):从理论殿堂起步 ——像素、特征与模型的进化之路
人工智能·深度学习·计算机视觉·卷积神经网络·transformer·特征学习
机器学习之心4 小时前
未发表,三大创新!OCSSA-VMD-Transformer-Adaboost特征提取+编码器+集成学习轴承故障诊断
深度学习·transformer·集成学习·ocssa-vmd