神经网络与深度学习(第二章)

1.机器学习四要素

(1)数据:模型训练的基本

(2)模型:根据任务和数据类型选择合适的模型

(3)学习准则:计算损失

(4)优化算法:根据损失使用梯度下降or反向传播算法更新模型参数,从而优化模型

本质:通过数据训练所选择的模型,然后计算误差,再根据误差进行优化更新模型参数

2.过拟合和欠拟合的含义

过拟合:模型在训练集上学习的"过好",把噪声和无关特征都学习进去了,导致在测试集上的性能很差,泛化性差

欠拟合:模型在训练集和测试集上的性能都很差,主要因为模型的复杂度过低

3.经验风险和结构风险含义

经验风险:优化时追求训练集误差最小化,容易学习噪声导致过拟合

结构风险:考虑经验风险和模型复杂度,让模型复杂度作为经验风险的约束项,从而避免过拟合,提高模型的泛化能力

4.线性回归

机器学习中的基石模型:用一条直线或超平面去拟合所有的数据,通过最小化均值平方误差更新参数(梯度下降法),对异常值敏感,无法拟合非线性的数据集

5.极大似然估计

选择使当前数据出现概率最大的一组参数作为最优估计

步骤:先得到似然函数L,对L取对数然后对各个参数求偏导使偏导为0得到的参数结构即为参数最优估计

相关推荐
likunyuan083012 分钟前
概率统计中的数学语言与术语1
人工智能·机器学习·概率论
蒋星熠1 小时前
脑机接口(BCI):从信号到交互的工程实践
人工智能·python·神经网络·算法·机器学习·ai·交互
数智顾问1 小时前
Transformer模型:深度解析自然语言处理的革命性架构——从注意力机制到基础架构拆解
人工智能·rnn·深度学习
合作小小程序员小小店1 小时前
桌面预测类开发,桌面%雷达,信号预测%系统开发,基于python,tk,scikit-learn机器学习算法实现,桌面预支持向量机分类算法,CSV无数据库
python·算法·机器学习·支持向量机·scikit-learn
java1234_小锋1 小时前
Scikit-learn Python机器学习 - 聚类分析算法 - Agglomerative Clustering(凝聚层次聚类)
python·算法·机器学习
春末的南方城市2 小时前
港大和字节携手打造WorldWeaver:以统一建模方案整合感知条件,为长视频生成领域带来质量与一致性双重飞跃。
人工智能·深度学习·机器学习·计算机视觉·aigc·音视频
gladiator+4 小时前
深度学习--行人重识别技术(超分辨率网络+ResNet101)附数据集
人工智能·深度学习
en-route4 小时前
深入理解 Scikit-learn:Python 中最常用的机器学习库
python·机器学习·scikit-learn
努力还债的学术吗喽4 小时前
PyTorch nn.Linear 终极详解:从零理解线性层的一切(含可视化+完整代码)
人工智能·pytorch·python·深度学习·基础组件·线性层·nn.linear
无风听海5 小时前
神经网络之sigmoid激活函数
人工智能·深度学习·神经网络