深度学习读书笔记 绪论

深度学习是什么?

机器学习的分支。

深度学习问题也是指从有限样例中总结出一般的规律,应用在新的未知数据上的方法。

机器学习的三个基本要素

模型

机器学习任务首要弄明白的,也就是一个机器学习任务所面对的输入空间和输出空间。

输入空间到输出空间,xy之间的关系可以用一个函数或者分布来描述的话,机器学习的目标就是找到模型来接近这个真实的函数或者分布。

假设空间

指的是所有可能的预测模型(或假设)的集合。

也就是输入空间和输出空间的中间,模型参数作为模型这个假想函数的变量,作为一种理想状态来拟合真实情况或者说真实的函数。

学习准则

如果训练集由N个独立的,同分布的样本组成。

好的模型应该让xy的值与真实情况尽可能一致。

模型使用期望风险来衡量。

期望风险则是由损失函数来量化xy和真实xy的差异,从而计算期望来定义的。

损失函数有很多种,各自有优缺点。

我们想着最后总要让这个损失函数计算的期望最低,也就是风险最小化准则。

但是期望风险无法计算,能够计算的是经验风险,也就是训练集上的损失函数量化的结果。

如果追求风险最小化,得到的是经验风险的最小化,而不是期望风险。

如果训练样本量比较小,这样容易过拟合。

过拟合:

表现为模型在训练集上错误率低,在未知数据上错误率高。

为了解决过拟合,引入正则化。

正则化:

修改损失函数,添加正则项。

优化算法

最后,确定了训练集,假设空间,学习准则之后,如何找到最优模型?

一个最优化问题。怎么找到最优参数,就是我们的优化算法要解决的事情。

参数,超参数

如果理解参数是函数的系数的话,我们的超参数就是用来定义模型结构或者优化策略的。超参数是用来得到最优参数的手段的参数。

比如聚类算法的类别个数,梯度下降法的步长等。

梯度下降

最常见的优化算法。可以理解为一个人不断下山,寻找最优(最低处)目标。有很多情况,如果优化目标函数是非凸的,就可能只能找到局部最优。为此设计了很多不同的梯度下降避免我们下山路上卡在小山沟,比如一次性走的步长不同之类的思路。

提前停止

防止过拟合。在训练集上训练,使用验证集测试模型是否最优。每次迭代,检测训练出的模型是否在验证集上最优(即准确率不再提升)。

如果在训练集上准确率不断提升,验证集却证明准确率没有提升就是过拟合了,所以我们要在验证集上准确率不再提升时提前停止。

总结

深度学习也是机器学习,在一个机器学习任务中,最开始很重要的就是输入空间和输出空间的确立。之间的真实映射我们使用假设来拟合它,假设的集合就是假设空间。之后使用一个函数来评价不同假设的效果。之后使用优化算法使目标函数最小。(或者说假设效果最好)

相关推荐
Microvision维视智造1 分钟前
从“人工眼”到‘智能眼’:EZ-Vision视觉系统如何重构生产线视觉检测精度?
图像处理·人工智能·重构·视觉检测
巫婆理发22211 分钟前
神经网络(多层感知机)(第二课第二周)
人工智能·深度学习·神经网络
lxmyzzs15 分钟前
【打怪升级 - 03】YOLO11/YOLO12/YOLOv10/YOLOv8 完全指南:从理论到代码实战,新手入门必看教程
人工智能·神经网络·yolo·目标检测·计算机视觉
SEO_juper16 分钟前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
Coovally AI模型快速验证28 分钟前
数据集分享 | 智慧农业实战数据集精选
人工智能·算法·目标检测·机器学习·计算机视觉·目标跟踪·无人机
xw337340956429 分钟前
彩色转灰度的核心逻辑:三种经典方法及原理对比
人工智能·python·深度学习·opencv·计算机视觉
蓝桉80230 分钟前
opencv学习(图像金字塔)
人工智能·opencv·学习
倔强青铜三33 分钟前
为什么 self 与 super() 成了 Python 的永恒痛点?
人工智能·python·面试
墨尘游子36 分钟前
目标导向的强化学习:问题定义与 HER 算法详解—强化学习(19)
人工智能·python·算法
go54631584651 小时前
中文语音识别与偏误检测系统开发
开发语言·人工智能·学习·生成对抗网络·数学建模·语音识别