深度学习是什么？
机器学习的分支。
深度学习问题也是指从有限样例中总结出一般的规律，应用在新的未知数据上的方法。
机器学习的三个基本要素
模型
机器学习任务首要弄明白的，也就是一个机器学习任务所面对的输入空间和输出空间。
输入空间到输出空间，xy之间的关系可以用一个函数或者分布来描述的话，机器学习的目标就是找到模型来接近这个真实的函数或者分布。
假设空间
指的是所有可能的预测模型（或假设）的集合。
也就是输入空间和输出空间的中间，模型参数作为模型这个假想函数的变量，作为一种理想状态来拟合真实情况或者说真实的函数。
学习准则
如果训练集由N个独立的，同分布的样本组成。
好的模型应该让xy的值与真实情况尽可能一致。
模型使用期望风险来衡量。
期望风险则是由损失函数来量化xy和真实xy的差异，从而计算期望来定义的。
损失函数有很多种，各自有优缺点。
我们想着最后总要让这个损失函数计算的期望最低，也就是风险最小化准则。
但是期望风险无法计算，能够计算的是经验风险，也就是训练集上的损失函数量化的结果。
如果追求风险最小化，得到的是经验风险的最小化，而不是期望风险。
如果训练样本量比较小，这样容易过拟合。
过拟合：
表现为模型在训练集上错误率低，在未知数据上错误率高。
为了解决过拟合，引入正则化。
正则化：
修改损失函数，添加正则项。
优化算法
最后，确定了训练集，假设空间，学习准则之后，如何找到最优模型？
一个最优化问题。怎么找到最优参数，就是我们的优化算法要解决的事情。
参数，超参数
如果理解参数是函数的系数的话，我们的超参数就是用来定义模型结构或者优化策略的。超参数是用来得到最优参数的手段的参数。
比如聚类算法的类别个数，梯度下降法的步长等。
梯度下降
最常见的优化算法。可以理解为一个人不断下山，寻找最优（最低处）目标。有很多情况，如果优化目标函数是非凸的，就可能只能找到局部最优。为此设计了很多不同的梯度下降避免我们下山路上卡在小山沟，比如一次性走的步长不同之类的思路。
提前停止
防止过拟合。在训练集上训练，使用验证集测试模型是否最优。每次迭代，检测训练出的模型是否在验证集上最优（即准确率不再提升）。
如果在训练集上准确率不断提升，验证集却证明准确率没有提升就是过拟合了，所以我们要在验证集上准确率不再提升时提前停止。
总结
深度学习也是机器学习，在一个机器学习任务中，最开始很重要的就是输入空间和输出空间的确立。之间的真实映射我们使用假设来拟合它，假设的集合就是假设空间。之后使用一个函数来评价不同假设的效果。之后使用优化算法使目标函数最小。（或者说假设效果最好）