2.1设置问题
1.机器学习所做的事情正是从数据中进行学习,然后给出预测值。
2.2定义模型
1.一次函数的表达式:
其中θ叫做参数。
在统计学领域,人们常常使用 θ 来表示未知数和推测值。采用 θ加数字下标的形式,是为了防止当未知数增加时,表达式中大量出现 a、b、c、d...这样的符号。这样不但不易理解,还可能会出现符号本身不够用的情况。
2.3最小二乘法
1.实际数据和预测函数之间没有误差是最理想的情况。
2.不可能让所有点的误差都等于 0。所以我们要做的是让所有点的误差之和尽可能地小。
3.假设有 n 个训练数据, 那么它们的误差之和可以用这样的表达式表示。这个表达式称为 目标函数,E(θ) 的 E 是误差的英语单词 Error 的首字母。
表达式中x(i) 和 y(i) 中的 i 不是 i 次幂的意思,而是指第 i 个训 练数据。
2.3.1最速下降法
4.微分是计算变化的快慢程度时使用的方法。
5.只要向与导数的符号相反的方向移动 x,函数就会自然而然地沿着最小值的方向前进了。
6.最速下降法或梯度下降法:
A:=B意思是通过B来定义A。
η是称为学习率的正的常数。根据学习率的大小,到达最小值的更新次数也会发生变化。换种说法就是收敛速度会不同。有时候甚至会出现完全无法收敛,一直发散的情况。
7.假设g(x)的微分是2x-2,如果 η 较大,那么 x := x − η(2x − 2) 会在两个值上跳 来跳去,甚至有可能远离最小值。这就是发散状态。而当 η 较小 时,移动量也变小,更新次数就会增加,但是值确实是会朝着收敛的方向而去。
8.当目标函数拥有多个变量时,不能用普通的微分,要用偏微分。
- 由于E函数中并没有θ0,只有fθ(x),而fθ(x)中又包含θ0,所以可以采用复合函数的微分方式来求解。
至此就可以将两个函数的微分分别求出来,最终得出结论:
2.4多项式回归
1.在更多的情况下,将fθ(x)定义为二次函数,或者是更多次数的函数更加贴合原先的函数。
虽然次数越大拟合得越好,但也会出现过拟合的问题。
2.求多项式的微分与一次函数的方法相同,最终得出结论:
2.5多重回归
1.在前面的假设中,考虑的变量只有一个x,即使是增加次数,也只是修改了关于x一个变量的表达式,而更多的情况下,会有很多个变量,即不同的x。
2.可以把参数 θ 和变量 x 看作向量。只是把 θ 和 x 用列向量来定义。
3.包含了多个变量的回归称为多重回归。对多重回归的微分与前面的方式相同,都是通过偏微分计算。
4.最速下降法就是对所有的训练数据都重复进行计算。
2.6随机梯度下降法
1.最速下降法的缺点:①计算时间长,②容易陷入局部最优解。
2.最速下降法的参数更新表达式:
在这个表达式使用了所有训练数据的误差,而在随机梯度下降法中会随机选择一个训练数据,并使用它来更新参数。这个表达式中的 k 就是被随机选中的数据索引。
3.最速下降法更新 1 次参数的时间,随机梯度下降法可以更新 n 次。此外,随机梯度下降法由于训练数据是随机选择的,更新参数时使用的又是选择数据时的梯度,所以不容易陷入目标函数的局部最优解。
4.设随机选择 m 个训练数据的索引的集合为 K,那么我们这样来更新参数。