《白话机器学习的数学》第2章——学习回归

2.1设置问题

1.机器学习所做的事情正是从数据中进行学习,然后给出预测值。

2.2定义模型

1.一次函数的表达式:

其中θ叫做参数。

在统计学领域,人们常常使用 θ 来表示未知数和推测值。采用 θ加数字下标的形式,是为了防止当未知数增加时,表达式中大量出现 a、b、c、d...这样的符号。这样不但不易理解,还可能会出现符号本身不够用的情况。 ​

2.3最小二乘法

1.实际数据和预测函数之间没有误差是最理想的情况。

2.不可能让所有点的误差都等于 0。所以我们要做的是让所有点的误差之和尽可能地小。

3.假设有 n 个训练数据, 那么它们的误差之和可以用这样的表达式表示。这个表达式称为 目标函数,E(θ) 的 E 是误差的英语单词 Error 的首字母。

表达式中x(i) 和 y(i) 中的 i 不是 i 次幂的意思,而是指第 i 个训 练数据。

2.3.1最速下降法

4.微分是计算变化的快慢程度时使用的方法。

5.只要向与导数的符号相反的方向移动 x,函数就会自然而然地沿着最小值的方向前进了。

6.最速下降法或梯度下降法:

A:=B意思是通过B来定义A。

η是称为学习率的正的常数。根据学习率的大小,到达最小值的更新次数也会发生变化。换种说法就是收敛速度会不同。有时候甚至会出现完全无法收敛,一直发散的情况。

7.假设g(x)的微分是2x-2,如果 η 较大,那么 x := x − η(2x − 2) 会在两个值上跳 来跳去,甚至有可能远离最小值。这就是发散状态。而当 η 较小 时,移动量也变小,更新次数就会增加,但是值确实是会朝着收敛的方向而去。

8.当目标函数拥有多个变量时,不能用普通的微分,要用偏微分。

  1. 由于E函数中并没有θ0,只有fθ(x),而fθ(x)中又包含θ0,所以可以采用复合函数的微分方式来求解。

至此就可以将两个函数的微分分别求出来,最终得出结论:

2.4多项式回归

1.在更多的情况下,将fθ(x)定义为二次函数,或者是更多次数的函数更加贴合原先的函数。

虽然次数越大拟合得越好,但也会出现过拟合的问题。

2.求多项式的微分与一次函数的方法相同,最终得出结论:

2.5多重回归

1.在前面的假设中,考虑的变量只有一个x,即使是增加次数,也只是修改了关于x一个变量的表达式,而更多的情况下,会有很多个变量,即不同的x。

2.可以把参数 θ 和变量 x 看作向量。只是把 θ 和 x 用列向量来定义。

​​​​​​​

3.包含了多个变量的回归称为多重回归。对多重回归的微分与前面的方式相同,都是通过偏微分计算。

4.最速下降法就是对所有的训练数据都重复进行计算。

2.6随机梯度下降法

1.最速下降法的缺点:①计算时间长,②容易陷入局部最优解。

2.最速下降法的参数更新表达式:

在这个表达式使用了所有训练数据的误差,而在随机梯度下降法中会随机选择一个训练数据,并使用它来更新参数。这个表达式中的 k 就是被随机选中的数据索引。

3.最速下降法更新 1 次参数的时间,随机梯度下降法可以更新 n 次。此外,随机梯度下降法由于训练数据是随机选择的,更新参数时使用的又是选择数据时的梯度,所以不容易陷入目标函数的局部最优解。

4.设随机选择 m 个训练数据的索引的集合为 K,那么我们这样来更新参数。

相关推荐
A旧城以西12 分钟前
数据结构(JAVA)单向,双向链表
java·开发语言·数据结构·学习·链表·intellij-idea·idea
无所谓จุ๊บ14 分钟前
VTK知识学习(50)- 交互与Widget(一)
学习·vtk
FAREWELL0007519 分钟前
C#核心学习(七)面向对象--封装(6)C#中的拓展方法与运算符重载: 让代码更“聪明”的魔法
学习·c#·面向对象·运算符重载·oop·拓展方法
吴梓穆41 分钟前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
向上的车轮1 小时前
NOA是什么?国内自动驾驶技术的现状是怎么样的?
人工智能·机器学习·自动驾驶
Three~stone1 小时前
MySQL学习集--DDL
数据库·sql·学习
齐尹秦1 小时前
HTML 音频(Audio)学习笔记
学习
瞌睡不来2 小时前
(学习总结32)Linux 基础 IO
linux·学习·io
Moonnnn.2 小时前
运算放大器(四)滤波电路(滤波器)
笔记·学习·硬件工程
你觉得2052 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint