深度学习2 线性回归和非线性回归

1.回归分析本质是一种建模技术,它研究的是因变量和自变量之间的关系,并将这种关系建立成模 型,以用于预测分析。线性回归是最广为人知的建模技术之一,而非线性回归问题一般可以转化为线性回归问题进行求解。

要想弄清楚线性回归是什么,可以把这个词拆开来理解,即"线性"和"回归"。"回归"一 般指的是研究一组随机变量Y₁,Y₂ 和另一组随机变量 X₁,X₂ 之间关系的统计分析方法。线性回归同样也是一种研究两组随机变量之间关系的方法。"线性"描述的是一种关系, 一般来说如果两个变量之间存在一次函数关系,就称它们之间存在线性关系。

2.极大似然估计法是统计学中方法之一。概率用于已知一些参数的情况,预测接下来的观测所得到的结果,是一个正向过程;什么是似然性?似然性用于已知某些观测所得到的结果,然后对事物的性质参数进行估计,是一个逆向的过程。 一般可以说某事件发生的概率是多少,某参数的似然估计值是多少,不能说某事件的似然估计值。

3.在机器学习和深度学习中,梯度下降是绕不开的。梯度本质是一个向量,通俗一点来讲就是对一个多元函数求偏导,得到的偏导函数构成的向量就称为梯度。例如, 一元函数的梯度就是它的导数。求解一元函数的极值问题时,就是在找导数为0 的点。对于多元函数,如果每个自变量的偏导数都是0的时候,是不是可以找到这个多元函 数的极值呢?

梯度下降就是让梯度不断下降到0的过程。梯度下降是一个迭代法,就是一遍 又一遍地运行,每一轮都会让梯度下降一点点,然后不断向0靠近。

学习率就是设定好的,规定每一次梯度下降的速度的。假设距离目的地只有10cm 的 距离,如果学习率假设比较小,每次往目的地前进lcm, 这样大约10步就到目的地了。但是假设步长是20cm, 不管怎么走,都无法到达目的地。相应的,假如步长是0.1cm, 那这时候 就需要100步才能到,所以步长的选择过大则可能无法收敛,过小则收敛速度过慢。

总结:

(1)线性回归:研究变量之间存在怎样的线性关系。

(2)线性回归的解析解,采用最小均方误差进行衡量:

根据目标函数,求出了最优参数的公式:

最后,介绍如何解决非线性回归问题:转换为线性回归问题进行求解。

(3)学会如何用梯度下降求解线性回归问题。

( 4 ) 用Python 展示梯度下降逐渐逼近最优解的迭代过程。

相关推荐
静心问道9 分钟前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
亲持红叶12 分钟前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
Wendy14418 小时前
【线性回归(最小二乘法MSE)】——机器学习
算法·机器学习·线性回归
绝顶大聪明9 小时前
【深度学习】神经网络-part2
人工智能·深度学习·神经网络
Danceful_YJ10 小时前
16.使用ResNet网络进行Fashion-Mnist分类
人工智能·深度学习·神经网络·resnet
甄卷12 小时前
李沐动手学深度学习Pytorch-v2笔记【08线性回归+基础优化算法】2
pytorch·深度学习·算法
豆豆12 小时前
神经网络构建
人工智能·深度学习·神经网络
wh_xia_jun13 小时前
基础分类模型及回归简介(一)
分类·数据挖掘·回归
一勺汤14 小时前
多尺度频率辅助类 Mamba 线性注意力模块(MFM),融合频域和空域特征,提升多尺度、复杂场景下的目标检测能力
深度学习·yolo·yolov12·yolo12·yolo12改进·小目标·mamba like
jie*16 小时前
python(one day)——春水碧于天,画船听雨眠。
开发语言·数据结构·python·算法·线性回归