深度学习2 线性回归和非线性回归

1.回归分析本质是一种建模技术,它研究的是因变量和自变量之间的关系,并将这种关系建立成模 型,以用于预测分析。线性回归是最广为人知的建模技术之一,而非线性回归问题一般可以转化为线性回归问题进行求解。

要想弄清楚线性回归是什么,可以把这个词拆开来理解,即"线性"和"回归"。"回归"一 般指的是研究一组随机变量Y₁,Y₂ 和另一组随机变量 X₁,X₂ 之间关系的统计分析方法。线性回归同样也是一种研究两组随机变量之间关系的方法。"线性"描述的是一种关系, 一般来说如果两个变量之间存在一次函数关系,就称它们之间存在线性关系。

2.极大似然估计法是统计学中方法之一。概率用于已知一些参数的情况,预测接下来的观测所得到的结果,是一个正向过程;什么是似然性?似然性用于已知某些观测所得到的结果,然后对事物的性质参数进行估计,是一个逆向的过程。 一般可以说某事件发生的概率是多少,某参数的似然估计值是多少,不能说某事件的似然估计值。

3.在机器学习和深度学习中,梯度下降是绕不开的。梯度本质是一个向量,通俗一点来讲就是对一个多元函数求偏导,得到的偏导函数构成的向量就称为梯度。例如, 一元函数的梯度就是它的导数。求解一元函数的极值问题时,就是在找导数为0 的点。对于多元函数,如果每个自变量的偏导数都是0的时候,是不是可以找到这个多元函 数的极值呢?

梯度下降就是让梯度不断下降到0的过程。梯度下降是一个迭代法,就是一遍 又一遍地运行,每一轮都会让梯度下降一点点,然后不断向0靠近。

学习率就是设定好的,规定每一次梯度下降的速度的。假设距离目的地只有10cm 的 距离,如果学习率假设比较小,每次往目的地前进lcm, 这样大约10步就到目的地了。但是假设步长是20cm, 不管怎么走,都无法到达目的地。相应的,假如步长是0.1cm, 那这时候 就需要100步才能到,所以步长的选择过大则可能无法收敛,过小则收敛速度过慢。

总结:

(1)线性回归:研究变量之间存在怎样的线性关系。

(2)线性回归的解析解,采用最小均方误差进行衡量:

根据目标函数,求出了最优参数的公式:

最后,介绍如何解决非线性回归问题:转换为线性回归问题进行求解。

(3)学会如何用梯度下降求解线性回归问题。

( 4 ) 用Python 展示梯度下降逐渐逼近最优解的迭代过程。

相关推荐
I'm a winner21 分钟前
第七章:AI进阶之------输入与输出函数(一)
开发语言·人工智能·python·深度学习·神经网络·microsoft·机器学习
Orange_sparkle24 分钟前
解决Dify中接入xinference模型无法开关思考模式和使用function calling的问题
人工智能·深度学习·语言模型·chatgpt
悟乙己1 小时前
保序回归Isotonic Regression的sklearn实现案例
数据挖掘·回归·sklearn·保序回归
似乎很简单4 小时前
卷积神经网络(CNN)
深度学习·神经网络·cnn
盼小辉丶5 小时前
Transformer实战(18)——微调Transformer语言模型进行回归分析
深度学习·语言模型·回归·transformer
格林威5 小时前
机器视觉检测如何使用360 度全景成像镜头进行AI 瑕疵检测
人工智能·深度学习·数码相机·机器学习·计算机视觉·视觉检测·相机
九章云极AladdinEdu5 小时前
深度学习优化器进化史:从SGD到AdamW的原理与选择
linux·服务器·开发语言·网络·人工智能·深度学习·gpu算力
ACEEE12229 小时前
Stanford CS336 | Assignment 2 - FlashAttention-v2 Pytorch & Triotn实现
人工智能·pytorch·python·深度学习·机器学习·nlp·transformer
NG WING YIN9 小时前
Golang關於信件的
开发语言·深度学习·golang
大千AI助手10 小时前
残差:从统计学到深度学习的核心概念
人工智能·深度学习·resnet·统计学·方差分析·残差·残差分析