深度学习2 线性回归和非线性回归

1.回归分析本质是一种建模技术,它研究的是因变量和自变量之间的关系,并将这种关系建立成模 型,以用于预测分析。线性回归是最广为人知的建模技术之一,而非线性回归问题一般可以转化为线性回归问题进行求解。

要想弄清楚线性回归是什么,可以把这个词拆开来理解,即"线性"和"回归"。"回归"一 般指的是研究一组随机变量Y₁,Y₂ 和另一组随机变量 X₁,X₂ 之间关系的统计分析方法。线性回归同样也是一种研究两组随机变量之间关系的方法。"线性"描述的是一种关系, 一般来说如果两个变量之间存在一次函数关系,就称它们之间存在线性关系。

2.极大似然估计法是统计学中方法之一。概率用于已知一些参数的情况,预测接下来的观测所得到的结果,是一个正向过程;什么是似然性?似然性用于已知某些观测所得到的结果,然后对事物的性质参数进行估计,是一个逆向的过程。 一般可以说某事件发生的概率是多少,某参数的似然估计值是多少,不能说某事件的似然估计值。

3.在机器学习和深度学习中,梯度下降是绕不开的。梯度本质是一个向量,通俗一点来讲就是对一个多元函数求偏导,得到的偏导函数构成的向量就称为梯度。例如, 一元函数的梯度就是它的导数。求解一元函数的极值问题时,就是在找导数为0 的点。对于多元函数,如果每个自变量的偏导数都是0的时候,是不是可以找到这个多元函 数的极值呢?

梯度下降就是让梯度不断下降到0的过程。梯度下降是一个迭代法,就是一遍 又一遍地运行,每一轮都会让梯度下降一点点,然后不断向0靠近。

学习率就是设定好的,规定每一次梯度下降的速度的。假设距离目的地只有10cm 的 距离,如果学习率假设比较小,每次往目的地前进lcm, 这样大约10步就到目的地了。但是假设步长是20cm, 不管怎么走,都无法到达目的地。相应的,假如步长是0.1cm, 那这时候 就需要100步才能到,所以步长的选择过大则可能无法收敛,过小则收敛速度过慢。

总结:

(1)线性回归:研究变量之间存在怎样的线性关系。

(2)线性回归的解析解,采用最小均方误差进行衡量:

根据目标函数,求出了最优参数的公式:

最后,介绍如何解决非线性回归问题:转换为线性回归问题进行求解。

(3)学会如何用梯度下降求解线性回归问题。

( 4 ) 用Python 展示梯度下降逐渐逼近最优解的迭代过程。

相关推荐
shangyingying_19 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎10 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
要努力啊啊啊10 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
Blossom.11811 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
m0_6786933313 小时前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
胡耀超13 小时前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
fzyz12315 小时前
Windows系统下WSL从C盘迁移方案
人工智能·windows·深度学习·wsl
FF-Studio17 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
云渚钓月梦未杳17 小时前
深度学习03 人工神经网络ANN
人工智能·深度学习
贾全17 小时前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人