深度学习2 线性回归和非线性回归

1.回归分析本质是一种建模技术,它研究的是因变量和自变量之间的关系,并将这种关系建立成模 型,以用于预测分析。线性回归是最广为人知的建模技术之一,而非线性回归问题一般可以转化为线性回归问题进行求解。

要想弄清楚线性回归是什么,可以把这个词拆开来理解,即"线性"和"回归"。"回归"一 般指的是研究一组随机变量Y₁,Y₂ 和另一组随机变量 X₁,X₂ 之间关系的统计分析方法。线性回归同样也是一种研究两组随机变量之间关系的方法。"线性"描述的是一种关系, 一般来说如果两个变量之间存在一次函数关系,就称它们之间存在线性关系。

2.极大似然估计法是统计学中方法之一。概率用于已知一些参数的情况,预测接下来的观测所得到的结果,是一个正向过程;什么是似然性?似然性用于已知某些观测所得到的结果,然后对事物的性质参数进行估计,是一个逆向的过程。 一般可以说某事件发生的概率是多少,某参数的似然估计值是多少,不能说某事件的似然估计值。

3.在机器学习和深度学习中,梯度下降是绕不开的。梯度本质是一个向量,通俗一点来讲就是对一个多元函数求偏导,得到的偏导函数构成的向量就称为梯度。例如, 一元函数的梯度就是它的导数。求解一元函数的极值问题时,就是在找导数为0 的点。对于多元函数,如果每个自变量的偏导数都是0的时候,是不是可以找到这个多元函 数的极值呢?

梯度下降就是让梯度不断下降到0的过程。梯度下降是一个迭代法,就是一遍 又一遍地运行,每一轮都会让梯度下降一点点,然后不断向0靠近。

学习率就是设定好的,规定每一次梯度下降的速度的。假设距离目的地只有10cm 的 距离,如果学习率假设比较小,每次往目的地前进lcm, 这样大约10步就到目的地了。但是假设步长是20cm, 不管怎么走,都无法到达目的地。相应的,假如步长是0.1cm, 那这时候 就需要100步才能到,所以步长的选择过大则可能无法收敛,过小则收敛速度过慢。

总结:

(1)线性回归:研究变量之间存在怎样的线性关系。

(2)线性回归的解析解,采用最小均方误差进行衡量:

根据目标函数,求出了最优参数的公式:

最后,介绍如何解决非线性回归问题:转换为线性回归问题进行求解。

(3)学会如何用梯度下降求解线性回归问题。

( 4 ) 用Python 展示梯度下降逐渐逼近最优解的迭代过程。

相关推荐
Listennnn8 小时前
神经网络能不能完全拟合y=x² ???
人工智能·深度学习·神经网络
WhyNot?9 小时前
深度学习入门(三):神经网络的学习
深度学习·神经网络·学习
odoo中国9 小时前
深度学习 Deep Learning 第16章 结构化概率模型
人工智能·深度学习·结构化模型
摸鱼仙人~9 小时前
为什么有的深度学习训练,有训练集、验证集、测试集3个划分,有的只是划分训练集和测试集?
人工智能·深度学习
Jamence10 小时前
多模态大语言模型arxiv论文略读(一)
人工智能·深度学习·语言模型
KangkangLoveNLP10 小时前
手动实现一个迷你Llama:使用SentencePiece实现自己的tokenizer
人工智能·深度学习·学习·算法·transformer·llama
thinkMoreAndDoMore12 小时前
深度学习处理文本(5)
人工智能·python·深度学习
weixin_7503355212 小时前
李沐 X 动手学深度学习--第九章 现代循环神经网络
人工智能·rnn·深度学习
摸鱼仙人~12 小时前
深度学习数据集划分比例多少合适
人工智能·深度学习
矩阵猫咪12 小时前
基于时间卷积网络TCN实现电力负荷多变量时序预测(PyTorch版)
pytorch·深度学习·tcn·时序预测·时间卷积网络·电力负荷