python线性回归:从原理到实战应用

线性回归背景介绍

首先举个例子来引入线性回归,例如一家银行的贷款业务,他会根据每个去贷款人的信息来判断到底借给多少钱。例如

这个时候我们可以看出来额度是跟前两个特征有关的,我们可以想象到银行肯定有一套规则,或者说有一个线性回归曲线,根据前两个特征然后给出你可以贷款多少钱。那么现在我们不知道,我们能不能通过现有的几个数据来推出来这个线性回归曲线呢?下面我们就来学习关于线性回归的原理和应用吧。

线性回归原理

引出线性表达式

还以上面的数据为例,那么多数据我们能不能通过一条线来进行拟合。有多个参数,我们引入多个x

所以引入函数

我们也可以写成

此时的x0=1,这样我们就可以把表达式写成

​​​​​​​ ​​​​​​​ ​​​​​​​

此时

为什么要这样引入

1 在导入特征值时,数据一般是以列形式展现的,所以我们要将W的列形式转化为行向量,然后结果为一个一维的行矩阵

2 为什么要转化为矩阵来计算,因为矩阵可以并发计算,计算速度很快。

个人推导

损失值计算

其实在我们计算时,所有点并不是完全在线上的,是有误差的,所有我们应该这样写

​​​​​​​ ​​​​​​​ ​​​​​​​

这里y表示真实值,后半式子表示预测值,L表示误差项(真实值与预测值之间的差值),这里误差项是符合高斯分布的

然后得出

然后我们求 θ的似然函数

然后我们进行计算。先取对数

极大似然估计是要求出L ( θ ) 的最大值,此处也就是求出J ( θ )的最小值。J ( θ ) 也是用优化方法求解线性回归问题的损失函数。

最小二乘法

即求出上式中J ( θ ) J(\theta)J(θ)的最小值。

我们将M MM个N NN维样本组成矩阵X XX,

X XX的每一行对应一个样本,一共M MM行。

X XX的每一列对应样本的一个维度,加上一个值恒为1的维度,一共N + 1 N + 1N+1列。

这个额外的维度值恒为1,通常用于线性模型中的截距项,也就是说,每个样本都有一个额外的特征,其值为1。

具体形式如下:

梯度下降法

从上面我们可以得出损失函数J ( θ ) J(\theta)J(θ)是一个凸函数,所以我们也可以用梯度下降算法来求得极值。

梯度下降算法的目标是调整参数 θ \thetaθ 以最小化损失函数J ( θ ) J(\theta)J(θ)。梯度下降法通过计算损失函数相对于参数 θ \thetaθ 的梯度,并更新参数以减少误差。梯度是一个向量,其元素是损失函数对每个参数的偏导数。线性回归的梯度可以表示为:

​​​​​​​ ​​​​​​​ ​​​​​​​

代码部分

上面不懂也不影响我们写代码,我们只要知道要处理什么类型问题就好了。

例如我们来写一个简单线性回归代码

数据是这些,我们来预测体重75,年龄23的血压收缩

复制代码
import pandas as pd
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
data=pd.read_csv(r'多元线性回归.csv',encoding='gbk')
# print(data.head())
# 体重,年龄,血压收缩
X=data[['体重','年龄']]
y=data[['血压收缩']]

model=LinearRegression()
model.fit(X,y)
result1=model.score(X,y)
print(result1)
a=model.coef_
b=model.intercept_
# print(a,b)
print('预测函数y={:.2f}x1+{:.2f}x2+{:.2f}'.format(a[0][0],a[0][1],b[0]))

c=model.predict([[75,23]])
print(c)

输出

第一个为得分情况,第二个为预测的函数,第三个为我们的问题体重75,年龄23的血压收缩结果。

相关推荐
紫钺-高山仰止9 分钟前
【Pyzmq】python 跨进程线程通信 跨平台跨服务器通信
服务器·python·github
林烈涛10 分钟前
js判断变量是数组还是对象
开发语言·前端·javascript
可可南木17 分钟前
ICT 数字测试原理 3 --SAFETYGUARD 文件
开发语言·测试工具·pcb工艺
00后程序员张20 分钟前
从零构建 gRPC 跨语言通信:C++ 服务端与
开发语言·c++
java1234_小锋31 分钟前
[免费]基于Python的在线音乐网站系统(后端Django)【论文+源码+SQL脚本】
python·在线音乐·django音乐·python音乐·python在线音乐
Komorebi_999939 分钟前
Unocss
开发语言·前端
老坛程序员1 小时前
开源项目Sherpa-onnx:全平台离线语音识别的轻量级高性能引擎
人工智能·深度学习·机器学习·语音识别
爱凤的小光1 小时前
图漾相机C++语言---Sample_V1(4.X.X版本)完整参考例子(待完善)
开发语言·c++·数码相机
无垠的广袤2 小时前
【LattePanda Mu 开发套件】AI 图像识别网页服务器
服务器·人工智能·python·单片机·嵌入式硬件·物联网
Derrick__12 小时前
Python常用三方模块——Pillow
开发语言·python·pillow