python线性回归:从原理到实战应用

线性回归背景介绍

首先举个例子来引入线性回归,例如一家银行的贷款业务,他会根据每个去贷款人的信息来判断到底借给多少钱。例如

这个时候我们可以看出来额度是跟前两个特征有关的,我们可以想象到银行肯定有一套规则,或者说有一个线性回归曲线,根据前两个特征然后给出你可以贷款多少钱。那么现在我们不知道,我们能不能通过现有的几个数据来推出来这个线性回归曲线呢?下面我们就来学习关于线性回归的原理和应用吧。

线性回归原理

引出线性表达式

还以上面的数据为例,那么多数据我们能不能通过一条线来进行拟合。有多个参数,我们引入多个x

所以引入函数 。

我们也可以写成

此时的x0=1,这样我们就可以把表达式写成

​​​​​​​ ​​​​​​​ ​​​​​​​

此时

为什么要这样引入

1 在导入特征值时,数据一般是以列形式展现的,所以我们要将W的列形式转化为行向量,然后结果为一个一维的行矩阵

2 为什么要转化为矩阵来计算,因为矩阵可以并发计算,计算速度很快。

个人推导

损失值计算

其实在我们计算时,所有点并不是完全在线上的,是有误差的,所有我们应该这样写

​​​​​​​ ​​​​​​​ ​​​​​​​

这里y表示真实值,后半式子表示预测值,L表示误差项(真实值与预测值之间的差值),这里误差项是符合高斯分布的

然后得出

然后我们求 θ的似然函数

然后我们进行计算。先取对数

极大似然估计是要求出L ( θ ) 的最大值,此处也就是求出J ( θ )的最小值。J ( θ ) 也是用优化方法求解线性回归问题的损失函数。

最小二乘法

即求出上式中J ( θ ) J(\theta)J(θ)的最小值。

我们将M MM个N NN维样本组成矩阵X XX,

X XX的每一行对应一个样本,一共M MM行。

X XX的每一列对应样本的一个维度,加上一个值恒为1的维度,一共N + 1 N + 1N+1列。

这个额外的维度值恒为1,通常用于线性模型中的截距项,也就是说,每个样本都有一个额外的特征,其值为1。

具体形式如下:

梯度下降法

从上面我们可以得出损失函数J ( θ ) J(\theta)J(θ)是一个凸函数,所以我们也可以用梯度下降算法来求得极值。

梯度下降算法的目标是调整参数 θ \thetaθ 以最小化损失函数J ( θ ) J(\theta)J(θ)。梯度下降法通过计算损失函数相对于参数 θ \thetaθ 的梯度,并更新参数以减少误差。梯度是一个向量,其元素是损失函数对每个参数的偏导数。线性回归的梯度可以表示为:

​​​​​​​ ​​​​​​​ ​​​​​​​

代码部分

上面不懂也不影响我们写代码,我们只要知道要处理什么类型问题就好了。

例如我们来写一个简单线性回归代码

数据是这些,我们来预测体重75,年龄23的血压收缩

复制代码
import pandas as pd
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
data=pd.read_csv(r'多元线性回归.csv',encoding='gbk')
# print(data.head())
# 体重,年龄,血压收缩
X=data[['体重','年龄']]
y=data[['血压收缩']]

model=LinearRegression()
model.fit(X,y)
result1=model.score(X,y)
print(result1)
a=model.coef_
b=model.intercept_
# print(a,b)
print('预测函数y={:.2f}x1+{:.2f}x2+{:.2f}'.format(a[0][0],a[0][1],b[0]))

c=model.predict([[75,23]])
print(c)

输出

第一个为得分情况,第二个为预测的函数,第三个为我们的问题体重75,年龄23的血压收缩结果。

相关推荐
Highcharts.js5 小时前
Highcharts漏斗图表使用配置指南
java·开发语言·javascript·信息可视化·highcharts·漏斗图
wuyk55510 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁0111 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit11 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
FRing0311 小时前
vue3干货总结2(vue3生命周期、父子通信、模版引用、provide和inject)
开发语言·前端·vue.js·vue3
在所不辞兄12 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks12 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
琳少_13 小时前
java程序开发笔记
java·开发语言·数据库·笔记
七夜zippoe14 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
2601_9679801114 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境