python线性回归:从原理到实战应用

线性回归背景介绍

首先举个例子来引入线性回归,例如一家银行的贷款业务,他会根据每个去贷款人的信息来判断到底借给多少钱。例如

这个时候我们可以看出来额度是跟前两个特征有关的,我们可以想象到银行肯定有一套规则,或者说有一个线性回归曲线,根据前两个特征然后给出你可以贷款多少钱。那么现在我们不知道,我们能不能通过现有的几个数据来推出来这个线性回归曲线呢?下面我们就来学习关于线性回归的原理和应用吧。

线性回归原理

引出线性表达式

还以上面的数据为例,那么多数据我们能不能通过一条线来进行拟合。有多个参数,我们引入多个x

所以引入函数

我们也可以写成

此时的x0=1,这样我们就可以把表达式写成

​​​​​​​ ​​​​​​​ ​​​​​​​

此时

为什么要这样引入

1 在导入特征值时,数据一般是以列形式展现的,所以我们要将W的列形式转化为行向量,然后结果为一个一维的行矩阵

2 为什么要转化为矩阵来计算,因为矩阵可以并发计算,计算速度很快。

个人推导

损失值计算

其实在我们计算时,所有点并不是完全在线上的,是有误差的,所有我们应该这样写

​​​​​​​ ​​​​​​​ ​​​​​​​

这里y表示真实值,后半式子表示预测值,L表示误差项(真实值与预测值之间的差值),这里误差项是符合高斯分布的

然后得出

然后我们求 θ的似然函数

然后我们进行计算。先取对数

极大似然估计是要求出L ( θ ) 的最大值,此处也就是求出J ( θ )的最小值。J ( θ ) 也是用优化方法求解线性回归问题的损失函数。

最小二乘法

即求出上式中J ( θ ) J(\theta)J(θ)的最小值。

我们将M MM个N NN维样本组成矩阵X XX,

X XX的每一行对应一个样本,一共M MM行。

X XX的每一列对应样本的一个维度,加上一个值恒为1的维度,一共N + 1 N + 1N+1列。

这个额外的维度值恒为1,通常用于线性模型中的截距项,也就是说,每个样本都有一个额外的特征,其值为1。

具体形式如下:

梯度下降法

从上面我们可以得出损失函数J ( θ ) J(\theta)J(θ)是一个凸函数,所以我们也可以用梯度下降算法来求得极值。

梯度下降算法的目标是调整参数 θ \thetaθ 以最小化损失函数J ( θ ) J(\theta)J(θ)。梯度下降法通过计算损失函数相对于参数 θ \thetaθ 的梯度,并更新参数以减少误差。梯度是一个向量,其元素是损失函数对每个参数的偏导数。线性回归的梯度可以表示为:

​​​​​​​ ​​​​​​​ ​​​​​​​

代码部分

上面不懂也不影响我们写代码,我们只要知道要处理什么类型问题就好了。

例如我们来写一个简单线性回归代码

数据是这些,我们来预测体重75,年龄23的血压收缩

复制代码
import pandas as pd
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
data=pd.read_csv(r'多元线性回归.csv',encoding='gbk')
# print(data.head())
# 体重,年龄,血压收缩
X=data[['体重','年龄']]
y=data[['血压收缩']]

model=LinearRegression()
model.fit(X,y)
result1=model.score(X,y)
print(result1)
a=model.coef_
b=model.intercept_
# print(a,b)
print('预测函数y={:.2f}x1+{:.2f}x2+{:.2f}'.format(a[0][0],a[0][1],b[0]))

c=model.predict([[75,23]])
print(c)

输出

第一个为得分情况,第二个为预测的函数,第三个为我们的问题体重75,年龄23的血压收缩结果。

相关推荐
飞翔的佩奇19 分钟前
【完整源码+数据集+部署教程】【天线&水】舰船战舰检测与分类图像分割系统源码&数据集全套:改进yolo11-repvit
前端·python·yolo·计算机视觉·数据集·yolo11·舰船战舰检测与分类图像分割系统
大千AI助手21 分钟前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
大千AI助手1 小时前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码
麦麦鸡腿堡1 小时前
Java的单例设计模式-饿汉式
java·开发语言·设计模式
简单点了1 小时前
go前后端项目的启动 、打包和部署
开发语言·后端·golang
木头左1 小时前
最大回撤约束下ETF多因子动态止盈参数校准方案
python
爱吃山竹的大肚肚1 小时前
@Valid校验 -(Spring 默认不支持直接校验 List<@Valid Entity>,需用包装类或手动校验。)
java·开发语言
汤姆yu2 小时前
2026版基于python的协同过滤音乐推荐系统
开发语言·python
汤姆yu2 小时前
基于python的电子商务管理系统
开发语言·python
我是大咖2 小时前
C语言-贪吃蛇项目开发工具篇---ncursee库安装
c语言·开发语言