[机器学习]线性回归模型

线性回归

线性回归:根据数据,确定两种或两种以上变量间相互依赖的定量关系

函数表达式:
y = f ( x 1 , x 2 . . . x n ) y = f(x_1,x_2...x_n) y=f(x1,x2...xn)

​ 回归根据变量数分为一元回归[ y = f ( x ) y=f(x) y=f(x)]和多元回归[ y = f ( x 1 , x 2 . . . x n ) y = f(x_1,x_2...x_n) y=f(x1,x2...xn)],根据函数关系分为线性回归[ y = a x + b y=ax+b y=ax+b]与非线性回归[ y = a x 2 + b x + c y=ax^2+bx+c y=ax2+bx+c]

平方误差成本函数

m i n i m i z e ( J ) minimize(J) minimize(J)
J = 1 2 m ∑ i = 1 m ( y i ' − y i ) 2 = 1 2 m ∑ i = 1 m ( a x i + b − y i ) 2 = g ( a , b ) J=\frac{1}{2m} \sum_{i=1}^{m}(y^{`}i-y_i)^2=\frac{1}{2m} \sum{i=1}^{m}(ax_i+b-y_i)^2=g(a,b) J=2m1i=1∑m(yi'−yi)2=2m1i=1∑m(axi+b−yi)2=g(a,b)

梯度下降算法

J = f ( p ) J=f(p) J=f(p)
p = p − α ∂ ∂ p i f ( p i ) p = p - \alpha \frac{\partial}{\partial p_i}f(p_i) p=p−α∂pi∂f(pi)

​ 寻找极小值的一种方法。通过向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索,直到在极小点收敛。

实验:

基于generated_data.csv数据,建立线性回归模型,预测x=3.5对应的y值,评估模型表现

python 复制代码
#load the data
import pandas as pd
data = pd.read_csv('D:\workspace\data\ML\generated_data.csv')

data.head()
print(type(data), data.shape)

x = data.loc[:,'x']
y = data.loc[:,'y']
print(x,y)

#visualize the data 
from matplotlib import pyplot as plt
plt.figure(figsize=(5,5))
plt.scatter(x,y)
plt.show()

# set up a linear regression model
from sklearn.linear_model import LinearRegression
lr_model = LinearRegression()

import numpy as np
x = np.array(x)
x = x.reshape(-1,1)
y = np.array(y)
y = y.reshape(-1,1)

lr_model.fit(x,y)

y_predict = lr_model.predict(x)
print(y_predict)

print(y)

y_predict_single = lr_model.predict([[3.5]])

print(y_predict_single)

# a/b print
a = lr_model.coef_
b = lr_model.intercept_
print(a,b)

from sklearn.metrics import mean_squared_error, r2_score
MSE = mean_squared_error(y, y_predict)
R2 = r2_score(y, y_predict)
print(MSE, R2)

plt.figure()
plt.plot(y,y_predict)
plt.show()

运行结果:

其中MSE为 3.1554436208840474 e − 31 3.1554436208840474e^{-31} 3.1554436208840474e−31,R2为1.0

实验结论:在这个实验中,我们建立了一个单因子线性回归模型,得到x=3.5对应的y值为12,其均方误差(MSE)非常接近于零,而确定系数(R^2)接近于1。这表明我们的模型可以非常好地拟合数据,预测能力非常强。

附:generated_data,csv数据

相关推荐
mit6.82428 分钟前
[Meetily后端框架] Whisper转录服务器 | 后端服务管理脚本
c++·人工智能·后端·python
Baihai IDP30 分钟前
AI 系统架构的演进:LLM → RAG → AI Workflow → AI Agent
人工智能·ai·系统架构·llm·agent·rag·白海科技
沫儿笙33 分钟前
弧焊机器人气体全方位节能指南
网络·人工智能·机器人
LONGZETECH34 分钟前
【龙泽科技】新能源汽车维护与动力蓄电池检测仿真教学软件【吉利几何G6】
人工智能·科技·汽车·汽车仿真教学软件·汽车教学软件
jndingxin2 小时前
OpenCV 图像哈希类cv::img_hash::AverageHash
人工智能·opencv·哈希算法
ydl11282 小时前
机器学习基础知识【 激活函数、损失函数、优化器、 正则化、调度器、指标函数】
python·机器学习
Jamence2 小时前
多模态大语言模型arxiv论文略读(153)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
晨曦5432102 小时前
量子计算突破:8比特扩散模型实现指数级加速
人工智能
Albert_Lsk2 小时前
【2025/07/11】GitHub 今日热门项目
人工智能·开源·github·开源协议
莫彩2 小时前
【大模型推理论文阅读】Enhancing Latent Computation in Transformerswith Latent Tokens
论文阅读·人工智能·语言模型