回归模型是什么
回归分析预测模型是一种统计方法，用于研究变量之间的关系，并通过已知数据来预测一个变量的值。回归分析通常包括自变量和因变量，目标是建立一个回归模型来描述它们之间的关系。
简单来说回归模型就是找出一条直线或曲线来尽可能地拟合 所有的样本点 ，拟合的好坏通常通过误差（例如，残差平方和）来衡量，如果拟合误差较小那么我们认为样本符合此x和y的变量关系。如下图是一个简单的线性回归模型
一、线性回归模型
线性回归指的是两个变量之间的关系是一次函数，也就是图像是直线的。
一元线性回归：
建立模型：
一元线性回归指的是只有一个变量，也就是如下模型公式
误差最小化：
这里可以采用最小二乘法来使误差最小，对与已知数据，它通过最小化每个数据点到线的垂直偏差平方和来计算最佳拟合线。
损失函数:
要使损失函数最小，可知：
- 斜率k =
- 截距b =
Python代码
python
import numpy as np
from matplotlib import pyplot as plt
class LinearRegression:
def __init__(self, X, Y):
self.X = X
self.Y = Y
self.K = None
self.B = None
def caculateKB(self):
x_mean = np.mean(self.X)
y_mean = np.mean(self.Y)
n = 0.0
d = 0.0
for x, y in zip(self.X, self.Y):
n += (x - x_mean) * (y - y_mean)
d += (x - x_mean) ** 2
self.K = n / d
self.B = y_mean - (self.K * x_mean)
result = [self.K, self.B]
return result
def caculateY(self, n):
if self.K == None:
self.caculateKB()
predict = self.K * n + self.B
return predict
X=np.array([1,2,3,4,5,6,7,8,9,10]) #定义数据集
Y=2*X+np.random.normal(1,2,10) #Y是X的线性函数加上服从正态分布的随机误差
LinearRegression = LinearRegression(X,Y)
n = 11
result = LinearRegression.caculateY(n)
print(f'预测得y({n})的值为：{result}')
#计算残差和
y_predict = [LinearRegression.K * x + LinearRegression.B for x in X]
ss_residual=sum((y_predict - Y)**2) #残差平方和
ss_total=sum((Y-np.mean(Y))**2) #总平方和
print(f'残差和为：{ss_residual}')
#绘图
plt.scatter(X,Y)#绘制点
plt.plot(X,y_predict,color='r')#绘制回归线
plt.show()