R square 的计算方法和一点思考

模型的性能评价指标有几种方案:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、R2_score

其中,当量纲不同时,RMSE、MAE、MSE难以衡量模型效果好坏。这就需要用到R2_score;

这里注意,使用 r2 是平行的对比不同因子/品种的;即 两个shape 一样的样本集,若同个样本集,进行样本切分成不同长度的数据,则会有其他的问题,这个放最后去解释!!!!

先看看 r2 怎么算的

使用 表示预测值,y表示真实值,表示真实值的平均值;则有

回归平方和:

表示预测值与平均值的误差,反映相关程度的偏差平方和。

残差平方和:

表示预测值与真实值的误差,反映模型拟合程度

总离差平方和:

表示 平均值与真实值的误差,反映与数学期望的偏离程度

进一步变形得到

分子就变成了常用的评价指标均方误差MSE,分母就变成了方差。

对于 R2 可以通俗地理解为使用均值作为误差基准,看预测误差是否大于或者小于均值基准误差。

R2_score = 1:样本中预测值和真实值完全相等,没有任何误差,表示回归分析中自变量对因变量的解释越好。

R2_score = 0:此时分子等于分母,样本的每项预测值都等于均值。

R2_score < 0:R2_score不是r的平方,也可能为负数(分子>分母),模型等于盲猜,还不如直接计算目标变量的平均值。

代码如下:

python 复制代码
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import r2_score
#导入数据
diabetes_X, diabetes_y = datasets.load_diabetes(return_X_y=True)
diabetes_X = diabetes_X[:, np.newaxis, 2]
#划分测试集验证集
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]
diabetes_y_train = diabetes_y[:-20]
diabetes_y_test = diabetes_y[-20:]
# 创建线性回归模型
regr = linear_model.LinearRegression()
# 训练模型
regr.fit(diabetes_X_train, diabetes_y_train)
# 预测
diabetes_y_pred = regr.predict(diabetes_X_test)


## r2 = mean_squared_error(y_test,y_preditc)/ np.var(y_test)

# 模型评价
print('r2_score: %.2f'
      % r2_score(diabetes_y_test, diabetes_y_pred))



# 绘制预测效果图
plt.scatter(diabetes_X_test, diabetes_y_test,  color='black')
plt.plot(diabetes_X_test, diabetes_y_pred, color='blue', linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

注意:

  1. r2 一般用在线性模型中(非线性模型也可以用)

  2. r2 不能完全反映模型预测能力的高低,比如实际观测的自变量取值范围很窄(即var很小/分母很小),此时计算出来的 r2 值很大,但这并不代表模型在样本外应用时的效果很好;

  3. 数据集的样本越大,r2 越大。因此,不同数据集的模型结果比较起来会有误差,这也是开头提到的问题,如果不同模型使用的因子数据不同,但是数据条数一致,即 shape1 = (10000,5) 和 shape2 = (10000,8);

针对这种情况,可以使用 Adjusted R square(校正决定系数),对非显著变量给出惩罚

n 是样本个数,p是变量的个数。

ps: 关于 shape1 = (1000,5) 和 shape2 = (100,5)这种情况, r2 可能不合适作为评价指标,可以考虑RMSE(标准化的)去作为评价指标,或者有人有更好的方案可以讨论一下,我也很想学习!!!!!

相关推荐
非门由也22 分钟前
《sklearn机器学习——回归指标2》
机器学习·回归·sklearn
山楂树下懒猴子30 分钟前
ChatAI项目-ChatGPT-SDK组件工程
人工智能·chatgpt·junit·https·log4j·intellij-idea·mybatis
Learn Beyond Limits1 小时前
The learning process of Decision Tree Model|决策树模型学习过程
人工智能·深度学习·神经网络·学习·决策树·机器学习·ai
AI360labs_atyun1 小时前
2025世界智博会,揭幕AI触手可及的科幻生活
人工智能·ai·音视频·生活
数据爬坡ing1 小时前
从挑西瓜到树回归:用生活智慧理解机器学习算法
数据结构·深度学习·算法·决策树·机器学习
luoganttcc1 小时前
小鹏汽车 vla 算法最新进展和模型结构细节
人工智能·算法·汽车
算家计算1 小时前
面壁智能开源多模态大模型——MiniCPM-V 4.5本地部署教程:8B参数开启多模态“高刷”时代!
人工智能·开源
居然JuRan1 小时前
从零开始学大模型之大语言模型
人工智能
扑克中的黑桃A1 小时前
AI 对话高效输入指令攻略(一):了解AI对话指令
人工智能
算家计算1 小时前
不止高刷!苹果发布会AI功能全面解析:实时翻译、健康监测重磅升级
人工智能·apple·资讯