【机器学习】衡量线性回归算法最好的指标:R Squared

衡量线性回归算法最好的指标:R Squared

  • 一、摘要
  • [二、回归算法评价指标与R Squared指标介绍](#二、回归算法评价指标与R Squared指标介绍)
  • [三、R Squared的编程实践](#三、R Squared的编程实践)

一、摘要

本文主要介绍了线性回归算法中用于衡量模型优劣的重要指标------R Squared(R方)。R方用于比较模型预测结果与实际结果的拟合程度,其值范围在0到1之间,越接近1表示模型预测效果越好。R方的计算涉及预测误差与总误差的比较,其中分子 为预测误差的平方和,分母 为总误差的平方和。当R方等于1时,表示模型预测无误差;小于零则表明模型效果不佳,可能不适合线性回归。 此外,还介绍了如何通过编程实践计算R方值,并在不同的机器学习库中实现该指标的计算。最后,强调了R方作为衡量线性回归模型性能的关键指标的重要性。

二、回归算法评价指标与R Squared指标介绍

  1. 之前的博文中介绍了评价回归算法优劣的三个指标:MSE(均方误差)、RMSE(均方根误差)和MAE(平均绝对误差)。这些指标存在的问题 :无法直接比较不同问题的预测误差。分类问题的评价指标简单明了,取值在0到1之间,而回归算法的指标没有这样的性质。

  2. R Squared(R方) 是一个解决上述问题的新指标。
    计算方法 :1减去两个量的比值,分子是残差平方和,分母是总平方和。

    • R方计算步骤:计算残差平方和与总平方和,代入公式计算R方值。
    • 残差平方和:预测结果减去 真实值的平方和。
    • 总平方和:真实值与均值差 的平方和。

    R Squared的优势:

    • R方将回归问题的衡量结果归约到0到1之间,便于比较不同模型的性能。
    • R方越大越好,越接近1表示模型预测越准确。
    • R方小于零表示模型预测效果不如基准模型。
    • 可能意味着数据间不存在线性关系,需要考虑其他回归方法。

    R Squared的统计意义:

    • R方可以表示为1减去均方误差(MSE)与方差的比值。
    • 均方误差:预测结果与真实值的平方差均值。
    • 方差:真实值的方差。
    • R方衡量模型与基准模型的差异,值越大表示模型预测越准确。



      最后这张图将公式的含义是 :1 - (MSE(均方误差)/ Var(方差)

三、R Squared的编程实践

  1. 计算R方的编程实践:使用NumPy、SciPy或sklearn等库进行计算。

  2. 示例代码:计算简单线性回归模型的R方值。

    python 复制代码
    import openml
    import numpy as np
    
    # 从 openml 获取波士顿房价数据集
    dataset = openml.datasets.get_dataset(531)
    X, y, categorical_indicator, attribute_names = dataset.get_data(
        target=dataset.default_target_attribute, dataset_format='dataframe'
    )
    
    # 这里只用RM这个特征来计算,提取RM列特征数据
    boston_datas = X.iloc[:,5]
    
    # 分布在50那里的一些点,可能不是真实的点,比如问卷调查中通过会设置一些上限点,而往往这些不是真实存在的额点,因此可以去除
    y_normal = y[y < 50.0]
    x_normal = boston_datas[y < 50.0]
    
    import sys
    # 替换为你的 PyCharm 工程实际路径
    project_path = 'D:/PycharmProjects/pythonProject/'
    if project_path not in sys.path:
        sys.path.append(project_path)
    
    # 拆分训练集和测试集
    from model_selection import train_test_split
    X_train,y_train,X_test,y_test = train_test_split(np.array(x_normal),np.array(y_normal),seed=666)
    
    # 引入我们自己实现的线性回归模型
    from SimpleLinearRegressionDemo import SimpleLinearRegressionModel
    reg1 = SimpleLinearRegressionModel()
    reg1.fit(X_train,y_train)
    
    # 预测结果
    y_predict = reg1.predict(X_test)
    
    # scikit-learn来计算均方误差和绝对值误差
    from sklearn.metrics import mean_squared_error
    from sklearn.metrics import mean_absolute_error
    
    # 根据公式先计算分子: MSE 均方误差
    n_mse = mean_squared_error(y_pred=y_predict,y_true=y_test)
    # 根据公式先计算分母: 测试集的方差
    d_var = np.var(y_test)
    
    # 带入公式,得到R Squared值
    ret_pred = 1 - n_mse / d_var
    ret_pred

    执行结果:0.6129316803937324

相关推荐
Oiiouui2 小时前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
AvocadoZeroOneOI4 小时前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
罗西的思考5 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
cjz38996 小时前
双指针技巧:覆盖式双指针(原地覆盖)
算法
伞伞悦读7 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
橘子139 小时前
【高级数据库】关系代数基本概念
算法
电科_银尘20 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴1 天前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David1 天前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
塑料铲子1 天前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent