一篇文章讲清楚:回归评估方法

通过这篇文章,我们需要掌握常用的回归评估方法,了解不同评估方法的特点。

一、线性回归模型评估 -- MAE、MSE、RMSE三种指标

1.为什么要进行线性回归模型的评估

我们希望衡量预测值和真实值之间的差距,会用到MAE、MSE、RMSE多种测评函数进行评价。

2.平均绝对误差 Mean Absolute Error MAE

n 为样本数量, y 为实际值, yy ̂为预测值

MAE 越小模型预测约准确

from sklearn.metrics import mean_absolute_error

mean_absolute_error(y_test,y_predict)

3.均方误差****Mean Squared Error MSE

n 为样本数量, y 为实际值, yy ̂为预测值

MSE 越小模型预测约准确

from sklearn.metrics import mean_squared_error

mean_squared_error(y_test,y_predict)

4.均方根误差****Root Mean Squared Error

n 为样本数量, y 为实际值, y ̂为预测值

RMSE 越小模型预测约准确

RMSE 是 MSE 的平方根,某些情况下比MSE更有用

二、线性回归模型评估 -- MAE、MSE、RMSE三种指标对比

1.举个栗子:我们绘制了一条直线 y = 2x +5 用来拟合 y = 2x + 5 + e. 这些数据点,其中e为噪声(随机值)

MAE 和 RMSE 非常接近,都表明模型的误差很低。MAE 或 RMSE 越小,误差越小!

RMSE的计算公式中有一个平方项,因此大的误差将被平方,因此会增加 RMSE 的值,大多数情况下RMSE>MAE ,比如两个误差大小为1, 3求MAE和RMSE:

RMSE 会放大预测误差较大的样本对结果的影响,而 MAE 只是给出了平均误差

结论: RMSE > MAE都能反应真实误差,但是RMSE会对异常点更加敏感

2.再举个栗子:橙色线 y = 2x +5。蓝色的点 y = y + sin(x)*exp(x/20) + e 其中 exp() 表示指数函数

对比第一张图,所有指标都变大了,RMSE 几乎是 MAE 值的两倍,因为它对预测误差较大的点比较敏感

MAE和RMSE同样是真实反应误差,能不能说RMSE是更好的指标?我们只按照RMSE指标来优化模型,让模型的误差降的更低?

一直按照RMSE指标来训练模型,如果RMSE指标训练的非常低,说明什么?

说明模型对异常点(对噪声)也拟合的非常好。这样模型就容易过拟合了。所以评价指标要综合的看。

三、总结

1一般使用MAERMSE这两个指标

MAE反应的是"真实"的平均误差,RMSE会将误差大的数据点放大

MAE 不能体现出误差大的数据点,RMSE放大大误差的数据点对指标的影响, 但是对异常数据比较敏感。

2****综合结论

都能反映出预测值和真实值之间的误差

MAE对误差大小不敏感

RMSE会放大预测误差较大的样本的影响

RMSE对异常数据敏感

相关推荐
吴佳浩33 分钟前
Memory Provider 实战:Hermes、Mem0、Honcho、Hindsight 为什么都这样设计?
人工智能·agent·ai编程
吴佳浩41 分钟前
企业级 Agent Memory 选型指南:如何构建可扩展的 Memory Service?
人工智能·agent·ai编程
北方的银狐-Zero2 小时前
ERP 管执行,数据管标准,OntoL本体 管思考:企业智能化升级的规划图
大数据·人工智能·本体论
浅安的邂逅2 小时前
260918-白帽把 OpenAI 论坛“打穿“了:攻防赛漏洞、账户被 Claude 入侵、模型偷偷掩盖不当行为
人工智能·大模型·ai编程·ai模型·行业动态
jinyishu_3 小时前
认识 AI Agent:概念、架构、设计模式与主流框架
人工智能
Hrain-AI3 小时前
AI 爬虫三档授权工程落地:搜索放行、训练拦截、Agent 分层(附脚本)
人工智能·elasticsearch·milvus
sunhy_csdn3 小时前
“词码”作为 Token 候选译名
人工智能
Hrain-AI3 小时前
多 Agent 并行不打架:worktree 隔离与反馈回流落地(附脚本)
网络·数据库·人工智能·架构
Koi慢热3 小时前
DayDayMap学术社区体验:卫星网络测绘专题用下来怎么样
网络·人工智能·windows·web安全·网络安全