最近在做实验的时候，发现自己对回归模型评估指标的理解与分析还不透彻，在网上查找资料和与现场交流的过程中，产生了对模型评估的一些见解。因此整理此篇文档，以锻炼自己对指标的分析能力，进而提升对模型的评估能力。
一、评估回归模型的指标总结如下：
表1 评估指标汇总表
|--------------|--------------|---------------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------|
| 指标名称（英文） | 指标名称（中文） | 公式 | 特点 |
| MAE | 平均绝对误差 | | 与y的量纲相同，直观反映了模型预测结果与真实值的相差程度，对异常结果不敏感。 |
| MSE | 均方误差 | | 量纲是y的平方单位，对异常结果极为敏感（比RMSE敏感）。 |
| RMSE | 均方根误差 | | 与y的量纲相同，但与MAE不同的是，会放大较大的误差，对异常结果敏感。 |
| MRE | 平均相对误差 | | 对零值敏感，结果直观。更关注误差比例。 |
| MAPE | 平均绝对百分比误差 | | MRE的百分比形式，通常与MRE在计算上等价，只不过是百分比形式，比MRE更常用。 |
| R² | 决定系数 | | 解释了相较于简单的预测平均值，当前模型减少了多少基准误差。 |
二、指标逐个解释：
对一个模型的评估，不能只考虑其中的一个指标，而是要根据业务的实际情况考虑多个指标组合使用与分析，下面分别对每个指标进行介绍和理解。
(一)MAE
数学公式：
解释：对所有"真实值和预测值的差值"的绝对值取平均值。
可以理解成平均每个预测会错多少，不考虑正负值，MAE会平等的看待所有的误差。因此，这个评估指标是从数学公式上看最简单的，从业务角度看是最直观的。适合需要初步快速评估的模型。
以预测稻米产量为例，假设5公顷土地，每公顷实际生产4、6、5、7、8吨稻米，预测生产5、5、10、8、6吨稻米，那么绝对误差分别为：1、1、5、1、2，则 MAE=(1+1+5+1+2) / 5=2吨。
从这个例子里，我们能捕捉到以下几点信息：
1、每公顷土地的产量预测平均误差在2吨左右。即使其中某一公顷的预测误差达到5，但是MAE指标对其并不敏感，因此2吨/公顷这个值不会反应是否存在特别糟糕的预测个案。
2、从业务的角度来讲，2吨/公顷的MAE值本身是缺乏判断依据的，需要结合实际产能参照。若已知这片土地产能是5吨/公顷，那么对于2吨/公顷这个误差来说，模型的误差其实已经很大了，因此，对于容错率较低的任务或需要更换模型，或这个模型还有进一步提升的空间。
3、如果下一步我们是要做优化任务，我们的目标可能是把MAE值从2吨降到0.5吨，这实现了优化目标的可度量性。
(二)MSE
数学公式：
解释：对所有"真实值和预测值的差值"的平方取平均值。
可以理解成预测误差如果按平方惩罚，平均会有多严重。这样就会放大对大误差的惩罚。
以预测稻米产量为例，假设5公顷土地，每公顷实际生产4、6、5、7、8吨稻米，预测生产5、5、10、8、6吨稻米，那么绝对误差分别为：1、1、5、1、2，则 MSE=(1+1+25+1+4) / 5=6.4吨²。
从这个例子里，我们能捕捉到以下几点信息：
1、MSE对异常值敏感，会指数级（平方级）放大"大的误差"，所以MSE的值会更大。如果将MSE当做一个惩罚机制的话，对于本身误差较大的项，惩罚就会越严重。本例中，原本的绝对误差为1，经过MSE误差还为1；若原本的绝对误差为2，经过MSE，误差则变为4，...原本的绝对误差越大，经过MSE的惩罚就会越来越严重。此外，由于MSE的数学形式为MSE=X²，其数学性质是一个处处光滑可导的曲线，梯度下降顺畅。因此，在深度学习和机器学习中，更倾向于用MSE作为优化模型的损失函数。
2、粮食作为基础性战略资源，其产量预测的准确性至关重要。预测误差过大会直接误导生产、储备、调配等关键决策------低估可能导致供应短缺、价格波动等民生问题，高估则会造成资源浪费与财政负担。鉴于大误差的代价极高，而MSE（均方误差）指标对较大误差更为敏感、惩罚力度更强，因此在该场景下比MAE标更具指导价值。
3、但同时我们还发现一个问题，即MSE的单位很奇怪，本例中，如果农民伯伯问你，要是用你的模型预测一公顷土地能产多少粮食，能与真实产量形成多大的偏差。阿欧，那你怎么说，人家的单位是吨，你MSE的单位是吨的平方？什么鬼，没法解释了。因此，为了既保留这种惩罚大误差的特性，又能够从业务的角度解释清楚，我们可以将MSE开根号，回到和y相同的量级上，即下面要说的RMSE。此外，我们又以反例的形式解释了第1条，为什么MSE的单位如此奇怪，还要有他的存在------数学性质良好可用于损失函数。
(三)RMSE
数学公式：
解释：MSE开根号的结果，即MSE的翻译官。
和MSE一样，会放大对大误差的惩罚，同时具备良好的可解释性。与MAE对比，若较大于MAE说明有异常值，若远大于MAE，说明有大异常。
以预测稻米产量为例，假设5公顷土地，每公顷实际生产4、6、5、7、8吨稻米，预测生产5、5、10、8、6吨稻米，那么绝对误差分别为：1、1、5、1、2，MSE=(1+1+25+1+4) / 5=6.4吨²，则RMSE=≈2.53吨。
从这个例子里，我们能捕捉到以下几点信息：
1、RMSE保留了对大误差的放大效应，但没有MSE严重了，同时又像MAE一样，单位上能够易于理解。但由于开方效应，和MAE一样不能评价是高估还是低估。
2、可以利用RMSE区别于MAE和MSE的特点，和MAE共用以诊断模型。在对理论和经验的双重考虑下，RMSE/MAE 的值有以下分析参考意义（阈值是相对的，对于不同的数据量或不同业务问题的容忍度要具体分析）：
≈ 1.00：误差均匀分布（如均匀分布）
≈ 1.25：接近正态分布（理想情况）
> 1.50：有明显异常值（明显重尾分布）
> 2.00：有极端异常值（严重问题，模型可能有误）
以本例为例，RMSE/MAE=1.265，接近正态分布，但由于实际只有五条数据，并非真正的正态分布，而是基本均匀但有一个稍大值。对于稻米问题，若这是只有5公顷土地的农民伯伯，从风险管理的角度对于这种异常的容忍度低，因此，这是不被允许的。
(四)MRE
数学公式：
解释：实际和MAPE是一回事儿，MAPE带有百分比，描述更清晰，因此不在此赘述MRE。学术和交流中常用MAPE，工程上可能叫MRE。
(五)MAPE
数学公式：
解释：无单位，数学本质是误差的百分比。
仍以预测稻米为例，MAPE=(25%+16.7%+100%+14.3%+25%)/5=181%/5=36.2%
从这个例子里，我们能捕捉到以下几点信息：
1、模型有将近40%的可能出错，反之是否可理解为有1-MAPE=60%的准确度。
2、同样是2吨的预测误差，MAPE就像一把智能放大镜。照在年产2吨的小农身上，它会显示"误差100%"------这意味着预测完全失真，足以让小农陷入恐慌与破产风险。而照在年产200吨的农场主身上，它只显示"误差1%"------这只是日常波动，农场主完全可以从容应对。MAPE的强大之处，就是它能自动结合你的家底（产量基数）告诉你：这个误差对你来说是致命的还是小问题。（解决了MAE第2条存在的问题）
(六)R²
数学公式：
解释：从公式上也可以直观的感受到，R方旨在告诉你，你的模型比用均值作为预测结果强了多少倍（消除了XX误差；或减少了XX不确定性）。因此，从R²的指标上讲：越接近1，模型越好，越接近0，越不可信。为负值，模型不可用。
仍以预测稻米为例，R²=-2.2
从这个例子里，我们能捕捉到以下几点信息：
1、R²为负值，模型是有害的。
2、面对当前模型表现，别急着简单否定或直接丢弃，而应进行差异化诊断与归因分析：
①从样本特异性角度分析：5公顷土地中，并非每一块的预测效果都差。应重点剖析R²极低或预测高估严重的地块------是土壤参数缺失？灌溉数据不准？还是遭遇了局部病虫害未纳入模型？这种"坏样本"往往能暴露模型的关键盲区。
②从业务盲点寻找突破：模型的严重高估可能指向某个未被量化的业务因素。例如：该地块是否处于背阴坡？前茬作物是否耗尽了特定养分？是否有鸟害、鼠害等非气候损失？这些因素虽难以获取，却可能是提升模型解释力的关键。
③非线性关系的识别：R²在处理非线性关系时存在局限。应考虑其他指标。
因此，当前模型的"失败点"恰恰是优化路径的"路标"。通过深入分析预测最差的地块与最异常的高估案例，我们不仅能修复模型缺陷，更可能发现之前被忽略的重要业务洞察。
三、总结
在评估回归模型时，不存在适用于所有场景的单一"最佳指标" 。实践中应建立多指标综合评估体系，从不同维度反映模型性能。具体建议：
（1）对于非线性或复杂关系问题，避免单独依赖R²，因其对线性假设敏感且易受异常值影响。
（2）推荐核心组合：MAE（平均绝对误差）、RMSE（均方根误差） 与 MAPE（平均绝对百分比误差）。三者分别提供误差的典型水平、对异常值的敏感度以及相对比例视角，形成较为完整的评估画像。
（3）若必须合成单一指标，可考虑：
① 1 − MAPE：直观反映"平均预测准确率"，业务解释性强；
② 基于业务精度要求的统计度量：根据业务可接受的误差范围，应用统计检验（如是否满足特定误差阈值的比例）进行通过性判定。
③ 特定领域或业务场景已有行业标准。