评价问题本质是用科学指标判断模型好不好用,核心是"看模型预测结果和真实情况差多少",帮你选出效果最优的模型。
- 核心逻辑:先分数据,再看指标拆分数据:不能用训练模型的数据来评价(相当于考试偷看答案),要把数据分成两部分------训练集(教模型学习)和测试集(考模型效果)。
选对指标:根据任务类型挑指标,不同任务"好模型"的标准不同,比如:
-
分类任务(如判断邮件是否为垃圾邮件):看准确率(对的占比)、召回率(漏判的少不少)。
-
回归任务(如预测明天的气温):看MAE(平均绝对误差,误差越小越好)。
- 小白必避的2个坑
-
坑1:指标只看一个。比如只看准确率,可能忽略"少数重要样本全错"的问题(如癌症检测漏诊)。
-
坑2:测试集"污染"。如果测试集的数据提前被模型见过,评价结果会虚高,毫无参考价值。@浙大疏锦行