机器学习笔记(三)-模型评估与选择后半部分

1、性能度量

定义:衡量模型泛化能力的评价标准。

结果:不取决于算法和数据,取决于任务需求。

1.1 回归任务常用的性能度量:

均方误差

1.2 分类任务常用的性能度量:

1.2.1 错误率、精度:适用于二分类和多分类任务(关注错判的概率)

1.2.2 查准率、查全率 :关注正确的多少被选出,可以构建查准率-查全率曲线,简称P-R曲线,查准率=查全率时的点称为平衡点(BEP,目前有很多更简化的度量方法),当存在多个二分类混淆矩阵时,可以用宏查准率和宏查全率。

ps:混淆矩阵,根据分类情况划分,真正例、假正例、真反例、假反例。

1.2.3 ROC和AUC:

**ROC曲线:**综合考虑学习器在不同任务下的期望泛化性能好坏,或者说,一般性能的好坏(很多学习器为测试样本产生一个实值或者概率预测,并将其与阈值进行比较,确定正反类,实值或者概率预测决定学习器的泛化能力,据此,可以将样例排序,根据不同任务利用截断点划分样本)

**AUC:**在两条ROC曲线交叉情况下,利用AUC方法,即比较ROC曲线下的面积

1.2.4 代价敏感错误率和代价曲线:

真实任务存在非均等代价,不同错误造成的后果不同,且希望总体代价最小,代价曲线可以反应学习器的期望总体代价。

2、比较检验

我们想要比较的泛化性能,但是实验评估得到的是在测试集上的性能,两者未必相同,且测试集上的性能跟测试集本身的选择有很大的关系。

2.1 假设检验

2.2 交叉检验t检验

2.3 McNemar检验

2.4 Friedman和Nemenyi检验

2.5 偏差与方差

相关推荐
万俟淋曦1 分钟前
【论文速递】2025年第30周(Jul-20-26)(Robotics/Embodied AI/LLM)
人工智能·深度学习·ai·机器人·论文·robotics·具身智能
高洁0113 分钟前
大模型-高效优化技术全景解析:微调 量化 剪枝 梯度裁剪与蒸馏 下
人工智能·python·深度学习·神经网络·知识图谱
CoookeCola14 分钟前
MovieNet(A holistic dataset for movie understanding) :面向电影理解的多模态综合数据集与工具链
数据仓库·人工智能·目标检测·计算机视觉·数据挖掘
张艾拉 Fun AI Everyday20 分钟前
Gartner 2025年新兴技术成熟度曲线
人工智能
菜鸟‍25 分钟前
【论文学习】大语言模型(LLM)论文
论文阅读·人工智能·学习
我先去打把游戏先1 小时前
ESP32学习笔记(基于IDF):IOT应用——WIFI连接
笔记·单片机·嵌入式硬件·mcu·物联网·学习·esp32
默 语1 小时前
AI驱动软件测试全流程自动化:从理论到实践的深度探索
运维·人工智能·驱动开发·ai·自动化·ai技术·测试全流程
说私域1 小时前
基于开源AI大模型、AI智能名片与S2B2C商城小程序的购物中心精准零售数据架构研究
人工智能·小程序·开源
key061 小时前
大模型在网络安全领域的应用与评测
网络·人工智能·web安全
北京耐用通信2 小时前
破解工业通信瓶颈:耐达讯自动化Modbus转Profinet网关连接驱动器的奥秘
人工智能·物联网·网络协议·自动化·信息与通信