保序回归:拯救你的校准曲线(APP)

保序回归:拯救你的校准曲线(APP)

校准曲线之所以是评价模型效能的重要指标是因为,校准曲线衡量模型预测概率与实际发生概率之间的一致性,它可以帮助我们了解模型的预测结果是否可信。一个理想的模型应该能够准确地预测实际发生概率。在这种情况下,校准曲线将是一条直线,其斜率为 1。但是,在现实世界中,模型的预测往往会存在偏差。当模型的预测概率高于实际发生概率时,我们称之为过度校准;当模型的预测概率低于实际发生概率时,我们称之为欠校准。

线性的逻辑回归模型往往具有较好的校准曲线,但是模型区分能力(ROC曲线下面积)较弱,多数情况下,我们为了获得更好的模型区分能力,而舍弃线性的逻辑回归模型而采用随机森林等树形模型,但是这时候会发现校准曲线变得不佳。是不是好的模型区分能力和校准度不能同时兼得呢?采用概率校准技术可以弥补这一点。

这里说的概率校准是在模型得出预测概率之后对概率进行修正的方法,属于后处理技术,保序回归(isotonic regression)是其中常用的一种。当使用预测模型获得预测概率之后,可以使用保序回归对预测概率进行校正,得到的预测概率作为最终的预测概率,然后进行DCA分析或者预测概率相关的分析,包括校准曲线的绘制,很大程度导上会改善模型的校准度。保序回归适用于二分类、多分类和有序多分类的任务。机器学习和深度学习的概率校正都可以使用。

因为许多人对保序回归等后处理技术不熟悉,所以设计了这个APP让大家能够直观感受保序回归的作用。在APP内输入真是的label和预测的概率值,并勾选isotonic regression 即可对比概率校正前后的校准曲线。

APP地址:https://liuyp2080.shinyapps.io/save_your_probability/

相关推荐
新手村领路人2 分钟前
飞桨paddlepaddle旧版本2.4.2安装
人工智能·paddlepaddle
Elastic 中国社区官方博客8 分钟前
带地图的 RAG:多模态 + 地理空间 在 Elasticsearch 中
大数据·人工智能·elasticsearch·搜索引擎·ai·语言模型·全文检索
云卓SKYDROID9 分钟前
无人机云台电压类型及测量方法
人工智能·目标跟踪·无人机·高科技·航线系统
云雾J视界23 分钟前
AI时代技术面试重构:谷歌如何用Vibe Coding与抗作弊革命重塑招聘
人工智能·google·面试·重构·谷歌·ai工具·技术面试
BFT白芙堂24 分钟前
GRASP 实验室研究 论文解读 | 机器人交互:基于神经网络引导变分推理的快速失配估计
人工智能·神经网络·机器学习·mvc·人机交互·科研教育机器人·具身智能平台
深蓝学院26 分钟前
智源研究院新研究:突破物理世界智能边界的RoboBrain 2.0,将重构具身AI能力天花板
人工智能·重构
做萤石二次开发的哈哈28 分钟前
萤石安全生产监管解决方案:构建企业安全智能化防护网
大数据·人工智能
万米商云30 分钟前
碎片化采购是座金矿:数字化正重构电子元器件分销的价值链
大数据·人工智能·电子元器件·供应链采购
GoldenSpider.AI31 分钟前
马斯克访谈深度解读:机器人、AI芯片与人类文明的未来
人工智能·机器人·starlink·spacex·tesla·elon musk·optimus
伊莲娜生活32 分钟前
大健康时代下的平台电商:VTN平台以科研创新重构健康美丽消费生态
人工智能·物联网·重构