保序回归:拯救你的校准曲线(APP)

保序回归:拯救你的校准曲线(APP)

校准曲线之所以是评价模型效能的重要指标是因为,校准曲线衡量模型预测概率与实际发生概率之间的一致性,它可以帮助我们了解模型的预测结果是否可信。一个理想的模型应该能够准确地预测实际发生概率。在这种情况下,校准曲线将是一条直线,其斜率为 1。但是,在现实世界中,模型的预测往往会存在偏差。当模型的预测概率高于实际发生概率时,我们称之为过度校准;当模型的预测概率低于实际发生概率时,我们称之为欠校准。

线性的逻辑回归模型往往具有较好的校准曲线,但是模型区分能力(ROC曲线下面积)较弱,多数情况下,我们为了获得更好的模型区分能力,而舍弃线性的逻辑回归模型而采用随机森林等树形模型,但是这时候会发现校准曲线变得不佳。是不是好的模型区分能力和校准度不能同时兼得呢?采用概率校准技术可以弥补这一点。

这里说的概率校准是在模型得出预测概率之后对概率进行修正的方法,属于后处理技术,保序回归(isotonic regression)是其中常用的一种。当使用预测模型获得预测概率之后,可以使用保序回归对预测概率进行校正,得到的预测概率作为最终的预测概率,然后进行DCA分析或者预测概率相关的分析,包括校准曲线的绘制,很大程度导上会改善模型的校准度。保序回归适用于二分类、多分类和有序多分类的任务。机器学习和深度学习的概率校正都可以使用。

因为许多人对保序回归等后处理技术不熟悉,所以设计了这个APP让大家能够直观感受保序回归的作用。在APP内输入真是的label和预测的概率值,并勾选isotonic regression 即可对比概率校正前后的校准曲线。

APP地址:https://liuyp2080.shinyapps.io/save_your_probability/

相关推荐
Jeremy_lf8 分钟前
【生成模型之三】ControlNet & Latent Diffusion Models论文详解
人工智能·深度学习·stable diffusion·aigc·扩散模型
桃花键神1 小时前
AI可信论坛亮点:合合信息分享视觉内容安全技术前沿
人工智能
野蛮的大西瓜1 小时前
开源呼叫中心中,如何将ASR与IVR菜单结合,实现动态的IVR交互
人工智能·机器人·自动化·音视频·信息与通信
CountingStars6192 小时前
目标检测常用评估指标(metrics)
人工智能·目标检测·目标跟踪
tangjunjun-owen2 小时前
第四节:GLM-4v-9b模型的tokenizer源码解读
人工智能·glm-4v-9b·多模态大模型教程
冰蓝蓝2 小时前
深度学习中的注意力机制:解锁智能模型的新视角
人工智能·深度学习
橙子小哥的代码世界2 小时前
【计算机视觉基础CV-图像分类】01- 从历史源头到深度时代:一文读懂计算机视觉的进化脉络、核心任务与产业蓝图
人工智能·计算机视觉
新加坡内哥谈技术2 小时前
苏黎世联邦理工学院与加州大学伯克利分校推出MaxInfoRL:平衡内在与外在探索的全新强化学习框架
大数据·人工智能·语言模型
fanstuck3 小时前
Prompt提示工程上手指南(七)Prompt编写实战-基于智能客服问答系统下的Prompt编写
人工智能·数据挖掘·openai
lovelin+v175030409663 小时前
安全性升级:API接口在零信任架构下的安全防护策略
大数据·数据库·人工智能·爬虫·数据分析