可解释性机器学习的目标

为了解释比如决策树、随机森林的意义,我们首先应该定义可解释性的目标是什么。或者 说什么才是最好的可解释性的结果呢?很多人对于可解释性机器学习会有一个误解,觉得一 个好的可解释性就是要告诉我们整个模型在做什么事。我们要了解模型的一切,我们要知道 它到底是怎么做出一个决断的。但是这件事情真的是有必要的吗?虽然我们说机器学习模型, 深度网络是一个黑盒子,不能相信它,但世界上有很多黑盒子,比如人脑也是黑盒子。我们其 实也并不完全知道,人脑的运作原理,但是我们可以相信,另外一个人做出的决断。那为什么 深度网络是一个黑盒子,我们就没有办法相信其做出的决断呢?我们可以相信人脑做出的决 断,但是我们不可以相信深度网络做出的决断,这是为什么呢?

以下是一个和机器学习完全无关的心理学实验,这个实验是1970年一个哈佛大学教授做 的。这个实验是这样,在哈佛大学图书馆的打印机经常会有很多人都排队要印东西,这个时候 如果有一个人跟他前面的人说拜托请让我先印5页,这个时候你觉得这个人会答应吗?据统 计有60%的人会让他先印。但这个时候你只要把刚才问话的方法稍微改一下,你说拜托请让 我先印,因为我赶时间,他是不是真的赶时间没人知道,但是当你说你有一个理由所以你要先 印的时候,这个时候接受的程度变成94%。神奇的事情是,就算你的理由稍微改一下,比如 说请让我先印因为我需要先印,仅仅是这个样子接受的程度也变成93%。所以人就是需要一 个理由,你为什么要先印,你只要讲出一个理由,就算你的理由是因为我需要先印大家也会接 受。

所以会不会可解释性机器学习也是同样的道理。在可解释性机器学习中,好的解释就是 人能接受的解释,人就是需要一个理由让我们觉得高兴。因为很多人听到,深度网络是一个黑 盒子他就不爽,但是你告诉他说这个是可以被解释的,给他一个理由,他就高兴了。所以或许 好的解释就是让人高兴的解释。其实这个想法,这个技术的进展是蛮接近的。

相关推荐
火山引擎开发者社区4 小时前
没有长期记忆,Agent 谈何持续进化?一图看懂火山 Mem0:解锁 Agent 持续学习与进化之路
人工智能
冬奇Lab8 小时前
Workflow 系列(06):安全——跨步骤注入传播与四层防御
人工智能·工作流引擎
冬奇Lab8 小时前
每日一个开源项目(第149篇):RAG-Anything - 把图片、表格、公式当成一等公民的多模态 RAG 框架
人工智能·开源
米小虾8 小时前
AI Agent 安全实战指南:当智能体开始"不听话",开发者该如何应对?
人工智能·安全·agent
IT_陈寒10 小时前
Vite的热更新突然不香了,排查三小时差点砸键盘
前端·人工智能·后端
阿里云大数据AI技术12 小时前
构建高转化海外电商搜索:阿里云OpenSearch行业算法版的全链路智能优化策略实战
人工智能·搜索引擎
Awu122712 小时前
⚡从零开发 Agent CLI(五)实现一个可治理、可扩展的工具系统
前端·人工智能·claude
字节跳动视频云技术团队12 小时前
让 Agent 成为音视频工作台:AI MediaKit CLI + Skill 发布
人工智能·音视频开发
魏祖潇12 小时前
framework 整合实战——DDD/TDD/SDD 三件套在 framework 仓的真实落地
人工智能·后端