机器学习可解释性

机器学习的稳健性、可解释性和结果正确性等是人工智能安全可信应用必须解决的关键问题。

传统机器学习:

  • 内置可解释性:决策树IF-Then规则,直观可理解
  • 事后可解释性:训练结束后的可解释技术
  • 特定于模型体系结构的解释
  • 与解释方法及模型无关联的解释

深度学习:

  • 全局解释:机器如何对总体进行特征判断
  • 局部解释:机器说明如何判断这个样例

可解释性深度学习的类型:

  • 语义性解释:网络中间层可视化(降维)、特征重要度(随机掩码)、损失函数的可解释性约束、对抗样本(凹槽流形)。
  • 原理性可解释:过参数化的有效性理论、网络训练的泛化研究(随机矩阵、拓扑)、网络结构的复杂度研究、深度学习的万能逼近。

语义可解释机器学习方法与理论仍然处于探索阶段,聚焦于对重要特征及网络层次结构认识的研究上,随机性带来的可解释性方面挑战需要关注。

原理性解释进展与问题

  • 过参数化模型的良性过拟合--为什么大参数量的深度学习模型没有产生过拟合(目前主要面向简单模型和具有一定特性的随机分布数据)
  • 收敛性和等效模型的研究----深度学习训练过程如何影响泛化性能(目前随机梯度下降的泛化理论适用范围仍然较弱)
  • PAC框架下的复杂度研究--深度模型的结构如何影响泛化性能(挑战:结构复杂度刻画)
  • 激活函数的研究和对比--深度模型的表达能力如何(挑战:模型非线性对表达能力的影响)激活函数在不同任务和数据中作用不同,常见的激活函数的逼近能力研究较为完善,但对网络泛化性能的贡献不理解。
  • 对抗样本存在性和对抗鲁棒型的样本复杂度--深度模型面对对抗数据时是否存在缺陷(对抗数据的存在性证明)随机网络上对抗性样本的存在性不能简单迁移到随机初始化的网络(有训练过程)上,对抗样本存在性和模型深度之间的关系不明确。
统计机器学习的原理是大数定理,面临的挑战是可学习性的可解析性
深度学习的原理是逼近,挑战是泛化性能的可解释性

可学习理论

可学习理论是机器学习可信性的基础:为机器学习框架与模型是否可信提供看可解释性理论

可学习理论与模型评估依据:准确度和损失

经典学习理论:寻求错误率意义下的泛化误差上界,准确度和损失是PAC可学习理论及其拓展理论基础。

经典学习算法:以错误率的连续凸上界构造目标函数,准确度和损失学习模型评估的重要依据

以准确度或其变形为目标的模型评价不能真实反应学习模型的客观学习能力,与实际情况形成一致的随机现象,可看作两个分布的一致观测中部分是随机导致的,分布之间带有随机因素的一致性为随机一致性。如何消除随机一致性对学习理论和模型评估的影响?任务和数据复杂程度都和随即一致性强相关。

影响随即一致性的因素:

学习证据缺乏完备性和充分性、准确性(训练数据采样随机性、标签标注偏差);

学习系统随机性、非理性、不可复现(算法设计随机、模型选择随机)

以上因素道中学习过程失去客观性、合理性和可解释性

随即一致性对机器学习理论的可解释性带来的挑战:

  • 影响经典学习理论的理论基础
  • 影响学习模型的泛化能力
  • 影响学习模型的公平性
  • 影响学习模型客观评价

参考:山西大学 钱宇华老师会议报告:机器学习可解释性研究现状与思考_哔哩哔哩_bilibili

相关推荐
千宇宙航6 分钟前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董9 分钟前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco34 分钟前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
jndingxin3 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦4 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988944 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03274 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿5 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手5 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志5 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc