机器学习可解释性

机器学习的稳健性、可解释性和结果正确性等是人工智能安全可信应用必须解决的关键问题。

传统机器学习:

  • 内置可解释性:决策树IF-Then规则,直观可理解
  • 事后可解释性:训练结束后的可解释技术
  • 特定于模型体系结构的解释
  • 与解释方法及模型无关联的解释

深度学习:

  • 全局解释:机器如何对总体进行特征判断
  • 局部解释:机器说明如何判断这个样例

可解释性深度学习的类型:

  • 语义性解释:网络中间层可视化(降维)、特征重要度(随机掩码)、损失函数的可解释性约束、对抗样本(凹槽流形)。
  • 原理性可解释:过参数化的有效性理论、网络训练的泛化研究(随机矩阵、拓扑)、网络结构的复杂度研究、深度学习的万能逼近。

语义可解释机器学习方法与理论仍然处于探索阶段,聚焦于对重要特征及网络层次结构认识的研究上,随机性带来的可解释性方面挑战需要关注。

原理性解释进展与问题

  • 过参数化模型的良性过拟合--为什么大参数量的深度学习模型没有产生过拟合(目前主要面向简单模型和具有一定特性的随机分布数据)
  • 收敛性和等效模型的研究----深度学习训练过程如何影响泛化性能(目前随机梯度下降的泛化理论适用范围仍然较弱)
  • PAC框架下的复杂度研究--深度模型的结构如何影响泛化性能(挑战:结构复杂度刻画)
  • 激活函数的研究和对比--深度模型的表达能力如何(挑战:模型非线性对表达能力的影响)激活函数在不同任务和数据中作用不同,常见的激活函数的逼近能力研究较为完善,但对网络泛化性能的贡献不理解。
  • 对抗样本存在性和对抗鲁棒型的样本复杂度--深度模型面对对抗数据时是否存在缺陷(对抗数据的存在性证明)随机网络上对抗性样本的存在性不能简单迁移到随机初始化的网络(有训练过程)上,对抗样本存在性和模型深度之间的关系不明确。
统计机器学习的原理是大数定理,面临的挑战是可学习性的可解析性
深度学习的原理是逼近,挑战是泛化性能的可解释性

可学习理论

可学习理论是机器学习可信性的基础:为机器学习框架与模型是否可信提供看可解释性理论

可学习理论与模型评估依据:准确度和损失

经典学习理论:寻求错误率意义下的泛化误差上界,准确度和损失是PAC可学习理论及其拓展理论基础。

经典学习算法:以错误率的连续凸上界构造目标函数,准确度和损失学习模型评估的重要依据

以准确度或其变形为目标的模型评价不能真实反应学习模型的客观学习能力,与实际情况形成一致的随机现象,可看作两个分布的一致观测中部分是随机导致的,分布之间带有随机因素的一致性为随机一致性。如何消除随机一致性对学习理论和模型评估的影响?任务和数据复杂程度都和随即一致性强相关。

影响随即一致性的因素:

学习证据缺乏完备性和充分性、准确性(训练数据采样随机性、标签标注偏差);

学习系统随机性、非理性、不可复现(算法设计随机、模型选择随机)

以上因素道中学习过程失去客观性、合理性和可解释性

随即一致性对机器学习理论的可解释性带来的挑战:

  • 影响经典学习理论的理论基础
  • 影响学习模型的泛化能力
  • 影响学习模型的公平性
  • 影响学习模型客观评价

参考:山西大学 钱宇华老师会议报告:机器学习可解释性研究现状与思考_哔哩哔哩_bilibili

相关推荐
补三补四16 分钟前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
AI绘画月月17 分钟前
AI绘画 | Stable Diffusion 图片背景完美替换
图像处理·人工智能·计算机视觉·ai作画·stable diffusion·midjourney·sd
阿里云大数据AI技术19 分钟前
阿里云 AI 搜索开放平台新发布:增加 QwQ 模型
人工智能·云计算
Toky丶22 分钟前
【文献阅读】Vision-Language Models for Vision Tasks: A Survey
人工智能·语言模型·自然语言处理
小白狮ww28 分钟前
Retinex 算法 + MATLAB 软件,高效率完成图像去雾处理
开发语言·人工智能·算法·matlab·自然语言处理·图像识别·去雾处理
掘金安东尼35 分钟前
用 Python 搭桥,Slack 上跑起来的 MCP 数字员工
人工智能·面试·github
skywalk816339 分钟前
体验智谱清言的AutoGLM进行自动化的操作(Chrome插件)
运维·人工智能·自动化·glm·autoglm
Chaos_Wang_1 小时前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
databook1 小时前
线性判别分析(LDA):降维与分类的完美结合
python·机器学习·scikit-learn