机器学习的稳健性、可解释性和结果正确性等是人工智能安全可信应用必须解决的关键问题。
传统机器学习：
- 内置可解释性：决策树IF-Then规则，直观可理解
- 事后可解释性：训练结束后的可解释技术
- 特定于模型体系结构的解释
- 与解释方法及模型无关联的解释
深度学习：
- 全局解释：机器如何对总体进行特征判断
- 局部解释：机器说明如何判断这个样例
可解释性深度学习的类型：
- 语义性解释：网络中间层可视化（降维）、特征重要度（随机掩码）、损失函数的可解释性约束、对抗样本（凹槽流形）。
- 原理性可解释：过参数化的有效性理论、网络训练的泛化研究（随机矩阵、拓扑）、网络结构的复杂度研究、深度学习的万能逼近。
语义可解释机器学习方法与理论仍然处于探索阶段，聚焦于对重要特征及网络层次结构认识的研究上，随机性带来的可解释性方面挑战需要关注。
原理性解释进展与问题
- 过参数化模型的良性过拟合--为什么大参数量的深度学习模型没有产生过拟合（目前主要面向简单模型和具有一定特性的随机分布数据）
- 收敛性和等效模型的研究----深度学习训练过程如何影响泛化性能（目前随机梯度下降的泛化理论适用范围仍然较弱）
- PAC框架下的复杂度研究--深度模型的结构如何影响泛化性能（挑战：结构复杂度刻画）
- 激活函数的研究和对比--深度模型的表达能力如何（挑战：模型非线性对表达能力的影响）激活函数在不同任务和数据中作用不同，常见的激活函数的逼近能力研究较为完善，但对网络泛化性能的贡献不理解。
- 对抗样本存在性和对抗鲁棒型的样本复杂度--深度模型面对对抗数据时是否存在缺陷（对抗数据的存在性证明）随机网络上对抗性样本的存在性不能简单迁移到随机初始化的网络（有训练过程）上，对抗样本存在性和模型深度之间的关系不明确。
统计机器学习的原理是大数定理，面临的挑战是可学习性的可解析性
深度学习的原理是逼近，挑战是泛化性能的可解释性
可学习理论
可学习理论是机器学习可信性的基础：为机器学习框架与模型是否可信提供看可解释性理论
可学习理论与模型评估依据：准确度和损失
经典学习理论：寻求错误率意义下的泛化误差上界，准确度和损失是PAC可学习理论及其拓展理论基础。
经典学习算法：以错误率的连续凸上界构造目标函数，准确度和损失学习模型评估的重要依据
以准确度或其变形为目标的模型评价不能真实反应学习模型的客观学习能力，与实际情况形成一致的随机现象，可看作两个分布的一致观测中部分是随机导致的，分布之间带有随机因素的一致性为随机一致性。如何消除随机一致性对学习理论和模型评估的影响？任务和数据复杂程度都和随即一致性强相关。
影响随即一致性的因素：
学习证据缺乏完备性和充分性、准确性（训练数据采样随机性、标签标注偏差）；
学习系统随机性、非理性、不可复现（算法设计随机、模型选择随机）
以上因素道中学习过程失去客观性、合理性和可解释性。
随即一致性对机器学习理论的可解释性带来的挑战：
- 影响经典学习理论的理论基础
- 影响学习模型的泛化能力
- 影响学习模型的公平性
- 影响学习模型客观评价
参考：山西大学 钱宇华老师会议报告：机器学习可解释性研究现状与思考_哔哩哔哩_bilibili