可解释性

如何减小神经网络的“黑匣子”属性？在学习人工智能知识的过程中，我们经常会听到有人说，神经网络就是个“黑盒”或者“黑匣子”，这是什么意思呢？实际上，神经网络的“黑匣子”属性（Black Box Property）是指神经网络作为一个整体系统在处理输入和输出时的不透明性。简单来说，就是我们并不知道给定输入之后，神经网络的输出为什么是abc而不是cba，这与决策树之类的白盒模型形成了鲜明的对比（在白盒模型中，我们能够非常准确地解释模型每一步决策的决定因素）。换句话来说，就是神经网络有着较差的可解释性，这个属性主要体现在以下几个方面：

打开AI的黑盒子——机器学习可解释性！现在以深度学习为主的方法在各个领域都已经next level了，但是如何解释我们的模型仍然是个难题。为什么得到这样的结果往往和结果本身一样重要。因此，个人觉得Explainable AI (XAI)依然会是近些年来一个很热门的方向。

我也谈AI看到平台的这条征文，觉得挺有意思，小写几笔。AI带给人类向好的方面就不多说了，大家肉眼可见的已经看到它给大家生活和工作等等方面带来的变化。但是面临的挑战和解决方案才是其在未来发展中要弥补上的短板。

新手小白勇闯新世界

机器学习可解释性机器学习的稳健性、可解释性和结果正确性等是人工智能安全可信应用必须解决的关键问题。可学习理论是机器学习可信性的基础：为机器学习框架与模型是否可信提供看可解释性理论

没有人比我更懂暴力算法

6个机器学习可解释性框架SHapley Additive explanation (SHAP)是一种解释任何机器学习模型输出的博弈论方法。它利用博弈论中的经典Shapley值及其相关扩展将最优信贷分配与局部解释联系起来.

喝过期的拉菲

Understanding Black-box Predictions via Influence Functions阅读笔记通过告诉我们对一个给定的预测“负责”的训练点，影响函数揭示了关于模型如何依赖训练数据和从训练数据中推断的见解。在本节中，我们将展示两个模型可以做出相同的正确预测，但以完全不同的方式实现。

喝过期的拉菲

Network Dissection 论文阅读笔记这是CVPR2017一篇有关深度学习可解释性研究的文章，作者通过评估单个隐藏神经元(unit)与一系列语义概念(concept)间的对应关系，来量化 CNN 隐藏表征的可解释性。