【论文笔记】Introduction to Explainable AI

论文信息

论文标题： Introduction to Explainable AI - CHI '21 Extended Abstracts
论文作者： Q. Vera Liao, Moninder Singh, Yunfeng Zhang, Rachel K.E. Bellamy
论文链接： https://doi.org/10.1145/3411763.3445016
课程链接： https://hcixaitutorial.github.io/

其实这篇是一个课程的介绍，但是我们也可以快速的了解一下 XAI in HCI 的基础概念。推荐阅读完成的 slide 和相关的讲座以更完整的了解该领域。

下面的笔记是结合了作者的 slide 和相关的课程视频整理而成。

随着人工智能（尤其是监督式机器学习模型）被广泛应用于高风险任务（high-stakes tasks）------如医疗诊断、信贷审批、司法风险评估等------其"黑箱"特性引发了对可解释性（Explainability）的迫切需求。

XAI 的核心目标：不仅让模型"能解释"，更要让用户能理解、能信任、能行动。

作者指出，XAI 是人机交互（HCI）与人工智能（AI）的交叉领域，需兼顾：

这里聚焦于监督式机器学习模型的解释，但 XAI 原则可扩展至机器人、规划系统等其他 AI 形态。

可解释人工智能的核心问题可以分为四个层面：

什么是 XAI？它解决什么问题？
- XAI 旨在提供人类可理解的解释，帮助用户理解 AI 的决策逻辑、行为边界与局限性。
- 不同学科关注点不同：
  - 机器学习社区：侧重模型内在可解释性（如决策树、线性模型）或事后解释（如 LIME、SHAP）。
  - HCI 社区：关注解释如何被用户感知、使用与信任，强调以用户为中心的设计。
为什么需要 XAI？
- 功能性需求：辅助模型调试、提升系统可靠性。
- 伦理与法律需求：满足 GDPR 等法规中的"解释权"（Right to Explanation）。
- 用户体验需求：建立适当信任、支持用户与 AI 协同决策（如贷款审批、医疗诊断）。
如何进行解释？
- 关键挑战：No one-fits-all solution -> case by case
- 解释形式多样，包括：
  - 基于特征重要性（如 SHAP 值）
  - 基于规则（如决策规则列表）
  - 基于样例（如相似案例对比）
  - 反事实解释（"如果你的收入高 10%，就会获批"）
从哪里开始我们的可解释性研究？
- 可以使用一些开源工具如 AIX 360 来快速实现解释功能。
- 需要强调设计指南与用户研究的重要性。

作者提出 "问题驱动的 XAI 设计流程"（Question-Driven XAI Design Process），其核心是：

从用户问题出发，而非从技术出发。
基于实证研究，整理出 XAI 问题库（XAI Question Bank），包含典型用户问题，例如：
- "为什么这个决定是这样做出的？"（Why?）
- "如果输入改变，结果会怎样？"（What if?）
- "这个模型在哪些情况下会出错？"（When does it fail?）

该方法强调：

设计上可以分为四步：

AIX 360: IBM 开源的综合性 XAI 工具包
Microsoft Interpret、SHAP、Alibi、Captum
设计资源：
- Google PAIR Explainability Guidelines
- IBM Design for AI: Explainability
- Model Cards（Google）、FactSheets（IBM）

XAI 仍然面对很多问题，我们需要注意：

未来方向：超越"打开黑箱"，走向"社会情境中的可理解性"（Socially Situated Understanding）。

对于研究者：

对于开发者/设计师：

对政策制定者：