Trustworthy Machine Learning

1. 可信任机器学习的核心概念

1.1 可信任性的定义

• 稳健性（Robustness）： 机器学习模型在面对数据噪声、分布变化或对抗性攻击时仍能维持其预测性能的能力。

• 公平性（Fairness）： 避免 AI 决策对某些群体存在偏见，如种族、性别、社会经济地位等。

• 隐私保护（Privacy）： 确保模型在训练和推理过程中不泄露敏感数据（如用户信息）。

• 可解释性（Interpretability）： 使人类能够理解和信任 ML 模型的决策逻辑。

• 安全性（Security）： 保护模型免受数据投毒、对抗攻击和信息泄露的影响。

• 可靠性（Reliability）： 确保模型在不同环境和数据分布下都能保持稳定的性能。

2. 机器学习的稳健性（Robustness）

2.1 对抗性攻击（Adversarial Attacks）

• 白盒攻击（White-box Attacks）： 攻击者完全了解模型架构和参数，利用梯度计算微小扰动，使模型误分类。

• 黑盒攻击（Black-box Attacks）： 攻击者不知道模型细节，仅能通过输入-输出对生成对抗样本。

• 常见攻击方法：

  • FGSM（Fast Gradient Sign Method）

  • PGD（Projected Gradient Descent）

  • DeepFool

  • Carlini & Wagner (C&W) 攻击

2.2 对抗性防御（Adversarial Defenses）

• 对抗训练（Adversarial Training）： 用对抗样本增强训练数据，使模型适应攻击。

• 输入预处理（Input Preprocessing）： 如对抗性样本检测、去噪方法（JPEG 压缩、去噪自编码器）。

• 模型架构改进（Architectural Improvements）： 使用对抗性鲁棒优化，如 Lipschitz 正则化、随机平滑。

3. 机器学习的公平性（Fairness in ML）

3.1 偏见来源（Sources of Bias）

• 数据偏差（Data Bias）： 训练数据本身存在历史偏见，例如信贷评分系统对某些群体的歧视。

• 算法偏差（Algorithmic Bias）： ML 算法放大了训练数据中的偏见，例如特征选择导致某些群体更易被拒绝贷款。

• 模型偏差（Model Bias）： 由于优化目标不考虑公平性，导致某些群体的错误率较高。

3.2 公平性度量（Fairness Metrics）

• 均等机会（Equal Opportunity）： 确保不同群体的正类预测率相等。

• 均等误差（Equalized Odds）： 确保不同群体的误报率和漏报率一致。

• 人口均衡（Demographic Parity）： 确保不同群体的预测分布相似。

• 最坏情况公平性（Worst-Case Fairness）： 保障最弱势群体的预测质量。

3.3 公平性增强方法（Fairness Improvement Methods）

• 数据级别： 数据再平衡（Re-sampling）、合成数据（Data Augmentation）。

• 算法级别： 公平性损失函数（Fair Loss Function）、对抗性去偏见（Adversarial Debiasing）。

• 后处理方法： 调整决策阈值、重新校准模型输出。

4. 机器学习的隐私保护（Privacy-Preserving ML）

4.1 主要隐私攻击（Privacy Attacks）

• 模型反向推理攻击（Model Inversion Attack）： 通过访问模型输出推测输入数据的敏感信息。

• 成员推理攻击（Membership Inference Attack）： 识别某个样本是否被用于训练，危及数据隐私。

• 模型窃取攻击（Model Stealing Attack）： 通过 API 查询推测模型参数和结构。

4.2 隐私保护方法（Privacy-Preserving Techniques）

• 差分隐私（Differential Privacy, DP）： 在数据采样时添加噪声，防止攻击者推测个体信息。

• 联邦学习（Federated Learning, FL）： 让多个设备本地训练模型，仅共享梯度信息，不传输原始数据。

• 同态加密（Homomorphic Encryption）： 允许在加密数据上进行计算，保护敏感数据。

• 安全多方计算（Secure Multi-Party Computation, MPC）： 使多个参与者可以在不泄露数据的情况下协作计算。

5. 机器学习的可解释性（Interpretability in ML）

5.1 可解释性方法（Interpretability Techniques）

• 白盒方法（White-box Methods）： 适用于决策树、线性模型等可解释性较高的模型。

• 黑盒方法（Black-box Methods）： 适用于神经网络等复杂模型，如 SHAP、LIME。

5.2 主要解释方法

• 局部可解释性（Local Explainability）：

  • LIME（局部可解释模型）

  • SHAP（Shapley 值）

• 全局可解释性（Global Explainability）：

  • 特征重要性（Feature Importance）

  • 规则提取（Rule Extraction）

• 可视化工具（Visualization Tools）：

  • Grad-CAM（用于 CNN）

  • Attention Maps（用于 Transformer）

6. 可信任机器学习在金融风险管理中的应用

6.1 金融欺诈检测（Fraud Detection）

• 问题： 欺诈交易通常为少数类，如何确保 ML 模型不会误分类？

• 方法：

  • 采用公平性和隐私保护算法，防止系统误判合法用户。

  • 采用因果推理（Causal Inference），提升欺诈检测的可靠性。

6.2 信贷评分与贷款审批（Credit Scoring）

• 问题： ML 模型是否歧视某些群体？

• 方法：

  • 使用公平性度量，调整决策阈值。

  • 采用可解释性工具，使客户能理解信贷评分模型的决策。

6.3 资产管理与交易策略（Portfolio Management & Trading）

• 问题： 金融市场动态变化，模型是否能适应？

• 方法：

  • 采用鲁棒优化方法，使 AI 模型适应市场变化。

  • 使用隐私保护技术（如差分隐私），避免数据泄露。