从 ERM 到 DRO：机器学习目标函数优化中的公平性保障> 阅读笔记 · 基于 ICML 2018 最佳论文提名《Fairness Without Demographics in Repeated Loss Minimization》（作者均来自斯坦福大学）## 一、文章背景与核心问题本文讨论的是机器学习目标函数优化过程中的"公平性"问题。与通常从数据或模型角度讨论公平性的研究不同，本文切入点是机器学习目标函数的优化原理 ，探讨优化过程本身如何影响不同子群体的表现。核心观察：基于"平均损失"（Average Loss）优化的机器学习算法，常常会给少数群体带来巨大的不准确性。这并非模型本身的问题，而是优化目标函数的设计问题------目标函数天然偏向数据量较大的群体，优先保证这些群体的损失最小化，从而忽略了在数量上不占优势的少数群体。## 二、关键概念### 1. 留存度（Retention）由于少数群体承受了较大的优化损失，这些群体可能选择离开或被系统剔除，导致长期运行后少数群体的数量逐渐减少。这是目标函数设计者难以预料的"平均损失函数副产品"。### 2. 不公平的放大（Disparity Amplification）上述"少数群体流失"现象的正式命名。优化过程的迭代不仅没有缓解群体差异，反而放大了不公平。### 3. ERM 的不公平放大性论文的一个重要贡献是发现 ERM（Empirical Risk Minimization，经验风险最小化）天然存在不公平的放大性 。ERM 涵盖了大量经典机器学习模型的目标函数，包括：- 支持向量机（Support Vector Machines）- 对数回归模型（Logistic Regression）- 线性回归（Linear Regression）作者还发现：即便初始状态看起来公平的模型，在 ERM 迭代优化过程中也会逐渐倾向于不公平。## 三、核心方法：DRO 框架为解决 ERM 下的不公平问题，作者提出了 DRO（Distributionally Robust Optimization，分布式健壮优化） 框架，其核心思想是最小化"最差场景"（Worst-Case）的风险，而非平均风险 。### 1. 新的数据假设- 假设数据中存在隐含的 K 个群体，每个数据点以一定概率属于其中某个群体；- K 个群体的数据分布、每个数据点对各群体的归属概率均为未知的隐含变量 ，需要由模型估计。### 2. 期望损失与最差场景控制在当前模型下，每个数据点可估计一个"期望损失"（Expected Loss）。由于每个数据点可能属于不同的群体、各群体分布不同，会得到 K 个不同的期望损失。优化的目标是控制这 K 个损失中最差的那个 ------若最差损失都能被压到某阈值之下，平均值必然更优，从而在直观上解决不公平放大问题。### 3. 期望人数的理论界定作者为"每个群体的期望人数"（期望损失下当前群体剩余人数 + 新加入人数）建立了理论界定，结论的直观解释是：- 若当前更新过程中期望人数能达到稳定的数值状态 ，则不公平放大不会发生；- 若无法达到稳定状态，则不公平放大必然发生。即在 ERM 优化下，群体规模可能发生改变，从而导致人群流失。### 4. DRO 的具体机制- DRO 改变优化过程中因数据分配不均衡而"对小群体采样不足"的问题；- 对当前群体中损失高的人群赋予更高权重 ，放大损失较高群体对应的群体概率，从而强调其当前损失状态；- DRO 优先考虑当前损失较大的小群体，实现对最差情况的优化 ，避免不公平放大。### 5. 工程可行性DRO 的目标函数可在递归下降（梯度下降）框架下优化，意味着任何当前使用 ERM 的算法都有机会切换为 DRO 优化流程，改造代价低、落地路径清晰。## 四、实验结果作者在模拟数据集与真实数据集上进行了验证，真实数据实验为"自动完成"（Auto Completion）任务：给定当前词预测下一个词，数据来自美国白人与黑人两个人群产生的推特信息，隐含假设是两群体的英语词汇与表达方式存在差异，混合优化可能无法照顾黑人用户体验、导致黑人用户流失。实验结论：DRO 相比 ERM 更能让黑人用户满意，且黑人用户的留存度相对更高 ，验证了 DRO 确实能起到照顾少数群体的作用。## 五、要点总结1. 本文从机器学习目标函数优化的角度讨论算法公平性，与一般公平性研究视角不同；2. 重要贡献是发现 ERM 存在不公平的放大性 ，并据此开发新框架 DRO；3. 实验验证 DRO 能有效解决小众群体的不公平性问题，同时兼顾了优化过程的工程可行性。