拉格朗日对偶（Lagrange Duality）
1. 概念
拉格朗日对偶（Lagrange Duality）是优化理论中的一个重要方法，用于将约束优化问题转换为更易求解的对偶问题。它在凸优化、经济学、机器学习（如 SVM）等领域有广泛应用。
2. 原始问题（Primal Problem）
考虑一个标准的约束优化问题：
其中：
- f(x) 是目标函数
是不等式约束
3. 拉格朗日函数
定义 拉格朗日函数（Lagrangian）：
其中：
- 拉格朗日乘子
- 拉格朗日乘子
4. 对偶函数
对偶函数定义为：
即，对于给定的拉格朗日乘子 (λ,μ)，计算 L(x,λ,μ) 在 x 上的最小值。
5. 对偶问题（Dual Problem）
即，找出最优的 (λ,μ) 使得 θ(λ,μ) 取得最大值。
6. 弱对偶性和强对偶性
-
弱对偶性 ：对偶问题的最优值永远不大于原始问题的最优值：
-
强对偶性（Slater 条件）：如果原始问题是凸优化问题，并且满足 Slater 条件（即存在严格可行解），则对偶问题的最优值等于原始问题的最优值。
7. 计算示例
考虑优化问题：
拉格朗日函数：
对偶函数：
求导：
解得：
代入 ：
对偶问题：
通过求导可以得到最优解。
8. 应用
- 支持向量机（SVM）：通过拉格朗日对偶求解优化问题。
- 约束优化：在凸优化中，利用对偶问题简化计算。
- 经济学：用于影子价格分析和资源分配。
拉格朗日对偶是一种强大的数学工具，帮助优化问题转换成更容易求解的形式。