ADMM 算法的基本概念

ADMM是一种分布式优化方法,其主要思想为将复杂的目标问题进行分解,得到多个可以并行求解的子问题,在对优化问题进行求解的过程中,先对每个子问题进行局部优化求解,最后将局部子问题的最优解进行融合得到全局问题的最优解。其算法模型为:

其中,,函数为关于变量xz 的连续函数。由上述模型可以看出,ADMM算法的全局变量可以拆分成两个可分离的局部变量,且这两个局部变量满足约束条件中的线性等式约束,同时目标函数关于这两个局部变量也可拆分成两个可分离的子函数。

ADMM 对于函数f 和g 的凸性没有要求,函数f 和g 为凸函数或者非凸函数,ADMM都可以进行求解。增广拉格朗日函数可以写成如下形式:

其中,y 为拉格朗日乘子,称为惩罚因子,ADMM 算法的迭代过程可以分成三步:

由上述公式可以看出,ADMM 算法首先利用上一次迭代的变量z 和拉格朗日乘子y 更新变量x ,之后利用刚更新的局部变量x 和上一次迭代的拉格朗日乘子y 更新局部变量z ,最后根据在本次迭代中已经更新的局部变量xz 来更新拉格朗日乘子y 。

按照这样的顺序,ADMM 算法的各个变量之间交替更新。为了简化形式,定义,可以将ADMM 算法的迭代过程写成放缩的形式:

这里定义对偶残差 和原始残差。一般来说,ADMM 算法迭代的终止准则可以通过原始残差和对偶残差来判断,当原始残差和对偶残差足够小时,即

ADMM 算法迭代过程可以终止,其中为原始可行条件和对偶可行条件的容忍度。

相关推荐
雾岛—听风15 分钟前
P1012 [NOIP 1998 提高组] 拼数
算法
18538162800航38 分钟前
短视频矩阵系统搭建指南:源码部署与全流程解析
线性代数·矩阵·音视频
papership42 分钟前
【入门级-算法-5、数值处理算法:高精度的乘法】
数据结构·算法
earthzhang202144 分钟前
【1039】判断数正负
开发语言·数据结构·c++·算法·青少年编程
谈笑也风生1 小时前
只出现一次的数字 II(一)
数据结构·算法·leetcode
蕓晨1 小时前
auto 自动类型推导以及注意事项
开发语言·c++·算法
mjhcsp1 小时前
C++ 递推与递归:两种算法思想的深度解析与实战
开发语言·c++·算法
_OP_CHEN1 小时前
算法基础篇:(三)基础算法之枚举:暴力美学的艺术,从穷举到高效优化
c++·算法·枚举·算法竞赛·acm竞赛·二进制枚举·普通枚举
m0_748248021 小时前
《详解 C++ Date 类的设计与实现:从运算符重载到功能测试》
java·开发语言·c++·算法
天选之女wow2 小时前
【代码随想录算法训练营——Day61】图论——97.小明逛公园、127.骑士的攻击
算法·图论