ADMM 算法的基本概念

ADMM是一种分布式优化方法,其主要思想为将复杂的目标问题进行分解,得到多个可以并行求解的子问题,在对优化问题进行求解的过程中,先对每个子问题进行局部优化求解,最后将局部子问题的最优解进行融合得到全局问题的最优解。其算法模型为:

其中,,函数和为关于变量x 和z 的连续函数。由上述模型可以看出,ADMM算法的全局变量可以拆分成两个可分离的局部变量,且这两个局部变量满足约束条件中的线性等式约束,同时目标函数关于这两个局部变量也可拆分成两个可分离的子函数。

ADMM 对于函数f 和g 的凸性没有要求,函数f 和g 为凸函数或者非凸函数,ADMM都可以进行求解。增广拉格朗日函数可以写成如下形式:

其中,y 为拉格朗日乘子,称为惩罚因子,ADMM 算法的迭代过程可以分成三步:

由上述公式可以看出,ADMM 算法首先利用上一次迭代的变量z 和拉格朗日乘子y 更新变量x ,之后利用刚更新的局部变量x 和上一次迭代的拉格朗日乘子y 更新局部变量z ,最后根据在本次迭代中已经更新的局部变量x 和z 来更新拉格朗日乘子y 。

按照这样的顺序,ADMM 算法的各个变量之间交替更新。为了简化形式,定义,可以将ADMM 算法的迭代过程写成放缩的形式:

这里定义对偶残差 和原始残差。一般来说,ADMM 算法迭代的终止准则可以通过原始残差和对偶残差来判断,当原始残差和对偶残差足够小时,即

ADMM 算法迭代过程可以终止,其中和为原始可行条件和对偶可行条件的容忍度。

相关推荐
机器人零零壹6 小时前
技术白皮书:iRobotCAM如何解决机器人激光切割应用中的核心难点,从CAD离线编程到双目视觉定位与轨迹自适应提升复杂空间曲线切割的精度、效率与柔性化水平
人工智能·算法
ZhengEnCi8 小时前
大模型的分类到底怎么分:从基础模型到推理模型、从通用到专用的完整图谱
算法
取名真是9 小时前
Python 算法知识点从基础到进阶
开发语言·python·算法
罗西的思考9 小时前
【轻量化复刻大模型 / KIMI K3】KDA 模块交互式演示
人工智能·算法·机器学习
nm_zfyjt11 小时前
信息流广告投放优化实践:线索成本评估模型与转化链路重构(家装建材案例)
算法·重构·内蒙古朋友圈广告服务商·内蒙古朋友圈获客
w_zero_one13 小时前
算法--构造
java·数据结构·算法
其实防守也摸鱼13 小时前
信创安全竞赛知识总结与题库
大数据·网络·人工智能·算法·安全·php
小超人诞生日记14 小时前
C++ 智能指针的使用及其原理详解
c++·算法
拆房老料16 小时前
DeepSeek Super-agent 架构解析:从单任务 Agent 到持续运行的任务系统
人工智能·设计模式·系统架构