1. 简述
一、算法原理
1、问题引入
之前我们了解过的算法大部分都是无约束优化问题，其算法有：黄金分割法，牛顿法，拟牛顿法，共轭梯度法，单纯性法等。但在实际工程问题中，大多数优化问题都属于有约束优化问题。惩罚函数法就可以将约束优化问题转化为无约束优化问题，从而使用无约束优化算法。
2、约束优化问题的分类
约束优化问题大致分为三类：等式约束、不等式约束、等式+不等式约束。
其数学模型为：
等式约束
s.t hv(x)=0,v=1,2,...,p<n
等式约束
s.t
等式+不等式约束问题
s.t hv(x)=0,v=1,2,...,p<n
3、惩罚函数法定义
惩罚函数法（SUMT法）又称序列无约束极小化技术，将等式约束与不等式约束的条件，经过适当定义的复合函数加到原目标函数上构造了惩罚函数，从而取消了约束，转而求解一系列无约束优化问题。
按照惩罚函数再优化过程中的迭代点是否在约束条件的可行域内，又分为内点法、外点法和混合法
内点法：迭代点再约束条件的可行域之内，只用于不等式约束。
外点法：迭代点再约束条件的可行域之外，既用于不等式约束又可用于等式约束。
4、外点惩罚函数法
等式约束：
s.t h1(x)=x1−2=0,h2(x)=x2+3=0
算法步骤
a、构造惩罚函数：F=f+M * { [ h1(x) ]^2 + [ h2(x) ]^2 } ，式中M为初始惩罚因子；
b、然后用无约束优化极值算法求解(牛顿法)；
c、 如果相邻两次惩罚函数无约束最优点之间的距离足够小【norm(x1-x0)<eps】，则收敛；
否则放大惩罚因子M=C*M，式中C为 罚因子放大系数；
d、转步骤a继续迭代；
2. 代码
主程序：
clear
f ='f1209';
x0=[3 0];
TolX = 1e-4;
TolFun = 1e-9;
MaxIter=100;
alpha0 = 1;
%%%%选用不是基于梯度的无约束最优化方法求解，的正确结果
[xo_Nelder,fo_Nelder] = Opt_Nelder(f,x0,TolX,TolFun,MaxIter) %Nelder 方法
[fc_Nelder,fo_Nelder,co_Nelder] = f1209(xo_Nelder) %Nelder方法结果
[xo_s,fo_s] = fminsearch(f,x0) %MATLAB 内置函数fminsearch()
[fc_s,fo_s,co_s] = f1209(xo_s) %相应的结果
%%%基于梯度的方法最速下降法等，得到错误结果
grad=inline('[2*(x(1)+1)*((x(1)-1.2)^2+0.4*(x(2)-0.5)^2)+((x(1)+1)^2+4*(x(2)-1.5)^2)*2*(x(1)-1.2),8*(x(2)-1.5)*((x(1)-1.2)^2+0.4*(x(2)-0.5)^2)+((x(1)+1)^2+4*(x(2)-1.5)^2)*0.8*(x(2)-0.5)]','x');
xo_steep = Opt_Steepest(f,grad,x0,TolX,TolFun,alpha0) %最速下降法
[fc_steep,fo_steep,co_steep] = f1209(xo_steep) %相应结果
[xo_u,fo_u] = fminunc(f,x0); % MATLAB 内置函数fminunc()
[fc_u,fo_u,co_u] = f1209(xo_u) %相应结果
子程序：
function [xo,fo] =Opt_Nelder(f,x0,TolX,TolFun,MaxIter)
%Nelder-Mead法用于多维变量的最优化问题，维数>=2.
N = length(x0);
if N == 1 %一维情况，用二次逼近计算
[xo,fo] = Opt_Quadratic(f,x0,TolX,TolFun,MaxIter);
return
end
S = eye(N);
for i = 1:N %自变量维数大于2时，重复计算每个子平面的情况
i1 = i + 1;
if i1 > N
i1 = 1;
end
abc = [x0; x0 + S(i,:); x0 + S(i1,:)]; %每一个定向子平面
fabc = [feval(f,abc(1,:)); feval(f,abc(2,:)); feval(f,abc(3,:))];
[x0,fo] = Nelder0(f,abc,fabc,TolX,TolFun,MaxIter);
if N < 3 %二维情况不需重复
break;
end
end
xo = x0;
3. 运行结果
