1. 简述
一、算法原理
1、问题引入
之前我们了解过的算法大部分都是无约束优化问题，其算法有：黄金分割法，牛顿法，拟牛顿法，共轭梯度法，单纯性法等。但在实际工程问题中，大多数优化问题都属于有约束优化问题。惩罚函数法就可以将约束优化问题转化为无约束优化问题，从而使用无约束优化算法。
2、约束优化问题的分类
约束优化问题大致分为三类：等式约束、不等式约束、等式+不等式约束。
其数学模型为：
等式约束
s.t hv(x)=0,v=1,2,...,p<n
等式约束
s.t
等式+不等式约束问题
s.t hv(x)=0,v=1,2,...,p<n
3、惩罚函数法定义
惩罚函数法（SUMT法）又称序列无约束极小化技术，将等式约束与不等式约束的条件，经过适当定义的复合函数加到原目标函数上构造了惩罚函数，从而取消了约束，转而求解一系列无约束优化问题。
按照惩罚函数再优化过程中的迭代点是否在约束条件的可行域内，又分为内点法、外点法和混合法
内点法：迭代点再约束条件的可行域之内，只用于不等式约束。
外点法：迭代点再约束条件的可行域之外，既用于不等式约束又可用于等式约束。
4、外点惩罚函数法
等式约束：
s.t h1(x)=x1−2=0,h2(x)=x2+3=0
算法步骤
a、构造惩罚函数：F=f+M * { h1(x) ^2 + h2(x) ^2 } ，式中M为初始惩罚因子；
b、然后用无约束优化极值算法求解(牛顿法)；
c、 如果相邻两次惩罚函数无约束最优点之间的距离足够小【norm(x1-x0)<eps】，则收敛；
否则放大惩罚因子M=C*M，式中C为 罚因子放大系数；
d、转步骤a继续迭代；
2. 代码
主程序：
clear
f ='f1209';
x0=3 0;
TolX = 1e-4;
TolFun = 1e-9;
MaxIter=100;
alpha0 = 1;
%%%%选用不是基于梯度的无约束最优化方法求解，的正确结果
xo_Nelder,fo_Nelder = Opt_Nelder(f,x0,TolX,TolFun,MaxIter) %Nelder 方法
fc_Nelder,fo_Nelder,co_Nelder = f1209(xo_Nelder) %Nelder方法结果
xo_s,fo_s = fminsearch(f,x0) %MATLAB 内置函数fminsearch()
fc_s,fo_s,co_s = f1209(xo_s) %相应的结果
%%%基于梯度的方法最速下降法等，得到错误结果
grad=inline('2\*(x(1)+1)\*((x(1)-1.2)\^2+0.4\*(x(2)-0.5)\^2)+((x(1)+1)\^2+4\*(x(2)-1.5)\^2)\*2\*(x(1)-1.2),8\*(x(2)-1.5)\*((x(1)-1.2)\^2+0.4\*(x(2)-0.5)\^2)+((x(1)+1)\^2+4\*(x(2)-1.5)\^2)\*0.8\*(x(2)-0.5)','x');
xo_steep = Opt_Steepest(f,grad,x0,TolX,TolFun,alpha0) %最速下降法
fc_steep,fo_steep,co_steep = f1209(xo_steep) %相应结果
xo_u,fo_u = fminunc(f,x0); % MATLAB 内置函数fminunc()
fc_u,fo_u,co_u = f1209(xo_u) %相应结果
子程序：
function xo,fo =Opt_Nelder(f,x0,TolX,TolFun,MaxIter)
%Nelder-Mead法用于多维变量的最优化问题，维数>=2.
N = length(x0);
if N == 1 %一维情况，用二次逼近计算
xo,fo = Opt_Quadratic(f,x0,TolX,TolFun,MaxIter);
return
end
S = eye(N);
for i = 1:N %自变量维数大于2时，重复计算每个子平面的情况
i1 = i + 1;
if i1 > N
i1 = 1;
end
abc = x0; x0 + S(i,:); x0 + S(i1,:); %每一个定向子平面
fabc = feval(f,abc(1,:)); feval(f,abc(2,:)); feval(f,abc(3,:));
x0,fo = Nelder0(f,abc,fabc,TolX,TolFun,MaxIter);
if N < 3 %二维情况不需重复
break;
end
end
xo = x0;
3. 运行结果
