接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法,和概率方面的问题是不同源的,数学方法比较难,但是都是经常会用到的。
基本概念
线性规划
无约束优化方法
约束优化
多目标优化
基本概念
1.什么是最优化?
最优化就是判别在一个问题的众多解决方案中什么样的方案最佳,以及如何找出最佳方案。
2.最优化问题的基本数学模型
min: minimize
s.t. subject to
最小化函数f(x)满足等式约束以及不等式约束
x是决策变量,f(x)是目标函数或价值函数(可以是实值函数,也可以向量值函数)
等式约束函数和不等式约束函数
I不等式指标集
E等式指标集
所以最优化模型的三要素:
- 决策变量
- 目标函数
- 约束函数(必须是实值函数)
可行域 :同时满足等式约束和不等式约束的x的集合是可行域(可行集、约束条件)
若为空集,那么问题就是不可行的,否则可行的。
可行集中的点是可行点。
对于任意的可行点
不等式都成立,那么该可行点是全局最优解
如果小于,那么是严格全局最优解
可行点存在一个邻域使得对属于邻域成立,局部最优解
严格局部最优解。
对于优化问题,最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值。
最优解集 :全局最优点的集合,记为S。
如果xxx ,那么最优化问题没有最优解。
最优解未必存在,即使存在也未必唯一,但最优解存在时最优值必存在且唯一
其他形式的最优化问题也可以转换为最小化模型,如max模型。
可以进行等价转换(加个负号)
各种形式的数学描述:
the argument of the minimum最小值的论证
优化问题的分类
(1)根据有无约束:
无约束优化 可行集(域)为R
约束优化 可行集(域)是R的子集,且可行域为R
(2)根据所涉及函数的线性与否
线性规划 目标函数、约束函数均是线性的
非线性规划 否则
(3)目标函数的类型
单目标规划 若目标函数是一个多变量实值函数
多目标规划 若目标函数是一个多变量的向量值函数
(4)
(5)所涉及函数的凸性
凸规划 f是凸函数 可行域是凸集
非凸规划 否则
(6)根据可行点的个数分类(决策变量的取值是连续还是离散)
连续优化 可行域中包含无穷多个点,且可行域的点连续变化
离散优化 可行域中有限多个点或可数多个点
里面有些公式后面再补充上去。csdn我不太会编辑公式,后面手写加上吧。