接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法，和概率方面的问题是不同源的，数学方法比较难，但是都是经常会用到的。
基本概念
线性规划
无约束优化方法
约束优化
多目标优化
基本概念
1.什么是最优化？
最优化就是判别在一个问题的众多解决方案中什么样的方案最佳，以及如何找出最佳方案。
2.最优化问题的基本数学模型
min: minimize
s.t. subject to
最小化函数f(x)满足等式约束以及不等式约束
x是决策变量，f(x)是目标函数或价值函数（可以是实值函数，也可以向量值函数）
等式约束函数和不等式约束函数
I不等式指标集
E等式指标集
所以最优化模型的三要素：
- 决策变量
- 目标函数
- 约束函数（必须是实值函数）
可行域 ：同时满足等式约束和不等式约束的x的集合是可行域（可行集、约束条件）
若为空集，那么问题就是不可行的，否则可行的。
可行集中的点是可行点。
对于任意的可行点
不等式都成立，那么该可行点是全局最优解
如果小于，那么是严格全局最优解
可行点存在一个邻域使得对属于邻域成立，局部最优解
严格局部最优解。
对于优化问题，最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值。
最优解集 ：全局最优点的集合，记为S。
如果xxx ，那么最优化问题没有最优解。
最优解未必存在，即使存在也未必唯一，但最优解存在时最优值必存在且唯一
其他形式的最优化问题也可以转换为最小化模型，如max模型。
可以进行等价转换（加个负号）
各种形式的数学描述：
the argument of the minimum最小值的论证
优化问题的分类
（1）根据有无约束：
无约束优化 可行集（域）为R
约束优化 可行集（域）是R的子集，且可行域为R
（2）根据所涉及函数的线性与否
线性规划 目标函数、约束函数均是线性的
非线性规划 否则
（3）目标函数的类型
单目标规划 若目标函数是一个多变量实值函数
多目标规划 若目标函数是一个多变量的向量值函数
（4）
（5）所涉及函数的凸性
凸规划 f是凸函数 可行域是凸集
非凸规划 否则
（6）根据可行点的个数分类（决策变量的取值是连续还是离散）
连续优化 可行域中包含无穷多个点，且可行域的点连续变化
离散优化 可行域中有限多个点或可数多个点
里面有些公式后面再补充上去。csdn我不太会编辑公式，后面手写加上吧。