优化理论复习——(一)

接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法,和概率方面的问题是不同源的,数学方法比较难,但是都是经常会用到的。

基本概念

线性规划

无约束优化方法

约束优化

多目标优化

基本概念

1.什么是最优化?

最优化就是判别在一个问题的众多解决方案中什么样的方案最佳,以及如何找出最佳方案。

2.最优化问题的基本数学模型

min: minimize

s.t. subject to

最小化函数f(x)满足等式约束以及不等式约束

x是决策变量,f(x)是目标函数或价值函数(可以是实值函数,也可以向量值函数)

等式约束函数和不等式约束函数

I不等式指标集

E等式指标集

所以最优化模型的三要素:

  • 决策变量
  • 目标函数
  • 约束函数(必须是实值函数)

可行域 :同时满足等式约束和不等式约束的x的集合是可行域(可行集、约束条件)

若为空集,那么问题就是不可行的,否则可行的。

可行集中的点是可行点。

对于任意的可行点

不等式都成立,那么该可行点是全局最优解

如果小于,那么是严格全局最优解

可行点存在一个邻域使得对属于邻域成立,局部最优解
严格局部最优解。

对于优化问题,最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值。

最优解集 :全局最优点的集合,记为S。

如果xxx ,那么最优化问题没有最优解。

最优解未必存在,即使存在也未必唯一,但最优解存在时最优值必存在且唯一

其他形式的最优化问题也可以转换为最小化模型,如max模型。

可以进行等价转换(加个负号)

各种形式的数学描述:

the argument of the minimum最小值的论证

优化问题的分类

(1)根据有无约束:

无约束优化 可行集(域)为R

约束优化 可行集(域)是R的子集,且可行域为R

(2)根据所涉及函数的线性与否

线性规划 目标函数、约束函数均是线性的

非线性规划 否则

(3)目标函数的类型

单目标规划 若目标函数是一个多变量实值函数

多目标规划 若目标函数是一个多变量的向量值函数

(4)

(5)所涉及函数的凸性

凸规划 f是凸函数 可行域是凸集

非凸规划 否则

(6)根据可行点的个数分类(决策变量的取值是连续还是离散)

连续优化 可行域中包含无穷多个点,且可行域的点连续变化

离散优化 可行域中有限多个点或可数多个点

里面有些公式后面再补充上去。csdn我不太会编辑公式,后面手写加上吧。

相关推荐
漂流瓶jz1 小时前
UVA-1615 高速公路 题解答案代码 算法竞赛入门经典第二版
数据结构·算法·贪心算法·贪心·aoapc·算法竞赛入门经典·uva
凌冰_11 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程
Pniubi12 小时前
力扣2 . 两数相加
算法·leetcode·职场和发展
戴·菲瑜12 小时前
为什么PPO难以做出顶级棋类引擎
算法·博弈论·rl·ppo
在所不辞兄15 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
AvocadoZeroOneOI19 小时前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
cjz389921 小时前
双指针技巧:覆盖式双指针(原地覆盖)
算法
橘子131 天前
【高级数据库】关系代数基本概念
算法
电科_银尘1 天前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴2 天前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl