优化理论复习——(一)

接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法,和概率方面的问题是不同源的,数学方法比较难,但是都是经常会用到的。

基本概念

线性规划

无约束优化方法

约束优化

多目标优化

基本概念

1.什么是最优化?

最优化就是判别在一个问题的众多解决方案中什么样的方案最佳,以及如何找出最佳方案。

2.最优化问题的基本数学模型

min: minimize

s.t. subject to

最小化函数f(x)满足等式约束以及不等式约束

x是决策变量,f(x)是目标函数或价值函数(可以是实值函数,也可以向量值函数)

等式约束函数和不等式约束函数

I不等式指标集

E等式指标集

所以最优化模型的三要素:

  • 决策变量
  • 目标函数
  • 约束函数(必须是实值函数)

可行域 :同时满足等式约束和不等式约束的x的集合是可行域(可行集、约束条件)

若为空集,那么问题就是不可行的,否则可行的。

可行集中的点是可行点。

对于任意的可行点

不等式都成立,那么该可行点是全局最优解

如果小于,那么是严格全局最优解

可行点存在一个邻域使得对属于邻域成立,局部最优解
严格局部最优解

对于优化问题,最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值

最优解集 :全局最优点的集合,记为S。

如果xxx ,那么最优化问题没有最优解。

最优解未必存在,即使存在也未必唯一,但最优解存在时最优值必存在且唯一

其他形式的最优化问题也可以转换为最小化模型,如max模型。

可以进行等价转换(加个负号)

各种形式的数学描述:

the argument of the minimum最小值的论证

优化问题的分类

(1)根据有无约束:

无约束优化 可行集(域)为R

约束优化 可行集(域)是R的子集,且可行域为R

(2)根据所涉及函数的线性与否

线性规划 目标函数、约束函数均是线性的

非线性规划 否则

(3)目标函数的类型

单目标规划 若目标函数是一个多变量实值函数

多目标规划 若目标函数是一个多变量的向量值函数

(4)

(5)所涉及函数的凸性

凸规划 f是凸函数 可行域是凸集

非凸规划 否则

(6)根据可行点的个数分类(决策变量的取值是连续还是离散)

连续优化 可行域中包含无穷多个点,且可行域的点连续变化

离散优化 可行域中有限多个点或可数多个点

里面有些公式后面再补充上去。csdn我不太会编辑公式,后面手写加上吧。

相关推荐
盼海37 分钟前
排序算法(五)--归并排序
数据结构·算法·排序算法
网易独家音乐人Mike Zhou4 小时前
【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现(Kalman Filter)
c语言·python·单片机·物联网·算法·嵌入式·iot
Swift社区8 小时前
LeetCode - #139 单词拆分
算法·leetcode·职场和发展
Kent_J_Truman8 小时前
greater<>() 、less<>()及运算符 < 重载在排序和堆中的使用
算法
IT 青年9 小时前
数据结构 (1)基本概念和术语
数据结构·算法
Dong雨9 小时前
力扣hot100-->栈/单调栈
算法·leetcode·职场和发展
SoraLuna9 小时前
「Mac玩转仓颉内测版24」基础篇4 - 浮点类型详解
开发语言·算法·macos·cangjie
liujjjiyun10 小时前
小R的随机播放顺序
数据结构·c++·算法
¥ 多多¥10 小时前
c++中mystring运算符重载
开发语言·c++·算法
trueEve11 小时前
SQL,力扣题目1369,获取最近第二次的活动
算法·leetcode·职场和发展