优化理论复习——(一)

接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法,和概率方面的问题是不同源的,数学方法比较难,但是都是经常会用到的。

基本概念

线性规划

无约束优化方法

约束优化

多目标优化

基本概念

1.什么是最优化?

最优化就是判别在一个问题的众多解决方案中什么样的方案最佳,以及如何找出最佳方案。

2.最优化问题的基本数学模型

min: minimize

s.t. subject to

最小化函数f(x)满足等式约束以及不等式约束

x是决策变量,f(x)是目标函数或价值函数(可以是实值函数,也可以向量值函数)

等式约束函数和不等式约束函数

I不等式指标集

E等式指标集

所以最优化模型的三要素:

  • 决策变量
  • 目标函数
  • 约束函数(必须是实值函数)

可行域 :同时满足等式约束和不等式约束的x的集合是可行域(可行集、约束条件)

若为空集,那么问题就是不可行的,否则可行的。

可行集中的点是可行点。

对于任意的可行点

不等式都成立,那么该可行点是全局最优解

如果小于,那么是严格全局最优解

可行点存在一个邻域使得对属于邻域成立,局部最优解
严格局部最优解

对于优化问题,最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值

最优解集 :全局最优点的集合,记为S。

如果xxx ,那么最优化问题没有最优解。

最优解未必存在,即使存在也未必唯一,但最优解存在时最优值必存在且唯一

其他形式的最优化问题也可以转换为最小化模型,如max模型。

可以进行等价转换(加个负号)

各种形式的数学描述:

the argument of the minimum最小值的论证

优化问题的分类

(1)根据有无约束:

无约束优化 可行集(域)为R

约束优化 可行集(域)是R的子集,且可行域为R

(2)根据所涉及函数的线性与否

线性规划 目标函数、约束函数均是线性的

非线性规划 否则

(3)目标函数的类型

单目标规划 若目标函数是一个多变量实值函数

多目标规划 若目标函数是一个多变量的向量值函数

(4)

(5)所涉及函数的凸性

凸规划 f是凸函数 可行域是凸集

非凸规划 否则

(6)根据可行点的个数分类(决策变量的取值是连续还是离散)

连续优化 可行域中包含无穷多个点,且可行域的点连续变化

离散优化 可行域中有限多个点或可数多个点

里面有些公式后面再补充上去。csdn我不太会编辑公式,后面手写加上吧。

相关推荐
lifallen5 分钟前
Paimon vs. HBase:全链路开销对比
java·大数据·数据结构·数据库·算法·flink·hbase
liujing102329291 小时前
Day04_刷题niuke20250703
java·开发语言·算法
2401_881244402 小时前
Treap树
数据结构·算法
乌萨奇也要立志学C++2 小时前
二叉树OJ题(单值树、相同树、找子树、构建和遍历)
数据结构·算法
网安INF2 小时前
深度学习中的逻辑回归:从原理到Python实现
人工智能·python·深度学习·算法·逻辑回归
wsxqaz2 小时前
浏览器原生控件上传PDF导致hash值不同
算法·pdf·哈希算法
NAGNIP2 小时前
Transformer注意力机制——MHA&MQA&GQA
人工智能·算法
摘星编程2 小时前
多模态AI Agent技术栈解析:视觉-语言-决策融合的算法原理与实践
人工智能·算法·多模态ai·视觉语言融合·ai决策算法
NAGNIP2 小时前
一文搞懂KV-Cache
人工智能·算法
CoovallyAIHub2 小时前
RTMPose:重新定义多人姿态估计的“实时”标准!
深度学习·算法·计算机视觉