优化理论复习——(一)

接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法,和概率方面的问题是不同源的,数学方法比较难,但是都是经常会用到的。

基本概念

线性规划

无约束优化方法

约束优化

多目标优化

基本概念

1.什么是最优化?

最优化就是判别在一个问题的众多解决方案中什么样的方案最佳,以及如何找出最佳方案。

2.最优化问题的基本数学模型

min: minimize

s.t. subject to

最小化函数f(x)满足等式约束以及不等式约束

x是决策变量,f(x)是目标函数或价值函数(可以是实值函数,也可以向量值函数)

等式约束函数和不等式约束函数

I不等式指标集

E等式指标集

所以最优化模型的三要素:

  • 决策变量
  • 目标函数
  • 约束函数(必须是实值函数)

可行域 :同时满足等式约束和不等式约束的x的集合是可行域(可行集、约束条件)

若为空集,那么问题就是不可行的,否则可行的。

可行集中的点是可行点。

对于任意的可行点

不等式都成立,那么该可行点是全局最优解

如果小于,那么是严格全局最优解

可行点存在一个邻域使得对属于邻域成立,局部最优解
严格局部最优解

对于优化问题,最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值

最优解集 :全局最优点的集合,记为S。

如果xxx ,那么最优化问题没有最优解。

最优解未必存在,即使存在也未必唯一,但最优解存在时最优值必存在且唯一

其他形式的最优化问题也可以转换为最小化模型,如max模型。

可以进行等价转换(加个负号)

各种形式的数学描述:

the argument of the minimum最小值的论证

优化问题的分类

(1)根据有无约束:

无约束优化 可行集(域)为R

约束优化 可行集(域)是R的子集,且可行域为R

(2)根据所涉及函数的线性与否

线性规划 目标函数、约束函数均是线性的

非线性规划 否则

(3)目标函数的类型

单目标规划 若目标函数是一个多变量实值函数

多目标规划 若目标函数是一个多变量的向量值函数

(4)

(5)所涉及函数的凸性

凸规划 f是凸函数 可行域是凸集

非凸规划 否则

(6)根据可行点的个数分类(决策变量的取值是连续还是离散)

连续优化 可行域中包含无穷多个点,且可行域的点连续变化

离散优化 可行域中有限多个点或可数多个点

里面有些公式后面再补充上去。csdn我不太会编辑公式,后面手写加上吧。

相关推荐
拓端研究室1 小时前
视频讲解:门槛效应模型Threshold Effect分析数字金融指数与消费结构数据
前端·算法
随缘而动,随遇而安3 小时前
第八十八篇 大数据中的递归算法:从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法
IT古董3 小时前
【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器
神经网络·算法·机器学习
水木兰亭6 小时前
数据结构之——树及树的存储
数据结构·c++·学习·算法
Jess077 小时前
插入排序的简单介绍
数据结构·算法·排序算法
老一岁7 小时前
选择排序算法详解
数据结构·算法·排序算法
xindafu7 小时前
代码随想录算法训练营第四十二天|动态规划part9
算法·动态规划
xindafu7 小时前
代码随想录算法训练营第四十五天|动态规划part12
算法·动态规划
ysa0510308 小时前
Dijkstra 算法#图论
数据结构·算法·图论
一定要AK9 小时前
2025—暑期训练一
算法