目录
[线性规划（Simplex 算法）](#线性规划（Simplex 算法）)
专栏：数学建模学习笔记
第一章：一维搜索问题
黄金分割法
应用类型： 函数优化问题
算法简介： 黄金分割法是一种用于一维搜索问题的优化算法，特别适用于无导数信息的目标函数。通过利用黄金分割比（φ ≈ 0.618），该算法逐步缩小搜索区间，以快速逼近极值点。黄金分割法在优化问题中具有高效性和稳健性，特别适用于目标函数光滑但无导数信息的情况。
优势：
- 效率高： 通过逐步缩小搜索区间，迅速逼近极值点。
- 简单易用： 算法步骤简单，容易实现和理解。
- 无需导数信息： 适用于目标函数不易求导或不可导的情况。
应用领域： 黄金分割法广泛应用于各种一维搜索优化问题，如经济学中的定价策略、金融学中的投资决策、工程中的设计参数优化等。
股票交易策略优化
已知数据： 假设某只股票在一个交易日中的价格变化函数如下：
其中，t是交易时间，以小时为单位。我们希望找到在交易日内（0到10小时）最佳的买入和卖出时机，以最大化利润。
% 定义股票价格变化函数
price = @(t) -0.1*t.^3 + 2*t.^2 - 15*t + 50;
% 黄金分割法
function [xmin, fmin] = golden_section_search(f, a, b, tol)
phi = (sqrt(5) - 1) / 2; % 黄金分割比
c = b - phi * (b - a);
d = a + phi * (b - a);
while (b - a) > tol
if f(c) < f(d)
b = d;
else
a = c;
end
c = b - phi * (b - a);
d = a + phi * (b - a);
end
xmin = (a + b) / 2;
fmin = f(xmin);
end
% 定义搜索区间和容差
a = 0;
b = 10;
tol = 1e-5;
% 使用黄金分割法找到最佳买入和卖出时机
[xmin, fmin] = golden_section_search(price, a, b, tol);
fprintf('Optimal time to buy/sell: %.5f\n', xmin);
fprintf('Optimal price: %.5f\n', fmin);
代码解释：
- 定义目标函数 ：函数
price表示股票价格随时间的变化。- 黄金分割法实现 ：函数
golden_section_search使用黄金分割比 φ 逐步缩小搜索区间，寻找极值点。- 搜索区间和容差：初始化搜索区间为 0 到 10 小时，设置容差为 1e-5。
- 求解最优时机 ：调用
golden_section_search函数，找到最佳的买入和卖出时机，并打印结果。
总结：
黄金分割法在无导数信息的情况下，通过逐步缩小搜索区间，能够高效地找到目标函数的极值点。在股票交易策略优化竞赛中，利用黄金分割法可以有效地确定最佳的买入和卖出时机，以最大化交易利润。
第二章：线性规划
线性规划（Simplex 算法）
应用类型： 资源分配、生产计划、投资组合优化
算法简介： 线性规划（Linear Programming，LP）是一类求解线性目标函数在一组线性约束条件下的优化问题的算法。Simplex 算法是最经典的线性规划求解算法之一。它通过逐步移动顶点来搜索可行区域，最终找到最优解。Simplex 算法以其高效性和鲁棒性，广泛应用于各种线性优化问题中。
优势：
- 效率高： Simplex 算法在大多数情况下能够高效求解线性规划问题。
- 鲁棒性强： 适用于各种线性约束和目标函数。
- 全局最优： 线性规划问题的全局最优解能够通过 Simplex 算法求得。
应用领域： 线性规划广泛应用于资源分配、生产计划、物流调度、金融投资组合优化等领域。
生产计划优化
已知数据： 某工厂生产两种产品 P1 和 P2，每种产品的利润分别为 40 美元和 30 美元。生产每种产品需要的资源如下表：
|----|---|---|
| P1 | 2 | 1 |
|----|---|---|
| P2 | 1 | 2 |
工厂每天最多有 100 小时的资源1和 80 小时的资源2。目标是通过合理分配资源以最大化利润。
% 定义目标函数和约束
f = [-40; -30]; % 注意：由于 linprog 求解的是最小值，这里取负
A = [2, 1; 1, 2];
b = [100; 80];
lb = [0; 0];
ub = [];
% 求解线性规划问题
[x, fval] = linprog(f, A, b, [], [], lb, ub);
fprintf('Optimal production of P1: %.2f units\n', x(1));
fprintf('Optimal production of P2: %.2f units\n', x(2));
fprintf('Maximum profit: $%.2f\n', -fval);
代码解释：
- 定义目标函数 ：向量
f表示每种产品的单位利润，由于linprog求解的是最小化问题，所以取负。- 定义约束条件 ：矩阵
A和向量b分别表示线性约束条件的系数矩阵和右端项，lb和ub表示变量的下界和上界。- 求解线性规划问题 ：调用
linprog函数，求解最优生产计划，并打印结果。
总结：
线性规划（Simplex 算法）通过高效求解线性目标函数在一组线性约束条件下的最优解，广泛应用于各种资源分配和生产计划优化问题。在生产计划优化竞赛中，利用 Simplex 算法可以有效地确定最优的生产组合，以最大化工厂利润。
第三章：无约束非线性优化问题
梯度下降法
应用类型： 参数优化、机器学习模型训练
算法简介： 梯度下降法（Gradient Descent）是一种用于无约束非线性优化问题的迭代算法。它通过沿着目标函数梯度的反方向逐步更新变量，从而逼近函数的极小值。梯度下降法因其简单易用和适用广泛，成为机器学习模型训练和参数优化中的常用算法。
优势：
- 简单易用： 算法简单，易于实现。
- 适用广泛： 适用于多种无约束非线性优化问题。
- 收敛速度可控： 通过调整步长，可以控制收敛速度和精度。
应用领域： 梯度下降法广泛应用于机器学习模型训练、参数优化、图像处理、信号处理等领域。
神经网络训练
已知数据： 假设一个简单的二次函数作为训练误差函数：
我们希望通过优化权重参数 w使得训练误差最小。
% 定义训练误差函数及其梯度
E = @(w) (w(1) - 3)^2 + (w(2) - 2)^2;
grad_E = @(w) [2*(w(1) - 3); 2*(w(2) - 2)];
% 梯度下降法
function [w, fval] = gradient_descent(E, grad_E, w0, alpha, tol)
w = w0;
while norm(grad_E(w)) > tol
w = w - alpha * grad_E(w);
end
fval = E(w);
end
% 定义初始权重、步长和容差
w0 = [0; 0];
alpha = 0.1;
tol = 1e-5;
% 使用梯度下降法优化权重参数
[w, fval] = gradient_descent(E, grad_E, w0, alpha, tol);
fprintf('Optimal weights: w1 = %.5f, w2 = %.5f\n', w(1), w(2));
fprintf('Minimum error: %.5f\n', fval);
代码解释：
- 定义目标函数及其梯度 ：函数
E表示训练误差函数，grad_E表示其梯度。- 梯度下降法实现 ：函数
gradient_descent使用梯度下降法，通过沿着梯度反方向更新权重参数，逐步逼近极小值。- 初始权重、步长和容差 ：初始化权重参数为
[0; 0]，设置步长为 0.1，容差为 1e-5。- 优化权重参数 ：调用
gradient_descent函数，优化权重参数，并打印结果。
总结：
梯度下降法通过沿着目标函数梯度的反方向更新变量，能够有效地逼近函数的极小值。在神经网络训练竞赛中，利用梯度下降法可以有效地优化权重参数，以最小化训练误差。
牛顿法
应用类型： 参数优化、高精度问题求解
算法简介： 牛顿法（Newton's Method）是一种用于求解无约束非线性优化问题的迭代算法。它利用目标函数的一阶和二阶导数信息，通过在当前点处近似目标函数为二次函数，逐步逼近函数的极小值。牛顿法因其快速收敛和高精度，常用于高精度问题求解。
优势：
- 收敛速度快： 二次收敛速度使其在接近根时具有极高的精度。
- 精度高： 利用一阶和二阶导数信息，提高求解精度。
- 适用范围广： 适用于目标函数光滑且二次可导的情况。
应用领域： 牛顿法广泛应用于数值分析、工程计算、物理模型求解、经济学模型优化等领域。
非线性系统求解
已知数据： 假设我们希望求解非线性方程
实现代码：
% 定义目标函数及其导数
f = @(x) x^3 - 2*x^2 - 5;
df = @(x) 3*x^2 - 4*x;
% 牛顿法
function [x, fval] = newton_method(f, df, x0, tol)
x = x0;
while abs(f(x)) > tol
x = x - f(x) / df(x);
end
fval = f(x);
end
% 定义初始点和容差
x0 = 3;
tol = 1e-5;
% 使用牛顿法求解非线性方程
[x, fval] = newton_method(f, df, x0, tol);
fprintf('Root: %.5f\n', x);
fprintf('Function value at root: %.5f\n', fval);
代码解释：
- 定义目标函数及其导数 ：函数
f表示目标非线性方程，df表示其导数。- 牛顿法实现 ：函数
newton_method使用牛顿法，通过在当前点处近似目标函数为二次函数，逐步逼近函数的根。- 初始点和容差：初始化初始点为 3，设置容差为 1e-5。
- 求解非线性方程 ：调用
newton_method函数，求解非线性方程，并打印结果。
总结：
牛顿法通过利用目标函数的一阶和二阶导数信息，能够快速逼近函数的极小值或根。在非线性系统求解竞赛中，利用牛顿法可以高效地求解复杂的非线性方程组。
第四章：有约束非线性优化问题
拉格朗日乘数法
应用类型： 工程优化、经济模型
算法简介： 拉格朗日乘数法（Lagrange Multiplier Method）是一种用于有约束非线性优化问题的算法。通过引入拉格朗日乘数，将约束条件融入目标函数，形成拉格朗日函数，从而将原问题转化为无约束优化问题进行求解。该方法广泛应用于工程和经济领域的优化问题中。
优势：
- 灵活性高： 可以处理等式和不等式约束。
- 理论基础扎实： 基于凸优化理论，能保证求解的准确性。
- 适用范围广： 适用于各种非线性约束优化问题。
应用领域： 拉格朗日乘数法广泛应用于工程设计优化、经济模型求解、资源分配、生产计划等领域。
机械设计优化
已知数据： 假设我们希望设计一个机械部件，使其在满足强度约束的同时，最小化成本。
目标函数为：
约束条件为：
实现代码：
% 定义目标函数及其梯度
f = @(x) x(1)^2 + x(2)^2;
grad_f = @(x) [2*x(1); 2*x(2)];
% 定义约束条件及其梯度
g = @(x) 1 - x(1) - x(2);
grad_g = @(x) [-1; -1];
% 拉格朗日乘数法
function [x, lambda, fval] = lagrange_multiplier_method(f, grad_f, g, grad_g, x0, lambda0, tol)
x = x0;
lambda = lambda0;
while norm(grad_f(x) + lambda * grad_g(x)) > tol
x = x - 0.1 * (grad_f(x) + lambda * grad_g(x));
lambda = lambda - 0.1 * g(x);
end
fval = f(x);
end
% 定义初始点、初始拉格朗日乘数和容差
x0 = [0.5; 0.5];
lambda0 = 0;
tol = 1e-5;
% 使用拉格朗日乘数法优化
[x, lambda, fval] = lagrange_multiplier_method(f, grad_f, g, grad_g, x0, lambda0, tol);
fprintf('Optimal parameters: x1 = %.5f, x2 = %.5f\n', x(1), x(2));
fprintf('Lagrange multiplier: %.5f\n', lambda);
fprintf('Minimum cost: %.5f\n', fval);
代码解释：
- 定义目标函数及其梯度 ：函数
f表示目标函数，grad_f表示其梯度。- 定义约束条件及其梯度 ：函数
g表示约束条件，grad_g表示其梯度。- 拉格朗日乘数法实现 ：函数
lagrange_multiplier_method使用拉格朗日乘数法，通过引入拉格朗日乘数，将约束条件融入目标函数进行优化。- 初始点、初始拉格朗日乘数和容差 ：初始化初始点为
[0.5; 0.5]，初始拉格朗日乘数为 0，设置容差为 1e-5。- 优化过程 ：调用
lagrange_multiplier_method函数，优化参数并打印结果。
总结：
拉格朗日乘数法通过将约束条件融入目标函数，能够有效地求解有约束非线性优化问题。在机械设计优化竞赛中，利用拉格朗日乘数法可以找到满足强度约束的最优设计参数，以最小化设计成本。
第五章：二次规划
二次规划
应用类型： 投资组合优化、资源分配、控制系统设计
算法简介： 二次规划（Quadratic Programming，QP）是一类优化问题，其中目标函数为二次函数，约束条件为线性不等式或等式。二次规划问题可以通过各种优化算法求解，如内点法和信赖域法。该方法在处理具有二次目标函数的优化问题中具有高效性和精度。
优势：
- 精度高： 利用二次函数的性质，提高求解精度。
- 收敛速度快： 在二次规划问题中具有良好的收敛性能。
- 适用范围广： 适用于具有二次目标函数和线性约束的优化问题。
应用领域： 二次规划广泛应用于投资组合优化、资源分配、控制系统设计、机械设计等领域。
投资组合优化
已知数据： 假设我们有五种投资产品，每种产品的预期收益和风险如下表：
|----|-----|------|
| P1 | 10% | 0.05 |
|----|-----|------|
| P2 | 15% | 0.10 |
|----|-----|------|
| P3 | 20% | 0.15 |
|----|-----|------|
| P4 | 25% | 0.20 |
|----|-----|------|
| P5 | 30% | 0.25 |
我们希望通过合理分配资金，使得总体收益最大化，同时风险最小。
% 定义目标函数的系数矩阵和约束条件
H = diag([0.05, 0.10, 0.15, 0.20, 0.25]);
f = [-0.10; -0.15; -0.20; -0.25; -0.30];
Aeq = [1, 1, 1, 1, 1];
beq = 1;
lb = zeros(5, 1);
ub = ones(5, 1);
% 求解二次规划问题
options = optimoptions('quadprog', 'Display', 'off');
[x, fval] = quadprog(H, f, [], [], Aeq, beq, lb, ub, [], options);
fprintf('Optimal investment in P1: %.2f%%\n', x(1) * 100);
fprintf('Optimal investment in P2: %.2f%%\n', x(2) * 100);
fprintf('Optimal investment in P3: %.2f%%\n', x(3) * 100);
fprintf('Optimal investment in P4: %.2f%%\n', x(4) * 100);
fprintf('Optimal investment in P5: %.2f%%\n', x(5) * 100);
fprintf('Minimum risk (variance): %.4f\n', fval);
代码解释：
- 定义目标函数的系数矩阵和约束条件 ：矩阵
H表示二次目标函数的系数矩阵，向量f表示一次项系数。矩阵Aeq和向量beq表示线性等式约束，向量lb和ub表示变量的下界和上界。- 求解二次规划问题 ：调用
quadprog函数，求解最优投资组合，并打印结果。
总结：
二次规划通过利用二次目标函数的性质，能够高效地求解具有线性约束的优化问题。在投资组合优化竞赛中，利用二次规划可以找到最优的投资组合，以最大化收益和最小化风险。
第六章：混合整数线性规划
混合整数线性规划（MILP）
应用类型： 物流优化、项目调度、供应链管理
算法简介： 混合整数线性规划（Mixed-Integer Linear Programming，MILP）是一类优化问题，其中目标函数和约束条件均为线性，但部分或全部决策变量必须是整数。MILP 可以通过分支定界法、割平面法等求解。该方法在处理整数和连续变量混合的优化问题中具有独特优势。
优势：
- 精度高： 可以精确求解具有整数约束的优化问题。
- 灵活性强： 适用于多种实际应用场景，包含整数和连续变量。
- 全局最优： 在给定约束条件下能够找到全局最优解。
应用领域： 混合整数线性规划广泛应用于物流优化、项目调度、供应链管理、设施选址等领域。
工厂选址问题
已知数据： 假设我们有三个潜在的工厂选址点，每个点的建设成本和满足市场需求的能力如下表：
|---|-------|-----|
| A | 200 万 | 50% |
|---|-------|-----|
| B | 300 万 | 70% |
|---|-------|-----|
| C | 400 万 | 90% |
我们希望通过合理选择工厂选址，使得建设成本最小，同时满足至少 80% 的市场需求。
% 定义目标函数的系数和约束条件
f = [200; 300; 400];
intcon = [1, 2, 3];
A = [-0.5, -0.7, -0.9];
b = -0.8;
lb = zeros(3, 1);
ub = ones(3, 1);
% 求解混合整数线性规划问题
options = optimoptions('intlinprog', 'Display', 'off');
[x, fval] = intlinprog(f, intcon, A, b, [], [], lb, ub, options);
fprintf('Choose location A: %d\n', x(1));
fprintf('Choose location B: %d\n', x(2));
fprintf('Choose location C: %d\n', x(3));
fprintf('Minimum cost: %.2f 万元\n', fval);
代码解释：
- 定义目标函数的系数和约束条件 ：向量
f表示建设成本，向量intcon表示整数变量的索引。矩阵A和向量b表示线性不等式约束，向量lb和ub表示变量的下界和上界。 - 求解混合整数线性规划问题 ：调用
intlinprog函数，求解最优选址方案，并打印结果。
总结：
混合整数线性规划通过精确求解具有整数约束的优化问题，能够找到全局最优解。在工厂选址优化竞赛中，利用 MILP 可以找到最优的工厂选址方案，以最小化建设成本并满足市场需求。
第七章：多目标规划
多目标规划（权重法）
应用类型： 生产计划、工程设计、资源分配
算法简介： 多目标规划（Multi-Objective Optimization）是一类优化问题，其中需要同时优化多个目标函数。权重法是解决多目标规划问题的一种常用方法，通过为每个目标函数分配权重，将多目标函数合并为单一目标函数进行优化。该方法具有灵活性高、易于实现的特点。
优势：
- 灵活性高： 可以根据实际需求调整目标权重。
- 适用范围广： 适用于多种多目标优化问题。
- 解决方案易解释： 多目标函数合并为单一目标函数，易于解释。
应用领域： 多目标规划广泛应用于生产计划、工程设计、资源分配、供应链管理等领域。
生产计划优化
已知数据： 某工厂生产两种产品 P1 和 P2，每种产品的利润分别为 40 美元和 30 美元，同时希望最大化产量和利润。生产每种产品需要的资源如下表：
|----|---|---|
| P1 | 2 | 1 |
|----|---|---|
| P2 | 1 | 2 |
工厂每天最多有 100 小时的资源1和 80 小时的资源2。
% 定义目标函数及其权重
function F = multi_obj_func(x)
F = [-x(1) - x(2); -40*x(1) - 30*x(2)];
end
% 定义初始点、目标值和权重
x0 = [0, 0];
goals = [0, 0];
weights = [1, 1];
A = [2, 1; 1, 2];
b = [100; 80];
lb = [0, 0];
ub = [];
% 求解多目标规划问题
options = optimoptions('fgoalattain', 'Display', 'off');
[x, fval] = fgoalattain(@multi_obj_func, x0, goals, weights, A, b, [], [], lb, ub, [], options);
fprintf('Optimal production of P1: %.2f units\n', x(1));
fprintf('Optimal production of P2: %.2f units\n', x(2));
fprintf('Goal attainment: %.2f, %.2f\n', fval);
代码解释：
- 定义目标函数及其权重 ：函数
multi_obj_func表示多目标函数，目标为最大化产量和利润。向量goals表示目标值，向量weights表示目标权重。 - 定义初始点、目标值和权重 ：初始化初始点为
[0, 0]，设置目标值为[0, 0]，权重为[1, 1]。 - 求解多目标规划问题 ：调用
fgoalattain函数，求解最优生产计划，并打印结果。
总结：
多目标规划（权重法）通过为每个目标函数分配权重，将多目标函数合并为单一目标函数进行优化，能够灵活地处理多目标优化问题。在生产计划优化竞赛中，利用多目标规划可以找到同时最大化产量和利润的最优生产计划。
第八章：极大最小化
极大最小化
应用类型： 决策分析、博弈论、稳健优化
算法简介： 极大最小化（Maximin Optimization）是一类优化问题，目标是在最坏情况下找到最优解。该方法广泛应用于决策分析、博弈论和稳健优化问题中，通过最大化最小收益或最小化最大损失，寻找最优决策。
优势：
- 稳健性强： 适用于不确定环境中的决策问题。
- 全局最优： 寻找到在最坏情况下的最优解。
- 应用广泛： 适用于金融、供应链、博弈论等多个领域。
应用领域： 极大最小化广泛应用于决策分析、博弈论、稳健优化、供应链管理等领域。
供货中心选址问题
已知数据： 假设一个公司计划在三个城市中选址供货中心，以最小化最大供货距离。供货距离矩阵如下：
|---|----|----|----|
| A | 10 | 20 | 30 |
|---|----|----|----|
| B | 20 | 10 | 40 |
|---|----|----|----|
| C | 30 | 40 | 10 |
目标是找到最佳的选址组合，使得最大供货距离最小。
% 定义损失函数
function f = max_loss_func(x)
D = [10, 20, 30; 20, 10, 40; 30, 40, 10];
f = max(D * x);
end
% 定义初始点和约束条件
x0 = [0, 0, 0];
lb = zeros(3, 1);
ub = ones(3, 1);
% 求解极大最小化问题
options = optimoptions('fminimax', 'Display', 'off');
[x, fval] = fminimax(@max_loss_func, x0, [], [], [], [], lb, ub, [], options);
fprintf('Choose location A: %.2f\n', x(1));
fprintf('Choose location B: %.2f\n', x(2));
fprintf('Choose location C: %.2f\n', x(3));
fprintf('Minimum maximum loss: %.2f\n', fval);
代码解释：
- 定义损失函数 ：函数
max_loss_func表示最大供货距离。 - 定义初始点和约束条件 ：初始化初始点为
[0, 0, 0]，设置变量的下界和上界分别为0和1。 - 求解极大最小化问题 ：调用
fminimax函数，求解最优选址方案，并打印结果。
总结：
极大最小化通过最大化最小收益或最小化最大损失，能够在不确定环境中找到最优决策。在供货中心选址竞赛中，利用极大最小化可以找到最优的选址方案，以最小化最大供货距离。
第九章：半无限问题
半无限优化
应用类型： 设计优化、资源管理、控制系统
算法简介： 半无限优化（Semi-Infinite Programming）是一类优化问题，其中目标函数和有限个约束条件为一般形式，而一组约束条件为无限多。该方法广泛应用于设计优化、资源管理和控制系统中，通过处理无穷多约束条件，寻找最优解。
优势：
- 处理复杂约束： 能处理无穷多约束条件的优化问题。
- 灵活性高： 适用于多种实际应用场景。
- 精度高： 在复杂约束条件下能够找到精确解。
应用领域： 半无限优化广泛应用于设计优化、资源管理、控制系统、金融工程等领域。
天线设计优化
已知数据： 假设我们需要设计一个天线，使其在特定频段内的性能最佳化。天线性能可以用一个函数 P(x) 表示，设计变量 x 需要满足某些约束条件。
实现代码：
% 定义目标函数
function f = antenna_design_func(x)
f = x(1)^2 + x(2)^2 + x(1)*x(2);
end
% 定义约束条件
function [c, ceq] = antenna_constraints(x)
c = x(1) + x(2) - 1;
ceq = [];
end
% 定义初始点和约束条件
x0 = [0, 0];
% 求解半无限优化问题
options = optimoptions('fmincon', 'Display', 'off');
[x, fval] = fmincon(@antenna_design_func, x0, [], [], [], [], [], [], @antenna_constraints, options);
fprintf('Optimal antenna design: x1 = %.2f, x2 = %.2f\n', x(1), x(2));
fprintf('Minimum value: %.2f\n', fval);
代码解释：
- 定义目标函数 ：函数
antenna_design_func表示天线性能目标函数。 - 定义约束条件 ：函数
antenna_constraints表示天线设计约束条件。 - 定义初始点和约束条件 ：初始化初始点为
[0, 0]。 - 求解半无限优化问题 ：调用
fmincon函数，求解最优天线设计方案，并打印结果。
总结：
半无限优化通过处理无穷多约束条件，能够在复杂约束条件下找到精确解。在天线设计优化竞赛中，利用半无限优化可以找到满足特定频段性能的最优天线设计参数。
第十章：最小二乘问题
线性最小二乘法
应用类型： 数据拟合、参数估计、信号处理
算法简介： 线性最小二乘法（Linear Least Squares）是一种用于数据拟合和参数估计的优化方法，通过最小化目标函数与观测数据之间的平方误差，找到最佳拟合参数。该方法在处理线性模型和数据拟合问题中具有高效性和精度。
优势：
- 计算速度快： 线性最小二乘法具有闭式解。
- 精度高： 能有效地处理线性模型。
- 适用广泛： 适用于各种数据拟合和参数估计问题。
应用领域： 线性最小二乘法广泛应用于数据拟合、参数估计、信号处理、图像处理等领域。
数据拟合
已知数据： 假设我们有以下实验数据，需要拟合一个二次函数：
x=[1,2,3,4,5] y=[2.2,2.8,3.6,4.5,5.1]
实现代码：
% 定义数据点
xdata = [1, 2, 3, 4, 5];
ydata = [2.2, 2.8, 3.6, 4.5, 5.1];
% 使用polyfit进行二次拟合
p = polyfit(xdata, ydata, 2);
yfit = polyval(p, xdata);
% 绘制数据和拟合曲线
figure;
plot(xdata, ydata, 'o', xdata, yfit, '-');
legend('Data', 'Fit');
title('Least Squares Fit');
fprintf('Optimal coefficients: a = %.5f, b = %.5f, c = %.5f\n', p(1), p(2), p(3));
代码解释：
- 定义数据点 ：向量
xdata和ydata表示实验数据。- 二次拟合 ：使用
polyfit函数进行二次拟合，得到拟合参数p。- 计算拟合值 ：使用
polyval函数计算拟合曲线yfit。- 绘制数据和拟合曲线：绘制实验数据和拟合曲线，并打印拟合参数。
总结：
线性最小二乘法通过最小化目标函数与观测数据之间的平方误差，能够高效地处理数据拟合和参数估计问题。在数据拟合竞赛中，利用线性最小二乘法可以找到最佳拟合参数，以准确地描述实验数据。
第十一章：非线性方程（组）的求解
牛顿法
应用类型： 数值分析、工程计算、非线性系统求解
算法简介： 牛顿法（Newton's Method）是一种用于求解非线性方程组的迭代算法。通过利用目标函数的一阶和二阶导数信息，在当前点处近似目标函数为二次函数，逐步逼近函数的根。牛顿法因其快速收敛和高精度，常用于高精度问题求解。
优势：
- 收敛速度快： 二次收敛速度使其在接近根时具有极高的精度。
- 精度高： 利用一阶和二阶导数信息，提高求解精度。
- 适用范围广： 适用于目标函数光滑且二次可导的情况。
应用领域： 牛顿法广泛应用于数值分析、工程计算、物理模型求解、经济学模型优化等领域。
非线性系统求解
已知数据： 假设我们需要求解以下非线性方程组：
实现代码：
% 定义非线性方程组及其雅可比矩阵
F = @(x) [x(1)^2 + x(2)^2 - 4;
x(1) * x(2) - 1];
J = @(x) [2*x(1), 2*x(2);
x(2), x(1)];
% 牛顿法
function [x, fval] = newton_method(F, J, x0, tol)
x = x0;
while norm(F(x)) > tol
x = x - J(x)\F(x);
end
fval = F(x);
end
% 定义初始点和容差
x0 = [1, 1];
tol = 1e-5;
% 使用牛顿法求解非线性方程组
[x, fval] = newton_method(F, J, x0, tol);
fprintf('Solution: x1 = %.5f, x2 = %.5f\n', x(1), x(2));
fprintf('Function value: fval1 = %.5f, fval2 = %.5f\n', fval(1), fval(2));
代码解释：
- 定义非线性方程组及其雅可比矩阵 ：函数
F表示非线性方程组，J表示雅可比矩阵。- 牛顿法实现 ：函数
newton_method使用牛顿法，通过在当前点处近似目标函数为二次函数，逐步逼近函数的根。- 初始点和容差 ：初始化初始点为
[1, 1]，设置容差为 1e-5。- 求解非线性方程组 ：调用
newton_method函数，求解非线性方程组，并打印结果。
总结：
牛顿法通过利用目标函数的一阶和二阶导数信息，能够快速逼近函数的根。在非线性系统求解竞赛中，利用牛顿法可以高效地求解复杂的非线性方程组。
割线法
应用类型： 数值分析、工程计算、非线性系统求解
算法简介： 割线法（Secant Method）是一种用于求解非线性方程的迭代算法，通过利用两个初始猜测点，逐步逼近方程的根。与牛顿法不同，割线法不需要计算目标函数的导数，因此在目标函数不易求导或不可导的情况下具有优势。
优势：
- 无需导数信息： 适用于目标函数不易求导或不可导的情况。
- 收敛速度快： 相比于直接求解方法，收敛速度较快。
- 适用范围广： 适用于多种非线性方程组求解问题。
应用领域： 割线法广泛应用于数值分析、工程计算、物理模型求解、经济学模型优化等领域。
非线性方程求解
已知数据： 
% 定义目标函数
f = @(x) x^3 - 2*x^2 - 5;
% 割线法
function root = secant_method(f, x0, x1, tol)
while abs(x1 - x0) > tol
f0 = f(x0);
f1 = f(x1);
x2 = x1 - f1 * (x1 - x0) / (f1 - f0);
x0 = x1;
x1 = x2;
end
root = x1;
end
% 定义初始点和容差
x0 = 2;
x1 = 3;
tol = 1e-5;
% 使用割线法求解非线性方程
root = secant_method(f, x0, x1, tol);
fprintf('Root: %.5f\n', root);
代码解释：
- 定义目标函数 ：函数
f表示非线性方程。 - 割线法实现 ：函数
secant_method使用割线法，通过两个初始猜测点，逐步逼近方程的根。 - 初始点和容差 ：初始化初始点为
[2, 3]，设置容差为 1e-5。 - 求解非线性方程 ：调用
secant_method函数，求解非线性方程，并打印结果。
总结：
割线法通过利用两个初始猜测点，逐步逼近非线性方程的根，能够在无需导数信息的情况下高效求解。在非线性方程求解竞赛中，利用割线法可以找到方程的精确解。
总结
从一维搜索问题到非线性方程求解的各种优化算法，包括黄金分割法、线性规划、梯度下降法、拉格朗日乘数法、二次规划、混合整数线性规划、多目标规划、极大最小化、半无限优化、线性最小二乘法和牛顿法等。这些算法在实际竞赛环境中的应用有强大功能和解决问题的能力。