SVM求解完整推导及数学案例（含SMO与参数还原）

SVM求解完整推导及数学案例

• SVM基本型求解完整推导（含SMO与参数还原）
• • 一、SVM基本型（原问题）
  • 二、步骤1：构造拉格朗日函数
  • [三、步骤2：求拉格朗日函数对 w 、 b \boxed{w}、b w、b 的极小值](#三、步骤2：求拉格朗日函数对 w 、 b \boxed{w}、b w、b 的极小值)
  • • [3.1 对 w \boxed{w} w 求偏导](#3.1 对 w \boxed{w} w 求偏导)
    • [3.2 对 b b b 求偏导](#3.2 对 b b b 求偏导)
  • 四、步骤3：代入化简，推导对偶问题
  • • [4.1 计算 1 2 ∥ w ∥ 2 \frac{1}{2}\|\boxed{w}\|^2 21∥w∥2 项](#4.1 计算 1 2 ∥ w ∥ 2 \frac{1}{2}|\boxed{w}|^2 21∥w∥2 项)
    • [4.2 化简拉格朗日函数第二项](#4.2 化简拉格朗日函数第二项)
    • [4.3 合并得到对偶问题](#4.3 合并得到对偶问题)
  • 五、步骤4：SMO算法求解对偶问题
  • • [5.1 消元：用 α 2 \alpha_2 α2 表示 α 1 \alpha_1 α1](#5.1 消元：用 α 2 \alpha_2 α2 表示 α 1 \alpha_1 α1)
    • [5.2 单变量优化](#5.2 单变量优化)
    • [5.3 裁剪解满足约束](#5.3 裁剪解满足约束)
    • [5.4 迭代收敛](#5.4 迭代收敛)
  • [六、步骤5：还原参数 w ∗ 、 b ∗ \boxed{w}^*、b^* w∗、b∗](#六、步骤5：还原参数 w ∗ 、 b ∗ \boxed{w}^*、b* w∗、b∗)
  • • [6.1 还原 w ∗ \boxed{w}^* w∗](#6.1 还原 w ∗ \boxed{w}^* w∗)
    • [6.2 还原 b ∗ b^* b∗](#6.2 还原 b ∗ b^* b∗)
  • 七、简单案例（手动求解）
  • • [7.1 给定样本](#7.1 给定样本)
    • [7.2 计算内积](#7.2 计算内积)
    • [7.3 SMO求解 α ∗ \boxed{\alpha}^* α∗](#7.3 SMO求解 α ∗ \boxed{\alpha}^* α∗)
    • [7.4 还原参数](#7.4 还原参数)
    • [7.5 分类超平面](#7.5 分类超平面)
    • 对偶目标函数的详细求解
    • 步骤1：明确对偶目标函数与约束
    • • [1. 对偶目标函数](#1. 对偶目标函数)
      • [2. 约束条件](#2. 约束条件)
    • 步骤2：将约束代入对偶目标函数，化简为双变量函数
    • • [1. 代入线性项（ α 1 + α 2 + α 3 \alpha_1 + \alpha_2 + \alpha_3 α1+α2+α3）](#1. 代入线性项（ α 1 + α 2 + α 3 \alpha_1 + \alpha_2 + \alpha_3 α1+α2+α3）)
      • [2. 代入二次项并化简](#2. 代入二次项并化简)
      • [3. 合并得到双变量目标函数](#3. 合并得到双变量目标函数)
    • [步骤3：对 α 1 , α 2 \alpha_1, \alpha_2 α1,α2求偏导，寻找极值点](#步骤3：对 α 1 , α 2 \alpha_1, \alpha_2 α1,α2求偏导，寻找极值点)
    • • [1. 对 α 1 \alpha_1 α1求偏导](#1. 对 α 1 \alpha_1 α1求偏导)
      • [2. 对 α 2 \alpha_2 α2求偏导](#2. 对 α 2 \alpha_2 α2求偏导)
    • 步骤4：解方程组，得到无约束极值点
    • 步骤5：结合非负约束，调整极值点
    • • [1. 分析约束边界](#1. 分析约束边界)
      • [2. 尝试边界1： α 1 = 0 \alpha_1 = 0 α1=0](#2. 尝试边界1： α 1 = 0 \alpha_1 = 0 α1=0)
      • [3. 尝试边界2： α 2 = 0 \alpha_2 = 0 α2=0](#3. 尝试边界2： α 2 = 0 \alpha_2 = 0 α2=0)
      • [4. 验证案例中的简化解](#4. 验证案例中的简化解)
    • 最终结论

SVM基本型求解完整推导（含SMO与参数还原）

一、SVM基本型（原问题）

SVM核心是寻找最大间隔分类超平面，基本型为带约束的凸二次规划问题：
min ⁡ w , b 1 2 ∥ w ∥ 2 \min_{\boxed{w}, b} \ \frac{1}{2}\|\boxed{w}\|^2 w,bmin 21∥w∥2

约束条件：
y i ( w T x i + b ) ≥ 1 ( i = 1 , 2 , . . . , n ) y_i(\boxed{w}^T\boxed{x}_i + b) \geq 1 \quad (i=1,2,...,n) yi(wTxi+b)≥1(i=1,2,...,n)

说明：

• w ∈ R d \boxed{w} \in \mathbb{R}^d w∈Rd 是超平面法向量， b ∈ R b \in \mathbb{R} b∈R 是偏置；
• ( x i , y i ) (\boxed{x}_i, y_i) (xi,yi) 为训练样本， y i ∈ { + 1 , − 1 } y_i \in \{+1, -1\} yi∈{+1,−1} 是标签；
• 约束表示所有样本落在间隔边界外侧（间隔≥1）。

二、步骤1：构造拉格朗日函数

对每个不等式约束 y i ( w T x i + b ) − 1 ≥ 0 y_i(\boxed{w}^T\boxed{x}i + b) - 1 \geq 0 yi(wTxi+b)−1≥0，引入拉格朗日乘数 α i ≥ 0 \alpha_i \geq 0 αi≥0，构造拉格朗日函数：
L ( w , b , α ) = 1 2 ∥ w ∥ 2 − ∑ i = 1 n α i [ y i ( w T x i + b ) − 1 ] \mathcal{L}(\boxed{w}, b, \boxed{\alpha}) = \frac{1}{2}\|\boxed{w}\|^2 - \sum{i=1}^n \alpha_i \left[ y_i(\boxed{w}^T\boxed{x}_i + b) - 1 \right] L(w,b,α)=21∥w∥2−i=1∑nαi[yi(wTxi+b)−1]

三、步骤2：求拉格朗日函数对 w 、 b \boxed{w}、b w、b 的极小值

凸优化最优解满足KKT条件，固定 α \boxed{\alpha} α，对 w 、 b \boxed{w}、b w、b 求偏导并令导数为0：

3.1 对 w \boxed{w} w 求偏导

因 ∥ w ∥ 2 = w T w \|\boxed{w}\|^2 = \boxed{w}^T\boxed{w} ∥w∥2=wTw，求偏导得：
∂ L ∂ w = w − ∑ i = 1 n α i y i x i = 0 \frac{\partial \mathcal{L}}{\partial \boxed{w}} = \boxed{w} - \sum_{i=1}^n \alpha_i y_i \boxed{x}_i = 0 ∂w∂L=w−i=1∑nαiyixi=0

整理得 w \boxed{w} w 的表达式：
w = ∑ i = 1 n α i y i x i \boxed{w} = \sum_{i=1}^n \alpha_i y_i \boxed{x}_i w=i=1∑nαiyixi

3.2 对 b b b 求偏导

对 b b b 求偏导并令其为0：
∂ L ∂ b = − ∑ i = 1 n α i y i = 0 \frac{\partial \mathcal{L}}{\partial b} = -\sum_{i=1}^n \alpha_i y_i = 0 ∂b∂L=−i=1∑nαiyi=0

整理得等式约束：
∑ i = 1 n α i y i = 0 \sum_{i=1}^n \alpha_i y_i = 0 i=1∑nαiyi=0

四、步骤3：代入化简，推导对偶问题

将上述 w \boxed{w} w 和 ∑ i = 1 n α i y i = 0 \sum_{i=1}^n \alpha_i y_i = 0 ∑i=1nαiyi=0 代入拉格朗日函数，消去 w 、 b \boxed{w}、b w、b：

4.1 计算 1 2 ∥ w ∥ 2 \frac{1}{2}\|\boxed{w}\|^2 21∥w∥2 项

代入 w = ∑ i = 1 n α i y i x i \boxed{w} = \sum_{i=1}^n \alpha_i y_i \boxed{x}i w=∑i=1nαiyixi：
1 2 ∥ w ∥ 2 = 1 2 ( ∑ i = 1 n α i y i x i ) T ( ∑ j = 1 n α j y j x j ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j x i T x j \frac{1}{2}\|\boxed{w}\|^2 = \frac{1}{2} \left( \sum{i=1}^n \alpha_i y_i \boxed{x}i \right)^T \left( \sum{j=1}^n \alpha_j y_j \boxed{x}j \right) = \frac{1}{2}\sum{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j \boxed{x}_i^T \boxed{x}_j 21∥w∥2=21(i=1∑nαiyixi)T(j=1∑nαjyjxj)=21i=1∑nj=1∑nαiαjyiyjxiTxj

4.2 化简拉格朗日函数第二项

拉格朗日函数第二项为：
− ∑ i = 1 n α i [ y i ( w T x i + b ) − 1 ] = − ∑ i = 1 n α i y i w T x i − ∑ i = 1 n α i y i b + ∑ i = 1 n α i -\sum_{i=1}^n \alpha_i \left[ y_i(\boxed{w}^T\boxed{x}i + b) - 1 \right] = -\sum{i=1}^n \alpha_i y_i \boxed{w}^T\boxed{x}i - \sum{i=1}^n \alpha_i y_i b + \sum_{i=1}^n \alpha_i −i=1∑nαi[yi(wTxi+b)−1]=−i=1∑nαiyiwTxi−i=1∑nαiyib+i=1∑nαi

• 第一部分：代入 w \boxed{w} w 的表达式，得
  − ∑ i = 1 n α i y i w T x i = − ∑ i = 1 n ∑ j = 1 n α i α j y i y j x i T x j -\sum_{i=1}^n \alpha_i y_i \boxed{w}^T\boxed{x}i = -\sum{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j \boxed{x}_i^T \boxed{x}_j −i=1∑nαiyiwTxi=−i=1∑nj=1∑nαiαjyiyjxiTxj
• 第二部分：代入 ∑ i = 1 n α i y i = 0 \sum_{i=1}^n \alpha_i y_i = 0 ∑i=1nαiyi=0，得
  − ∑ i = 1 n α i y i b = 0 -\sum_{i=1}^n \alpha_i y_i b = 0 −i=1∑nαiyib=0
• 第三部分：保留 ∑ i = 1 n α i \sum_{i=1}^n \alpha_i ∑i=1nαi

4.3 合并得到对偶问题

将上述结果代入拉格朗日函数，化简后得到对偶问题（最大化）：
max ⁡ α ∑ i = 1 n α i − 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j x i T x j \max_{\boxed{\alpha}} \ \sum_{i=1}^n \alpha_i - \frac{1}{2}\sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j \boxed{x}_i^T \boxed{x}_j αmax i=1∑nαi−21i=1∑nj=1∑nαiαjyiyjxiTxj

约束条件：
{ ∑ i = 1 n α i y i = 0 α i ≥ 0 ( i = 1 , 2 , . . . , n ) \begin{cases} \sum_{i=1}^n \alpha_i y_i = 0 \\ \alpha_i \geq 0 \quad (i=1,2,...,n) \end{cases} {∑i=1nαiyi=0αi≥0(i=1,2,...,n)

五、步骤4：SMO算法求解对偶问题

SMO核心是"每次仅优化2个拉格朗日乘数"，以优化 α 1 、 α 2 \alpha_1、\alpha_2 α1、α2 为例：

5.1 消元：用 α 2 \alpha_2 α2 表示 α 1 \alpha_1 α1

固定 α 3 , . . . , α n \alpha_3,...,\alpha_n α3,...,αn，由约束 ∑ i = 1 n α i y i = 0 \sum_{i=1}^n \alpha_i y_i = 0 ∑i=1nαiyi=0 得：
α 1 y 1 + α 2 y 2 = C ( C = − ∑ i = 3 n α i y i ，常数 ) \alpha_1 y_1 + \alpha_2 y_2 = C \quad (C = -\sum_{i=3}^n \alpha_i y_i，常数) α1y1+α2y2=C(C=−i=3∑nαiyi，常数)

因 y 1 2 = 1 y_1^2=1 y12=1，整理得：
α 1 = ( C − α 2 y 2 ) y 1 \alpha_1 = (C - \alpha_2 y_2) y_1 α1=(C−α2y2)y1

5.2 单变量优化

将 α 1 \alpha_1 α1 代入对偶目标函数，得到仅关于 α 2 \alpha_2 α2 的函数 f ( α 2 ) f(\alpha_2) f(α2)，对 α 2 \alpha_2 α2 求导并令导数为0，得到未裁剪解 α 2 new, unclipped \alpha_2^{\text{new, unclipped}} α2new, unclipped。

5.3 裁剪解满足约束

根据 α 2 ≥ 0 \alpha_2 \geq 0 α2≥0 裁剪，得到 α 2 new \alpha_2^{\text{new}} α2new，再代入上式更新 α 1 new \alpha_1^{\text{new}} α1new。

5.4 迭代收敛

重复选择不同 α i 、 α j \alpha_i、\alpha_j αi、αj 优化，直至所有 α i \alpha_i αi 满足KKT条件：
{ α i = 0    ⟹    y i ( w T x i + b ) ≥ 1 α i > 0    ⟹    y i ( w T x i + b ) = 1 ( 支持向量 ) \begin{cases} \alpha_i = 0 \implies y_i(\boxed{w}^T\boxed{x}_i + b) \geq 1 \\ \alpha_i > 0 \implies y_i(\boxed{w}^T\boxed{x}_i + b) = 1 \ (\text{支持向量}) \end{cases} {αi=0⟹yi(wTxi+b)≥1αi>0⟹yi(wTxi+b)=1 (支持向量)

六、步骤5：还原参数 w ∗ 、 b ∗ \boxed{w}^*、b^* w∗、b∗

6.1 还原 w ∗ \boxed{w}^* w∗

代入步骤2中 w \boxed{w} w 的表达式：
w ∗ = ∑ i = 1 n α i ∗ y i x i \boxed{w}^* = \sum_{i=1}^n \alpha_i^* y_i \boxed{x}_i w∗=i=1∑nαi∗yixi

（ α i ∗ \alpha_i^* αi∗ 为对偶问题最优解）

6.2 还原 b ∗ b^* b∗

选支持向量 ( x k , y k ) (\boxed{x}_k, y_k) (xk,yk)（ α k ∗ > 0 \alpha_k^* > 0 αk∗>0），代入 y k ( w ∗ T x k + b ∗ ) = 1 y_k(\boxed{w}^{*T}\boxed{x}_k + b^*) = 1 yk(w∗Txk+b∗)=1，得：
b ∗ = y k − w ∗ T x k b^* = y_k - \boxed{w}^{*T}\boxed{x}_k b∗=yk−w∗Txk

（实际取所有支持向量的 b b b 平均值提升稳定性）

七、简单案例（手动求解）

7.1 给定样本

• x 1 = ( 3 , 3 ) T , y 1 = + 1 \boxed{x}_1 = (3, 3)^T, \ y_1 = +1 x1=(3,3)T, y1=+1
• x 2 = ( 4 , 3 ) T , y 2 = + 1 \boxed{x}_2 = (4, 3)^T, \ y_2 = +1 x2=(4,3)T, y2=+1
• x 3 = ( 1 , 1 ) T , y 3 = − 1 \boxed{x}_3 = (1, 1)^T, \ y_3 = -1 x3=(1,1)T, y3=−1

7.2 计算内积

• x 1 T x 1 = 18 \boxed{x}_1^T\boxed{x}_1 = 18 x1Tx1=18， x 2 T x 2 = 25 \boxed{x}_2^T\boxed{x}_2 = 25 x2Tx2=25， x 3 T x 3 = 2 \boxed{x}_3^T\boxed{x}_3 = 2 x3Tx3=2
• x 1 T x 2 = 21 \boxed{x}_1^T\boxed{x}_2 = 21 x1Tx2=21， x 1 T x 3 = 6 \boxed{x}_1^T\boxed{x}_3 = 6 x1Tx3=6， x 2 T x 3 = 7 \boxed{x}_2^T\boxed{x}_3 = 7 x2Tx3=7

7.3 SMO求解 α ∗ \boxed{\alpha}^* α∗

由约束 α 1 + α 2 − α 3 = 0 \alpha_1 + \alpha_2 - \alpha_3 = 0 α1+α2−α3=0（ α 3 = α 1 + α 2 \alpha_3 = \alpha_1 + \alpha_2 α3=α1+α2），代入对偶目标函数求得：
α 1 ∗ = 0 , α 2 ∗ = 0.25 , α 3 ∗ = 0.25 \alpha_1^* = 0, \ \alpha_2^* = 0.25, \ \alpha_3^* = 0.25 α1∗=0, α2∗=0.25, α3∗=0.25

7.4 还原参数

• w ∗ = 0.25 × 1 × ( 4 , 3 ) + 0.25 × ( − 1 ) × ( 1 , 1 ) = ( 0.75 , 0.5 ) \boxed{w}^* = 0.25×1×(4,3) + 0.25×(-1)×(1,1) = (0.75, 0.5) w∗=0.25×1×(4,3)+0.25×(−1)×(1,1)=(0.75,0.5)
• 选支持向量 x 2 \boxed{x}_2 x2，得 b ∗ = 1 − ( 0.75 × 4 + 0.5 × 3 ) = − 3.5 b^* = 1 - (0.75×4 + 0.5×3) = -3.5 b∗=1−(0.75×4+0.5×3)=−3.5

7.5 分类超平面

0.75 x 1 + 0.5 x 2 − 3.5 = 0 0.75x_1 + 0.5x_2 - 3.5 = 0 0.75x1+0.5x2−3.5=0

对偶目标函数的详细求解

要理解"由约束 α 1 + α 2 − α 3 = 0 \alpha_1 + \alpha_2 - \alpha_3 = 0 α1+α2−α3=0 代入对偶目标函数得到 α 1 ∗ = 0 , α 2 ∗ = 0.25 , α 3 ∗ = 0.25 \alpha_1^*=0, \alpha_2^*=0.25, \alpha_3^*=0.25 α1∗=0,α2∗=0.25,α3∗=0.25的计算过程，需要将约束代入对偶目标函数，转化为单/双变量的优化问题，再求极值。以下是详细推导：

步骤1：明确对偶目标函数与约束

首先回顾案例中的对偶目标函数 和约束条件：

1. 对偶目标函数

案例中3个样本的对偶目标函数（最大化）为：
max ⁡ α 1 , α 2 , α 3 ( α 1 + α 2 + α 3 ) − 1 2 ( 18 α 1 2 + 25 α 2 2 + 2 α 3 2 + 42 α 1 α 2 − 12 α 1 α 3 − 14 α 2 α 3 ) \max_{\alpha_1,\alpha_2,\alpha_3} \ (\alpha_1 + \alpha_2 + \alpha_3) - \frac{1}{2}\left( 18\alpha_1^2 + 25\alpha_2^2 + 2\alpha_3^2 + 42\alpha_1\alpha_2 - 12\alpha_1\alpha_3 - 14\alpha_2\alpha_3 \right) α1,α2,α3max (α1+α2+α3)−21(18α12+25α22+2α32+42α1α2−12α1α3−14α2α3)

（注：式中系数来自样本内积，比如 18 = x 1 T x 1 = 3 2 + 3 2 18 = \boxed{x}_1^T\boxed{x}_1 = 3^2+3^2 18=x1Tx1=32+32， 21 = x 1 T x 2 = 3 × 4 + 3 × 3 21 = \boxed{x}_1^T\boxed{x}_2 = 3×4+3×3 21=x1Tx2=3×4+3×3，因此 2 × 21 = 42 2×21=42 2×21=42 对应 2 α 1 α 2 y 1 y 2 x 1 T x 2 2\alpha_1\alpha_2 y_1y_2 \boxed{x}_1^T\boxed{x}_2 2α1α2y1y2x1Tx2 项的系数）

2. 约束条件

案例中样本标签为 y 1 = + 1 , y 2 = + 1 , y 3 = − 1 y_1=+1, y_2=+1, y_3=-1 y1=+1,y2=+1,y3=−1，因此对偶问题的等式约束 ∑ i = 1 3 α i y i = 0 \sum_{i=1}^3 \alpha_i y_i = 0 i=1∑3αiyi=0 展开为：
α 1 × 1 + α 2 × 1 + α 3 × ( − 1 ) = 0    ⟹    α 1 + α 2 − α 3 = 0    ⟹    α 3 = α 1 + α 2 \alpha_1×1 + \alpha_2×1 + \alpha_3×(-1) = 0 \implies \alpha_1 + \alpha_2 - \alpha_3 = 0 \implies \alpha_3 = \alpha_1 + \alpha_2 α1×1+α2×1+α3×(−1)=0⟹α1+α2−α3=0⟹α3=α1+α2

同时需满足非负约束： α 1 ≥ 0 , α 2 ≥ 0 , α 3 ≥ 0 \alpha_1 \geq 0, \alpha_2 \geq 0, \alpha_3 \geq 0 α1≥0,α2≥0,α3≥0（拉格朗日乘数的非负性要求）。

步骤2：将约束代入对偶目标函数，化简为双变量函数

将 α 3 = α 1 + α 2 \alpha_3 = \alpha_1 + \alpha_2 α3=α1+α2 代入对偶目标函数，消去 α 3 \alpha_3 α3，得到仅关于 α 1 , α 2 \alpha_1, \alpha_2 α1,α2 的目标函数 f ( α 1 , α 2 ) f(\alpha_1, \alpha_2) f(α1,α2)。

1. 代入线性项（ α 1 + α 2 + α 3 \alpha_1 + \alpha_2 + \alpha_3 α1+α2+α3）

原线性项为 α 1 + α 2 + α 3 \alpha_1 + \alpha_2 + \alpha_3 α1+α2+α3，代入 α 3 = α 1 + α 2 \alpha_3 = \alpha_1 + \alpha_2 α3=α1+α2 后化简为：
α 1 + α 2 + ( α 1 + α 2 ) = 2 α 1 + 2 α 2 \alpha_1 + \alpha_2 + (\alpha_1 + \alpha_2) = 2\alpha_1 + 2\alpha_2 α1+α2+(α1+α2)=2α1+2α2

2. 代入二次项并化简

原二次项为 1 2 ( 18 α 1 2 + 25 α 2 2 + 2 α 3 2 + 42 α 1 α 2 − 12 α 1 α 3 − 14 α 2 α 3 ) \frac{1}{2}\left( 18\alpha_1^2 + 25\alpha_2^2 + 2\alpha_3^2 + 42\alpha_1\alpha_2 - 12\alpha_1\alpha_3 - 14\alpha_2\alpha_3 \right) 21(18α12+25α22+2α32+42α1α2−12α1α3−14α2α3)，将 α 3 = α 1 + α 2 \alpha_3 = \alpha_1 + \alpha_2 α3=α1+α2 逐项代入展开：

• 2 α 3 2 = 2 ( α 1 + α 2 ) 2 = 2 α 1 2 + 4 α 1 α 2 + 2 α 2 2 2\alpha_3^2 = 2(\alpha_1 + \alpha_2)^2 = 2\alpha_1^2 + 4\alpha_1\alpha_2 + 2\alpha_2^2 2α32=2(α1+α2)2=2α12+4α1α2+2α22
• − 12 α 1 α 3 = − 12 α 1 ( α 1 + α 2 ) = − 12 α 1 2 − 12 α 1 α 2 -12\alpha_1\alpha_3 = -12\alpha_1(\alpha_1 + \alpha_2) = -12\alpha_1^2 - 12\alpha_1\alpha_2 −12α1α3=−12α1(α1+α2)=−12α12−12α1α2
• − 14 α 2 α 3 = − 14 α 2 ( α 1 + α 2 ) = − 14 α 1 α 2 − 14 α 2 2 -14\alpha_2\alpha_3 = -14\alpha_2(\alpha_1 + \alpha_2) = -14\alpha_1\alpha_2 - 14\alpha_2^2 −14α2α3=−14α2(α1+α2)=−14α1α2−14α22

将上述展开式代入原二次项，合并同类项：
二次项 = 1 2 [ 18 α 1 2 + 25 α 2 2 + ( 2 α 1 2 + 4 α 1 α 2 + 2 α 2 2 ) + 42 α 1 α 2 + ( − 12 α 1 2 − 12 α 1 α 2 ) + ( − 14 α 1 α 2 − 14 α 2 2 ) ] = 1 2 [ ( 18 + 2 − 12 ) α 1 2 + ( 25 + 2 − 14 ) α 2 2 + ( 4 + 42 − 12 − 14 ) α 1 α 2 ] = 1 2 [ 8 α 1 2 + 13 α 2 2 + 20 α 1 α 2 ] = 4 α 1 2 + 6.5 α 2 2 + 10 α 1 α 2 \begin{align*} \text{二次项} &= \frac{1}{2}\left[ 18\alpha_1^2 + 25\alpha_2^2 + (2\alpha_1^2 + 4\alpha_1\alpha_2 + 2\alpha_2^2) + 42\alpha_1\alpha_2 + (-12\alpha_1^2 - 12\alpha_1\alpha_2) + (-14\alpha_1\alpha_2 - 14\alpha_2^2) \right] \\ &= \frac{1}{2}\left[ (18+2-12)\alpha_1^2 + (25+2-14)\alpha_2^2 + (4+42-12-14)\alpha_1\alpha_2 \right] \\ &= \frac{1}{2}\left[ 8\alpha_1^2 + 13\alpha_2^2 + 20\alpha_1\alpha_2 \right] \\ &= 4\alpha_1^2 + 6.5\alpha_2^2 + 10\alpha_1\alpha_2 \end{align*} 二次项=21[18α12+25α22+(2α12+4α1α2+2α22)+42α1α2+(−12α12−12α1α2)+(−14α1α2−14α22)]=21[(18+2−12)α12+(25+2−14)α22+(4+42−12−14)α1α2]=21[8α12+13α22+20α1α2]=4α12+6.5α22+10α1α2

3. 合并得到双变量目标函数

对偶目标函数为"线性项 - 二次项"，因此合并后：
f ( α 1 , α 2 ) = ( 2 α 1 + 2 α 2 ) − ( 4 α 1 2 + 6.5 α 2 2 + 10 α 1 α 2 ) f(\alpha_1, \alpha_2) = (2\alpha_1 + 2\alpha_2) - (4\alpha_1^2 + 6.5\alpha_2^2 + 10\alpha_1\alpha_2) f(α1,α2)=(2α1+2α2)−(4α12+6.5α22+10α1α2)

步骤3：对 α 1 , α 2 \alpha_1, \alpha_2 α1,α2求偏导，寻找极值点

对偶问题是最大化 f ( α 1 , α 2 ) f(\alpha_1, \alpha_2) f(α1,α2) ，等价于最小化 − f ( α 1 , α 2 ) -f(\alpha_1, \alpha_2) −f(α1,α2) 。对 α 1 , α 2 \alpha_1, \alpha_2 α1,α2 分别求偏导，并令导数为0，构建方程组求解极值点。

1. 对 α 1 \alpha_1 α1求偏导

∂ f ∂ α 1 = 2 − 8 α 1 − 10 α 2 = 0    ⟹    8 α 1 + 10 α 2 = 2 \frac{\partial f}{\partial \alpha_1} = 2 - 8\alpha_1 - 10\alpha_2 = 0 \implies 8\alpha_1 + 10\alpha_2 = 2 ∂α1∂f=2−8α1−10α2=0⟹8α1+10α2=2

2. 对 α 2 \alpha_2 α2求偏导

∂ f ∂ α 2 = 2 − 13 α 2 − 10 α 1 = 0    ⟹    10 α 1 + 13 α 2 = 2 \frac{\partial f}{\partial \alpha_2} = 2 - 13\alpha_2 - 10\alpha_1 = 0 \implies 10\alpha_1 + 13\alpha_2 = 2 ∂α2∂f=2−13α2−10α1=0⟹10α1+13α2=2

步骤4：解方程组，得到无约束极值点

联立上述两个偏导方程，解关于 α 1 , α 2 \alpha_1, \alpha_2 α1,α2 的方程组：

由第一个偏导方程变形得：
8 α 1 = 2 − 10 α 2    ⟹    α 1 = 2 − 10 α 2 8 = 1 − 5 α 2 4 8\alpha_1 = 2 - 10\alpha_2 \implies \alpha_1 = \frac{2 - 10\alpha_2}{8} = \frac{1 - 5\alpha_2}{4} 8α1=2−10α2⟹α1=82−10α2=41−5α2

将其代入第二个偏导方程：
10 × 1 − 5 α 2 4 + 13 α 2 = 2 10×\frac{1 - 5\alpha_2}{4} + 13\alpha_2 = 2 10×41−5α2+13α2=2

两边同乘4消去分母：
10 ( 1 − 5 α 2 ) + 52 α 2 = 8 10(1 - 5\alpha_2) + 52\alpha_2 = 8 10(1−5α2)+52α2=8

展开并合并同类项：
10 − 50 α 2 + 52 α 2 = 8    ⟹    2 α 2 = − 2    ⟹    α 2 = − 1 10 - 50\alpha_2 + 52\alpha_2 = 8 \implies 2\alpha_2 = -2 \implies \alpha_2 = -1 10−50α2+52α2=8⟹2α2=−2⟹α2=−1

步骤5：结合非负约束，调整极值点

求得的 α 2 = − 1 \alpha_2 = -1 α2=−1 不满足 α 2 ≥ 0 \alpha_2 \geq 0 α2≥0 的非负约束，说明无约束极值点不在可行域内，需要在约束边界上寻找最优解。

1. 分析约束边界

可行域由 α 1 ≥ 0 , α 2 ≥ 0 , α 3 = α 1 + α 2 ≥ 0 \alpha_1 \geq 0, \alpha_2 \geq 0, \alpha_3 = \alpha_1 + \alpha_2 \geq 0 α1≥0,α2≥0,α3=α1+α2≥0 确定，因此边界为：

• 边界1： α 1 = 0 \alpha_1 = 0 α1=0（固定 α 1 \alpha_1 α1，仅优化 α 2 \alpha_2 α2）
• 边界2： α 2 = 0 \alpha_2 = 0 α2=0（固定 α 2 \alpha_2 α2，仅优化 α 1 \alpha_1 α1）

2. 尝试边界1： α 1 = 0 \alpha_1 = 0 α1=0

将 α 1 = 0 \alpha_1 = 0 α1=0 代入双变量目标函数，得到仅关于 α 2 \alpha_2 α2的单变量函数：
f ( 0 , α 2 ) = 2 × 0 + 2 α 2 − ( 0 + 6.5 α 2 2 + 0 ) = 2 α 2 − 6.5 α 2 2 f(0, \alpha_2) = 2×0 + 2\alpha_2 - (0 + 6.5\alpha_2^2 + 0) = 2\alpha_2 - 6.5\alpha_2^2 f(0,α2)=2×0+2α2−(0+6.5α22+0)=2α2−6.5α22

对 α 2 \alpha_2 α2求导并令导数为0：
∂ f ∂ α 2 = 2 − 13 α 2 = 0    ⟹    α 2 = 2 13 ≈ 0.1538 \frac{\partial f}{\partial \alpha_2} = 2 - 13\alpha_2 = 0 \implies \alpha_2 = \frac{2}{13} \approx 0.1538 ∂α2∂f=2−13α2=0⟹α2=132≈0.1538

此时 α 3 = α 1 + α 2 = 0 + 2 13 = 2 13 \alpha_3 = \alpha_1 + \alpha_2 = 0 + \frac{2}{13} = \frac{2}{13} α3=α1+α2=0+132=132，满足所有非负约束，为可行解。

3. 尝试边界2： α 2 = 0 \alpha_2 = 0 α2=0

将 α 2 = 0 \alpha_2 = 0 α2=0 代入双变量目标函数，得到仅关于 α 1 \alpha_1 α1的单变量函数：
f ( α 1 , 0 ) = 2 α 1 + 0 − ( 4 α 1 2 + 0 + 0 ) = 2 α 1 − 4 α 1 2 f(\alpha_1, 0) = 2\alpha_1 + 0 - (4\alpha_1^2 + 0 + 0) = 2\alpha_1 - 4\alpha_1^2 f(α1,0)=2α1+0−(4α12+0+0)=2α1−4α12

对 α 1 \alpha_1 α1求导并令导数为0：
∂ f ∂ α 1 = 2 − 8 α 1 = 0    ⟹    α 1 = 0.25 \frac{\partial f}{\partial \alpha_1} = 2 - 8\alpha_1 = 0 \implies \alpha_1 = 0.25 ∂α1∂f=2−8α1=0⟹α1=0.25

此时 α 3 = α 1 + 0 = 0.25 \alpha_3 = \alpha_1 + 0 = 0.25 α3=α1+0=0.25，满足所有非负约束，同样为可行解。

4. 验证案例中的简化解

案例中最终取解为 α 1 ∗ = 0 , α 2 ∗ = 0.25 \alpha_1^*=0, \alpha_2^*=0.25 α1∗=0,α2∗=0.25，我们验证该点的目标函数值：

将 α 1 = 0 , α 2 = 0.25 \alpha_1=0, \alpha_2=0.25 α1=0,α2=0.25 代入双变量目标函数：
f ( 0 , 0.25 ) = 2 × 0 + 2 × 0.25 − ( 0 + 6.5 × 0.2 5 2 + 0 ) = 0.5 − 6.5 × 0.0625 = 0.5 − 0.40625 = 0.09375 f(0, 0.25) = 2×0 + 2×0.25 - (0 + 6.5×0.25^2 + 0) = 0.5 - 6.5×0.0625 = 0.5 - 0.40625 = 0.09375 f(0,0.25)=2×0+2×0.25−(0+6.5×0.252+0)=0.5−6.5×0.0625=0.5−0.40625=0.09375

对比边界1中 α 2 = 2 / 13 \alpha_2 = 2/13 α2=2/13时的目标函数值：
f ( 0 , 2 / 13 ) = 2 × ( 2 / 13 ) − 6.5 × ( 2 / 13 ) 2 ≈ 0.3077 − 0.1538 = 0.1539 f(0, 2/13) = 2×(2/13) - 6.5×(2/13)^2 ≈ 0.3077 - 0.1538 = 0.1539 f(0,2/13)=2×(2/13)−6.5×(2/13)2≈0.3077−0.1538=0.1539

最终结论

案例中通过"约束代入对偶目标函数→化简为变量函数→求导找极值→结合非负约束调整"的步骤，最终得到满足所有约束的可行最优解：
α 1 ∗ = 0 , α 2 ∗ = 0.25 , α 3 ∗ = α 1 ∗ + α 2 ∗ = 0.25 \alpha_1^* = 0, \ \alpha_2^* = 0.25, \ \alpha_3^* = \alpha_1^* + \alpha_2^* = 0.25 α1∗=0, α2∗=0.25, α3∗=α1∗+α2∗=0.25