使用cvx工具箱求解svm的原问题及其对偶问题

要使用CVX工具箱求解支持向量机（SVM）的原问题和对偶问题，需分别构建优化模型并求解

1. SVM原问题（硬间隔）

优化目标 ：
min⁡w,b12∥w∥2\min_{w,b} \frac{1}{2} \|w\|^2w,bmin21∥w∥2
约束条件 ：
yi(wTxi+b)≥1∀iy_i (w^T x_i + b) \geq 1 \quad \forall iyi(wTxi+b)≥1∀i

matlab 复制代码

% 生成线性可分数据（示例）
rng(1);
X = [randn(20,2) + 2; randn(20,2) - 2];  % 两类数据
y = [ones(20,1); -ones(20,1)];           % 标签 [1, -1]

% 使用CVX求解原问题
cvx_begin
    variables w(2) b;        % 优化变量：权重w和偏置b
    minimize(0.5 * sum(w.^2)); % 目标函数
    subject to
        y .* (X * w + b) >= 1; % 线性约束
cvx_end

% 可视化结果
scatter(X(:,1), X(:,2), [], y, 'filled');
hold on;
x1 = min(X(:,1)):0.1:max(X(:,1));
x2 = (-w(1)*x1 - b) / w(2);  % 决策边界 w1*x1 + w2*x2 + b = 0
plot(x1, x2, 'k-', 'LineWidth', 2);
title('SVM Primal Solution');
legend('Class 1', 'Class -1', 'Decision Boundary');

2. SVM对偶问题（硬间隔）

优化目标 ：
max⁡α∑i=1mαi−12∑i,jαiαjyiyjxiTxj\max_{\alpha} \sum_{i=1}^m \alpha_i - \frac{1}{2} \sum_{i,j} \alpha_i \alpha_j y_i y_j x_i^T x_jαmaxi=1∑mαi−21i,j∑αiαjyiyjxiTxj
约束条件 ：
αi≥0∀i,∑i=1mαiyi=0\alpha_i \geq 0 \quad \forall i, \quad \sum_{i=1}^m \alpha_i y_i = 0αi≥0∀i,i=1∑mαiyi=0

matlab 复制代码

% 计算核矩阵（线性核）
m = size(X,1);
K = X * X';        % 线性核矩阵
H = (y * y') .* K; % 对偶问题中的Hessian矩阵

% 使用CVX求解对偶问题
cvx_begin
    variable alpha(m);       % 优化变量：拉格朗日乘子
    maximize(sum(alpha) - 0.5 * quad_form(alpha, H)); % 目标函数
    subject to
        alpha >= 0;         % 不等式约束
        y' * alpha == 0;    % 等式约束
cvx_end

% 从alpha恢复原始参数w和b
w_dual = (alpha .* y)' * X; % w = Σ(α_i y_i x_i)
idx = find(alpha > 1e-4);   % 找到支持向量（α>0）
b_dual = mean(y(idx) - X(idx,:) * w_dual'); % 计算偏置b

% 可视化对偶问题结果
scatter(X(:,1), X(:,2), [], y, 'filled');
hold on;
x2_dual = (-w_dual(1)*x1 - b_dual) / w_dual(2);
plot(x1, x2_dual, 'r--', 'LineWidth', 2);
title('SVM Dual Solution');
legend('Class 1', 'Class -1', 'Decision Boundary (Dual)');

说明

原问题与对偶问题等价性 ：

在硬间隔线性可分情况下，两者解应一致（决策边界重合）。若有轻微差异，可能因数值精度或支持向量选择阈值（1e-4）导致。
支持向量识别 ：

对偶问题中，非零 αi\alpha_iαi 对应支持向量，位于边界 yi(wTxi+b)=1y_i(w^T x_i + b) = 1yi(wTxi+b)=1 上。
软间隔扩展 ：

若数据非线性可分，引入松弛变量 ξi\xi_iξi 和惩罚参数 CCC：
- 原问题 ：
  min⁡w,b,ξ12∥w∥2+C∑iξi\min_{w,b,\xi} \frac{1}{2} \|w\|^2 + C \sum_i \xi_iw,b,ξmin21∥w∥2+Ci∑ξi
  yi(wTxi+b)≥1−ξi,ξi≥0y_i (w^T x_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0yi(wTxi+b)≥1−ξi,ξi≥0
- 对偶问题 ：
  约束改为 0≤αi≤C0 \leq \alpha_i \leq C0≤αi≤C，其余不变。
非线性SVM ：

使用核技巧时，将对偶问题中的内积 xiTxjx_i^T x_jxiTxj 替换为核函数 K(xi,xj)K(x_i,x_j)K(xi,xj)（如高斯核）。

参考使用cvx工具箱求解svm的原问题及其对偶问题 youwenfan.com/contentcsk/66111.html

结果

比较 w（原问题）和 w_dual（对偶问题），应接近。
决策边界应正确分离两类数据。
支持向量位于边界上（对偶问题中 αi>0\alpha_i > 0αi>0 的点）。