【机器学习】机器学习的基本分类-半监督学习ーSemi-supervised SVM

Semi-supervised SVM（S³VM）

Semi-supervised SVM (S³VM) 是一种半监督支持向量机方法，旨在结合标注数据和未标注数据训练模型。相比传统的监督学习 SVM，它在优化过程中利用未标注数据的分布信息，使分类边界更符合未标注数据的结构。

S³VM 的核心思想

监督学习部分：
- 使用标注数据训练分类模型，找到最优分类超平面。
- 损失函数与标准 SVM 相同：
无监督学习部分：
- 未标注数据假定类别未知，需要找到分类边界，使未标注数据远离分类边界（边界平滑假设）。
- 给未标注数据分配伪标签，并最小化伪标签分类的损失：
  
  其中，伪标签。
目标函数：
- 将监督损失和无监督损失结合：
- 和是权重参数，用于平衡标注数据与未标注数据的贡献。
优化目标：
- 寻找分类边界，使得标注数据点被正确分类，同时未标注数据点尽可能远离分类边界。

关键技术

伪标签分配：
- 在训练过程中为未标注数据分配伪标签。
- 初始伪标签可以基于最近邻分类器或聚类结果生成。
- 伪标签会随模型更新而动态调整。
边界平滑：
- 假设未标注数据的分布是分段分离的。
- 分类边界应穿过数据密度较低的区域，避免高密度区域。
优化问题的复杂性：
- S³VM 的优化问题是一个非凸问题，直接求解较困难。
- 常用优化方法：
  - 梯度下降法。
  - 分段优化：交替优化 w, b 和伪标签。

算法流程

初始化模型参数 w,bw, bw,b 和未标注数据的伪标签。
优化带有伪标签的目标函数：
- 固定伪标签，优化分类器 w, b。
- 固定分类器 w, b，重新分配伪标签。
迭代上述过程，直至收敛。
输出最终分类器。

优势与局限性

优势：

在标注数据稀缺时，可以利用未标注数据提高分类性能。
保留 SVM 的优点，如决策边界清晰和泛化能力强。

局限性：

非凸优化问题 ：
- S³VM 的目标函数非凸，可能陷入局部最优。
- 需要设计高效的优化算法。
伪标签敏感性 ：
- 错误的伪标签可能降低模型性能。
- 初始伪标签和更新策略的选择十分重要。
计算复杂度高 ：
- 需要频繁优化伪标签和模型参数，计算成本较高。

Python 示例

以下是使用 scikit-learn 和自定义代码实现一个简单的 S³VM 示例：

复制代码

python 复制代码

import numpy as np
from sklearn.svm import SVC
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 数据生成
X, y = make_classification(
    n_samples=100, n_features=5, n_classes=2,
    n_informative=2, n_redundant=1, n_repeated=0,
    random_state=42
)

# 数据拆分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 模拟部分未标注数据
num_unlabeled = int(0.5 * len(y_train))
unlabeled_idx = np.random.choice(len(y_train), size=num_unlabeled, replace=False)
y_train[unlabeled_idx] = -1  # -1 表示未标注数据

# 初始化分类器
model = SVC(kernel='linear', C=1.0, probability=True)

# 半监督训练
for _ in range(5):  # 迭代 5 次
    # 使用标注数据训练模型
    labeled_mask = y_train != -1
    model.fit(X_train[labeled_mask], y_train[labeled_mask])

    # 为未标注数据生成伪标签
    unlabeled_mask = y_train == -1
    pseudo_labels = model.predict(X_train[unlabeled_mask])

    # 根据置信度筛选伪标签
    pseudo_probs = model.predict_proba(X_train[unlabeled_mask]).max(axis=1)
    high_confidence_idx = pseudo_probs > 0.8  # 置信度阈值
    y_train[unlabeled_mask][high_confidence_idx] = pseudo_labels[high_confidence_idx]

# 测试模型
accuracy = model.score(X_test, y_test)
print(f"Accuracy: {accuracy:.2f}")

输出结果

python 复制代码

Accuracy: 0.97

应用场景

文本分类 ：
- 互联网评论或情感分析数据中，标注数据较少但未标注文本较多。
医学影像分析 ：
- 标注的病灶数据有限，结合未标注数据进行诊断。
网页分类 ：
- 大量未标注网页数据可用，通过半监督学习提高分类性能。

总结

S³VM 是半监督学习的一种重要方法，特别适用于标注数据稀缺、未标注数据丰富的场景。尽管其优化问题复杂，但通过合适的初始化和优化方法，S³VM 能有效提升分类性能。