SVM垃圾邮件分类器
一、什么是SVM
支持向量机(Support Vector Machine, SVM)是一种监督学习算法，主要用于分类和回归分析。它的核心思想是找到一个最优的超平面，将不同类别的数据分隔开来，同时最大化两类数据之间的间隔(margin)。
SVM的主要特点：
- 可以处理高维数据
- 通过核技巧(kernel trick)可以解决非线性分类问题
- 在小样本数据集上表现优异
- 对噪声数据有较强的鲁棒性
二、实例：垃圾邮件分类器
1.实验要求
使用SVMs建立自己的垃圾邮件过滤器。首先需要将每个邮件x变成一个n维的特征向量，并训练一个分类器来分类给定的电子邮件x是否属于垃圾邮件(y=1)或者非垃圾邮件(y=0)。
2.原理解释
2.1 数据预处理流程
- 文本清洗：去除HTML标签、URL、邮箱地址等
- 标准化处理：将所有数字替换为"number"，货币符号替换为"dollar"
- 分词处理：将邮件内容分割为单词列表
- 词干提取：使用Porter Stemmer算法提取单词词干
2.2 特征提取方法
• 使用词袋模型(Bag of Words)
• 基于预定义的词汇表(1899个单词)
• 每个单词对应特征向量的一个维度
• 如果单词在邮件中出现，对应位置设为1，否则为0
2.3 SVM分类器
• 使用线性核函数
• 正则化参数C=0.1
• 最大迭代次数1000次
3.代码实现
python
import numpy as np
import re
from nltk.stem import PorterStemmer
from sklearn.svm import LinearSVC
from sklearn.metrics import accuracy_score
from sklearn.pipeline import Pipeline
from scipy.io import loadmat
# ===== 1. 加载词汇表并构造映射 =====
def load_vocab_dict(vocab_path='vocab.txt'):
with open(vocab_path, 'r', encoding='utf-8') as f:
lines = f.readlines()
vocab_dict = {line.split('\t')[1].strip(): int(line.split('\t')[0]) for line in lines}
return vocab_dict
# ===== 2. 邮件预处理函数 =====
def preprocess_email(email):
email = email.lower()
email = re.sub('<[^<>]+>', ' ', email)
email = re.sub(r'[0-9]+', 'number', email)
email = re.sub(r'(http|https)://[^\s]*', 'httpaddr', email)
email = re.sub(r'[^\s]+@[^\s]+', 'emailaddr', email)
email = re.sub(r'[$]+', 'dollar', email)
email = re.sub(r'[^a-zA-Z0-9]', ' ', email)
tokens = email.split()
ps = PorterStemmer()
words = [ps.stem(token) for token in tokens if len(token) > 1]
return words
# ===== 3. 将邮件单词转换为特征向量 =====
def email_to_feature_vector(email, vocab_dict, vocab_size=1899):
words = preprocess_email(email)
features = np.zeros(vocab_size)
indices = [vocab_dict[word] - 1 for word in words if word in vocab_dict]
np.put(features, indices, 1)
return features
# ===== 4. 分类器训练函数 =====
def train_svm(X_train, y_train):
model = Pipeline([('clf', LinearSVC(C=0.1, max_iter=1000))])
model.fit(X_train, y_train)
return model
# ===== 5. 测试单封邮件 =====
def predict_email(model, email_text, vocab_dict):
features = email_to_feature_vector(email_text, vocab_dict)
pred = model.predict([features])
return pred[0]
# ===== 6. 主函数入口 =====
if __name__ == '__main__':
# 词汇表
vocab_dict = load_vocab_dict('vocab.txt')
# 加载训练数据
train_data = loadmat('spamTrain.mat')
X_train = train_data['X']
y_train = train_data['y'].ravel()
# 加载测试数据
test_data = loadmat('spamTest.mat')
X_test = test_data['Xtest']
y_test = test_data['ytest'].ravel()
# 模型训练
model = train_svm(X_train, y_train)
# 准确率评估
print(f"训练准确率: {accuracy_score(y_train, model.predict(X_train)) * 100:.2f}%")
print(f"测试准确率: {accuracy_score(y_test, model.predict(X_test)) * 100:.2f}%")
# 测试一封邮件（如spamSample2.txt）
with open('spamSample2.txt', 'r', encoding='utf-8') as f:
content = f.read()
result = predict_email(model, content, vocab_dict)
print("预测结果：", "垃圾邮件 (Spam)" if result == 1 else "正常邮件 (Not Spam)")4.实验结果
5.实验总结
本实验成功实现了一个基于SVM的垃圾邮件分类器，通过精心设计的预处理流程和特征提取方法，在测试集上达到了98.9%的准确率。实验结果表明，SVM在文本分类任务中表现优异，特别是对于像垃圾邮件检测这样的二分类问题。