支持向量机(SVM)进行文本分类的Python简单示例实现

支持向量机(Support Vector Machine,SVM)是一种常用的机器学习算法,主要用于分类和回归问题。它的基本思想是将数据映射到高维空间中,使得数据在该空间中线性可分,然后在该空间中寻找最优的超平面,将不同类别的数据分开。

SVM的优点在于可以处理高维数据,具有较好的泛化能力和鲁棒性。同时,SVM还可以使用核函数将数据映射到更高维的空间中,从而处理非线性问题。

SVM的核心是支持向量,即距离超平面最近的数据点。在训练过程中,SVM会寻找最大间隔超平面,即距离支持向量最远的超平面。这样可以使得分类器的泛化能力更好,对新的数据具有更好的预测能力。

SVM的训练过程可以使用优化算法来实现,例如序列最小优化(Sequential Minimal Optimization,SMO)算法。在实际应用中,SVM还可以使用软间隔和核函数等技术来处理噪声和非线性问题。

python 复制代码
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
from sklearn import svm

X = np.array([
    "这个电影太好看了",
    "这个电影真是太差了",
    "我喜欢这个电视剧",
    "这个电视剧太无聊了"
])

y = np.array([1, 0, 1, 0])  # 1代表积极,0代表消极

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(X)

clf = svm.SVC() #创建一个SVC对象,并使用fit方法拟合数据
clf.fit(X, y)

new_text = np.array(["这个电影非常棒"])  #假设有一个新的文本数据new_text
new_text = vectorizer.transform(new_text)
prediction = clf.predict(new_text)

print(prediction)   #prediction是一个数组,包含了预测结果

如果你的数据来源于一个CSV文件中的很多条文本,你可以使用Python中的pandas库来读取CSV文件 。CSV中数据格式示例如下,包含两个字段:textlabel。第一行是字段名,后面的行是数据记录。每一行的字段值使用逗号进行分隔:

python 复制代码
text,label
这个电影太好看了,1
这个电影真是太差了,0
我喜欢这个电视剧,1
这个电视剧太无聊了,0
python 复制代码
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
from sklearn import svm

# 读取CSV文件
df = pd.read_csv('data.csv', encoding='utf-8')

# 获取文本数据和标签
X = df['text'].values
y = df['label'].values


vectorizer = CountVectorizer()
X = vectorizer.fit_transform(X)

clf = svm.SVC() #创建一个SVC对象,并使用fit方法拟合数据
clf.fit(X, y)

new_text = np.array(["这个电影非常棒"])  #假设有一个新的文本数据new_text
new_text = vectorizer.transform(new_text)
prediction = clf.predict(new_text)

print(prediction)   #prediction是一个数组,包含了预测结果

如果你的数据来源于一个txt文本中的很多句子,句子和标签之间用逗号分隔,示例如下:

复制代码
这个电影太好看了,1
这个电影真是太差了,0
我喜欢这个电视剧,1
这个电视剧太无聊了,0
python 复制代码
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
from sklearn import svm

# 读取txt文件
with open('data.txt', 'r', encoding='utf-8') as file:
    lines = file.readlines()

sentences = []
labels = []

# 分割句子和标签
for line in lines:
    line = line.strip()  # 去除换行符和空格
    sentence, label = line.split(',')  # 使用逗号分隔句子和标签
    sentences.append(sentence)
    labels.append(label)

y=np.array(labels)

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(sentences)

clf = svm.SVC() #创建一个SVC对象,并使用fit方法拟合数据
clf.fit(X, y)

new_text = np.array(["这个电影非常棒"])  #假设有一个新的文本数据new_text
new_text = vectorizer.transform(new_text)
prediction = clf.predict(new_text)

print(prediction)   #prediction是一个数组,包含了预测结果

示例中使用了简单的词袋模型,将每个文本表示为一个向量,其中每个维度表示一个词的出现次数,使用CountVectorizer实现了这一步骤。

程序输出结果如下:

python 复制代码
[1]
相关推荐
满分观察网友z3 分钟前
一行代码的惊人魔力:从小白到大神,我用递归思想解决了TB级数据难题(3304. 找出第 K 个字符 I)
后端·算法
这里有鱼汤4 分钟前
一招横盘突破选股法,赚钱不靠运气靠图形,靠概率!
后端·python
zhangfeng113310 分钟前
机器学习 YOLOv5手绘电路图识别 手绘电路图自动转换为仿真软件(如LT Spice)可用的原理图,避免人工重绘
人工智能·yolo·机器学习
字节卷动11 分钟前
【牛客刷题】活动安排
java·算法·牛客
0wioiw024 分钟前
Ubuntu基础(Python虚拟环境和Vue)
linux·python·ubuntu
xiao5kou4chang6kai434 分钟前
Python-GEE遥感云大数据分析与可视化(如何建立基于云计算的森林监测预警系统)
python·数据分析·云计算·森林监测·森林管理
presenttttt41 分钟前
用Python和OpenCV从零搭建一个完整的双目视觉系统(四)
开发语言·python·opencv·计算机视觉
yi.Ist1 小时前
数据结构 —— 键值对 map
数据结构·算法
s153351 小时前
数据结构-顺序表-猜数字
数据结构·算法·leetcode
Coding小公仔1 小时前
LeetCode 8. 字符串转换整数 (atoi)
算法·leetcode·职场和发展