NLP09-加强1-对比SVM

m0_748038562025-02-27 15:14

支持向量机（SVM）

[（一）导入 SVM 相关库](#（一）导入 SVM 相关库)

[（二） 修改模型初始化](#（二） 修改模型初始化)

[（三） 比较](#（三） 比较)

朴素贝叶斯分类器

SVM分类器

支持向量机（SVM）

代码修改基于NLP09-朴素贝叶斯问句分类（3/3）

（一）导入 SVM 相关库

python 复制代码 
from sklearn.svm import SVC  # 导入 SVM

（二） 修改模型初始化

python 复制代码 
    # 模型训练
    def train_model(self):
        self.to_vect()
        # 使用 SVM 替换朴素贝叶斯
        svm_model = SVC(kernel='linear', C=1.0)  # 线性核函数，C 是正则化参数
        svm_model.fit(self.train_vec, self.train_y)
        self.model = svm_model

详细解释SVM

参见**机器学习------支持向量机（SVM）**

python 复制代码 
# 使用 SVM 替换朴素贝叶斯
        svm_model = SVC(kernel='linear', C=1.0)  # 线性核函数，C 是正则化参数

（三） 比较

性能评估指标主要是：准确性、精确率、召回率、F1-Score

朴素贝叶斯分类器

为了进行性能评估，我们需要使用 train_test_split 来分割数据集，并使用 sklearn.metrics 来计算准确性、精确率、召回率和 F1-Score。下面是修改后的完整代码，包含了数据集划分和各项评估指标的计算：

python 复制代码 
import os.path
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from common import constant
from ch import data_loader, nlp_util


class QuestionClassify:
    def __init__(self):
        self.train_x = None
        self.train_y = None
        self.tfidf_vec = None
        self.train_vec = None
        self.model = None
        self.question_category_dict = None

    # 文本向量化
    def to_vect(self):
        if self.tfidf_vec is None:
            # 加载训练数据
            self.train_x, self.train_y = data_loader.load_train_data()
            # 初始化一个Tfidf
            self.tfidf_vec = TfidfVectorizer()
            # 确保 self.train_x 是字符串列表
            if isinstance(self.train_x[0], list):
                self.train_x = [" ".join(doc) for doc in self.train_x]
            self.train_vec = self.tfidf_vec.fit_transform(self.train_x).toarray()

    # 模型训练
    def train_model(self):
        self.to_vect()
        # 使用 train_test_split 划分训练集和测试集
        X_train, X_test, y_train, y_test = train_test_split(self.train_vec, self.train_y, test_size=0.2, random_state=42)

        # 使用朴素贝叶斯模型
        nb_model = MultinomialNB(alpha=0.01)
        nb_model.fit(X_train, y_train)  # 训练模型
        self.model = nb_model

        # 预测并计算评估指标
        y_pred = self.model.predict(X_test)

        # 计算并打印评估指标
        accuracy = accuracy_score(y_test, y_pred)
        precision = precision_score(y_test, y_pred, average='weighted')
        recall = recall_score(y_test, y_pred, average='weighted')
        f1 = f1_score(y_test, y_pred, average='weighted')

        print(f"Accuracy: {accuracy:.4f}")
        print(f"Precision: {precision:.4f}")
        print(f"Recall: {recall:.4f}")
        print(f"F1-Score: {f1:.4f}")

    # 模型预测
    def predict(self, question):
        # 词性标注做电影相关实体的抽取
        question_cut = nlp_util.movie_pos(question)
        # 原问句列表（刘德华演过哪些电影）
        question_src_list = []
        # 转换后的问句（nr演过哪些电影）
        question_pos_list = []

        for item in question_cut:
            question_src_list.append(item.word)
            if item.flag in ['nr', 'nm', 'nnt']:
                question_pos_list.append(item.flag)
            else:
                question_pos_list.append(item.word)
        question_pos_text = [" ".join(question_pos_list)]
        # 文本向量化
        question_vect = self.tfidf_vec.transform(question_pos_text).toarray()

        # 输入模型进行预测，得到结果
        predict = self.model.predict(question_vect)[0]
        return predict

    def init_question_category_dict(self):
        # 读取问题（类别-描述）映射文件
        question_category_path = os.path.join(constant.DATA_DIR, "question_classification.txt")
        with open(question_category_path, "r", encoding="utf-8") as file:
            question_category_list = file.readlines()
        self.question_category_dict = {}
        for category_item in question_category_list:
            category_id, category_desc = category_item.strip().split(":")
            self.question_category_dict[int(category_id)] = category_desc

    def get_question_desc(self, category):
        if self.question_category_dict is None:
            self.init_question_category_dict()
        return self.question_category_dict[category]


if __name__ == "__main__":
    classify = QuestionClassify()
    classify.train_model()  # 训练模型并打印评估指标
    result = classify.predict("刘德华和成龙合作演过哪些电影呢？&&")
    print(classify.get_question_desc(result))
    print(result)

修改代码解析：

python 复制代码 
# 使用 train_test_split 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(self.train_vec, self.train_y, test_size=0.2, random_state=42)

详见 NLP06-Scikit-Learn 机器学习库（鸢尾花为例）的数据集拆分部分。

python 复制代码 
        # 预测并计算评估指标
        y_pred = self.model.predict(X_test)

        # 计算并打印评估指标
        accuracy = accuracy_score(y_test, y_pred)
        precision = precision_score(y_test, y_pred, average='weighted')
        recall = recall_score(y_test, y_pred, average='weighted')
        f1 = f1_score(y_test, y_pred, average='weighted')

这几个指标是常用的分类模型评估指标。

（1） 准确率（Accuracy）

（2） 精确率（Precision）

（3） 召回率（Recall）

（4） F1-Score

输出结果：

SVM分类器

python 复制代码 
import os.path
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import SVC  # 导入 SVM
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from common import constant
from ch import data_loader, nlp_util


class QuestionClassify:
    def __init__(self):
        self.train_x = None
        self.train_y = None
        self.tfidf_vec = None
        self.train_vec = None
        self.model = None
        self.question_category_dict = None

    # 文本向量化
    def to_vect(self):
        if self.tfidf_vec is None:
            # 加载训练数据
            self.train_x, self.train_y = data_loader.load_train_data()
            # 初始化一个Tfidf
            self.tfidf_vec = TfidfVectorizer()
            # 确保 self.train_x 是字符串列表
            if isinstance(self.train_x[0], list):
                self.train_x = [" ".join(doc) for doc in self.train_x]
            self.train_vec = self.tfidf_vec.fit_transform(self.train_x).toarray()

    # 模型训练
    def train_model(self):
        self.to_vect()
        # 使用 train_test_split 划分训练集和测试集
        X_train, X_test, y_train, y_test = train_test_split(self.train_vec, self.train_y, test_size=0.2, random_state=42)

        # 使用 SVM（支持向量机）替换朴素贝叶斯
        svm_model = SVC(kernel='linear', C=1.0)  # 线性核函数，C 是正则化参数
        svm_model.fit(X_train, y_train)  # 训练模型
        self.model = svm_model

        # 预测并计算评估指标
        y_pred = self.model.predict(X_test)

        # 计算并打印评估指标
        accuracy = accuracy_score(y_test, y_pred)
        precision = precision_score(y_test, y_pred, average='weighted', zero_division=0)
        recall = recall_score(y_test, y_pred, average='weighted', zero_division=0)
        f1 = f1_score(y_test, y_pred, average='weighted')

        print(f"Accuracy: {accuracy:.4f}")
        print(f"Precision: {precision:.4f}")
        print(f"Recall: {recall:.4f}")
        print(f"F1-Score: {f1:.4f}")

    # 模型预测
    def predict(self, question):
        # 词性标注做电影相关实体的抽取
        question_cut = nlp_util.movie_pos(question)
        # 原问句列表（刘德华演过哪些电影）
        question_src_list = []
        # 转换后的问句（nr演过哪些电影）
        question_pos_list = []

        for item in question_cut:
            question_src_list.append(item.word)
            if item.flag in ['nr', 'nm', 'nnt']:
                question_pos_list.append(item.flag)
            else:
                question_pos_list.append(item.word)
        question_pos_text = [" ".join(question_pos_list)]
        # 文本向量化
        question_vect = self.tfidf_vec.transform(question_pos_text).toarray()

        # 输入模型进行预测，得到结果
        predict = self.model.predict(question_vect)[0]
        return predict

    def init_question_category_dict(self):
        # 读取问题（类别-描述）映射文件
        question_category_path = os.path.join(constant.DATA_DIR, "question_classification.txt")
        with open(question_category_path, "r", encoding="utf-8") as file:
            question_category_list = file.readlines()
        self.question_category_dict = {}
        for category_item in question_category_list:
            category_id, category_desc = category_item.strip().split(":")
            self.question_category_dict[int(category_id)] = category_desc

    def get_question_desc(self, category):
        if self.question_category_dict is None:
            self.init_question_category_dict()
        return self.question_category_dict[category]


if __name__ == "__main__":
    classify = QuestionClassify()
    classify.train_model()  # 训练模型并打印评估指标
    result = classify.predict("刘德华和成龙合作演过哪些电影呢？&&")
    print(classify.get_question_desc(result))
    print(result)

输出结果：

分析：

朴素贝叶斯表现更好，可能原因如下：

  • 数据集较小：如果数据集较小，朴素贝叶斯可能会比 SVM 表现更好，因为 SVM 需要更多的数据来找到最优超平面。
  • 特征独立性假设成立：在文本分类任务中，词语之间的独立性假设可能并不会显著影响朴素贝叶斯的性能。
  • 参数调优不当：如果 SVM 的参数（如 C、kernel、gamma）没有调优好，性能可能会较差。
  • 类别分布均衡：如果数据集的类别分布较为均衡，朴素贝叶斯的性能可能会更好。
相关推荐
m0_dawn12 分钟前
Python 3.11 69 个内置函数（完整版）
开发语言·python·数据分析
那雨倾城15 分钟前
使用OpenCV实现帧间变化检测：基于轮廓的动态区域标注
图像处理·python·opencv·计算机视觉·视觉检测
Colinnian22 分钟前
pytorch阶段性总结1
人工智能·pytorch·python
程序员JerrySUN24 分钟前
从底层驱动到 OpenCV：深入解析 Linux 摄像头完整技术栈
linux·服务器·开发语言·人工智能·opencv·计算机视觉
frandiy34 分钟前
核弹级技术革命——搭配deepseek-r1满血版的腾讯云ai助手（codex）仅用14天独立开发出适配ARM架构的微内核操作系统！
人工智能·架构·腾讯云
明朝百晓生39 分钟前
【PyTorch][chapter-33][transformer-5] MHA MQA GQA, KV-Cache
人工智能·深度学习
黑色火種1 小时前
Flask笔记
笔记·python·flask
ywfwyht1 小时前
grok3设计一个自动驾驶VLM模型
人工智能·机器学习·自动驾驶
weixin_307779131 小时前
Python Pandas带多组参数和标签的Oracle数据库批量数据导出程序
数据库·python·oracle·pandas
春末的南方城市1 小时前
CineMaster: 用于电影文本到视频生成的 3D 感知且可控的框架。
人工智能·数码相机·计算机视觉·语言模型·aigc·图像生成
热门推荐
01DeepSeek各版本说明与优缺点分析02本地部署DeepSeek教程（Mac版本）03如何在WPS和Word/Excel中直接使用DeepSeek功能04微软正式发布.NET 10 Preview 1：开启下一代开发框架新篇章05太炸裂了！清华大学deepseek从入门到精通使用手册又出第三版了，《普通人如何抓住DeepSeek红利》（无套路，直接下载）06DeepSeek本地部署详细指南07DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具08本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程09DeepSeek r1本地安装全指南10保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型