基于 BERT 微调一个意图识别(Intent Classification)模型

基于 BERT 微调一个意图识别(Intent Classification)模型,你的意图类别包括:

  • 查询天气
  • 获取新闻咨询
  • 想听音乐
  • 想添加备忘
  • 查询备忘
  • 获取家政服务
  • 结束对话
  • 增加音量
  • 减小音量
  • 其他

具体实现步骤(详细版)

1. 准备你的数据集

你的数据集应该是这样的格式(通常是 CSV 或 JSON):

text label
今天上海天气怎么样? 查询天气
给我放首轻音乐 想听音乐
新闻头条是什么? 获取新闻咨询
记一下明天开会 想添加备忘
查看一下我的备忘录 查询备忘
叫个钟点工来打扫 获取家政服务
不聊了,再见 结束对话
声音大一点 增加音量
小点声 减小音量
乱说的话 其他

每一行是一个用户输入(text)和它对应的意图(label)。

注意:BERT只能识别数字标签,所以需要把意图文字映射成数字,比如:

python 复制代码
label2id = {
    "查询天气": 0,
    "获取新闻咨询": 1,
    "想听音乐": 2,
    "想添加备忘": 3,
    "查询备忘": 4,
    "获取家政服务": 5,
    "结束对话": 6,
    "增加音量": 7,
    "减小音量": 8,
    "其他": 9
}
id2label = {v: k for k, v in label2id.items()}

2. 安装需要的库
bash 复制代码
pip install transformers datasets torch scikit-learn

3. 代码:BERT意图识别模型训练
python 复制代码
import torch
from datasets import load_dataset, Dataset
from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
from sklearn.model_selection import train_test_split

# 1. 准备数据
texts = [
    "今天上海天气怎么样?", "给我放首轻音乐", "新闻头条是什么?",
    "记一下明天开会", "查看一下我的备忘录", "叫个钟点工来打扫",
    "不聊了,再见", "声音大一点", "小点声", "乱说的话"
]
labels = [0, 2, 1, 3, 4, 5, 6, 7, 8, 9]  # 使用数字标签

# 切分成训练集和验证集
train_texts, val_texts, train_labels, val_labels = train_test_split(
    texts, labels, test_size=0.2, random_state=42
)

# 2. 加载分词器
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")

# 3. 对数据进行编码
def tokenize_function(texts):
    return tokenizer(texts, padding="max_length", truncation=True, max_length=32)

train_encodings = tokenize_function(train_texts)
val_encodings = tokenize_function(val_texts)

# 4. 构建 PyTorch Dataset
class IntentDataset(torch.utils.data.Dataset):
    def __init__(self, encodings, labels):
        self.encodings = encodings
        self.labels = labels
    def __len__(self):
        return len(self.labels)
    def __getitem__(self, idx):
        item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}
        item["labels"] = torch.tensor(self.labels[idx])
        return item

train_dataset = IntentDataset(train_encodings, train_labels)
val_dataset = IntentDataset(val_encodings, val_labels)

# 5. 加载预训练BERT分类模型
model = BertForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=10)

# 6. 设置训练参数
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    logging_dir="./logs",
    logging_steps=10,
    learning_rate=2e-5,
)

# 7. 用Trainer训练
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset,
)

trainer.train()

4. 训练好以后,保存模型
python 复制代码
model.save_pretrained("./intent_bert_model")
tokenizer.save_pretrained("./intent_bert_model")

5. 推理(用来预测意图)
python 复制代码
from transformers import pipeline

# 加载保存好的模型
classifier = pipeline("text-classification", model="./intent_bert_model", tokenizer="./intent_bert_model", device=0 if torch.cuda.is_available() else -1)

# 测试
text = "帮我叫个保洁阿姨"
prediction = classifier(text)
predicted_label = int(prediction[0]["label"].split("_")[-1])  # 如果是默认模型格式
print(f"预测的标签是:{id2label[predicted_label]}")

补充说明

  • 数据集:建议你准备更多的数据样本,每个意图至少几十条,效果更好。
  • 小批量数据:小批量很少时,可以使用数据增强方法(例如同义词替换、轻微打乱顺序等)扩充数据。
  • 模型优化:可以调整学习率、batch size、epoch数来进一步优化效果。
  • 多意图识别:如果未来一个句子可能有多个意图,需要做成多标签分类(现在是单标签分类)。

相关推荐
聽雨23714 分钟前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro33 分钟前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm38 分钟前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl1 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络
羊小猪~~1 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
摸爬滚打李上进1 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木1 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
lishaoan772 小时前
使用tensorflow的线性回归的例子(四)
人工智能·tensorflow·线性回归
AI让世界更懂你2 小时前
【ACL系列论文写作指北15-如何进行reveiw】-公平、公正、公开
人工智能·自然语言处理
牛客企业服务3 小时前
2025年AI面试推荐榜单,数字化招聘转型优选
人工智能·python·算法·面试·职场和发展·金融·求职招聘