昇思11天

基于 MindSpore 实现 BERT 对话情绪识别

BERT模型概述

BERT(Bidirectional Encoder Representations from Transformers)是由Google于2018年开发并发布的一种新型语言模型。BERT在许多自然语言处理(NLP)任务中发挥着重要作用,例如问答、命名实体识别、自然语言推理和文本分类。BERT基于Transformer中的Encoder,并采用了双向的结构,因此掌握Transformer的Encoder结构是理解BERT的基础。

BERT模型的主要创新点

BERT模型的主要创新点在于其预训练方法,即使用了**Masked Language Model(MLM)Next Sentence Prediction(NSP)**两种方法来分别捕捉词语和句子级别的表征(representation)。

Masked Language Model(MLM)

在MLM训练中,随机将语料库中15%的单词进行Mask操作。具体操作如下:

  • 80%的单词直接用[Mask]替换。
  • 10%的单词替换成其他随机的单词。
  • 10%的单词保持不变。

通过这种方式,模型需要预测被Mask的词,从而捕捉到单词级别的语义信息。

Next Sentence Prediction(NSP)

NSP的目的是让模型理解两个句子之间的联系。训练的输入是句子A和B,B有一半的几率是A的下一句。通过预测B是否为A的下一句,模型能够学习到句子级别的语义关系。

BERT的预训练和Fine-tuning

BERT预训练之后,会保存其Embedding table和12层Transformer权重(BERT-BASE)或24层Transformer权重(BERT-LARGE)。预训练好的BERT模型可以用于下游任务的Fine-tuning,如文本分类、相似度判断和阅读理解等。

对话情绪识别(EmoTect)

对话情绪识别(Emotion Detection,简称EmoTect) ,旨在识别智能对话场景中的用户情绪。针对用户文本,自动判断其情绪类别并给出相应的置信度。情绪类型一般分为积极、消极和中性。对话情绪识别适用于聊天、客服等多个场景,帮助企业更好地把握对话质量、改善用户交互体验,分析客服服务质量并降低人工质检成本。

步骤:通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型,加载预训练权重,设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作,提高训练的速度,然后实例化优化器,紧接着实例化评价指标,设置模型训练的权重保存策略,最后就是构建训练器,模型开始训练。

有构建好的,直接调用:

from mindnlp.transformers import BertForSequenceClassification, BertModel

相关推荐
xiangduanjava4 分钟前
关于安装Ollama大语言模型本地部署工具
人工智能·语言模型·自然语言处理
zzywxc78724 分钟前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
超龄超能程序猿27 分钟前
(1)机器学习小白入门 YOLOv:从概念到实践
人工智能·机器学习
大熊背37 分钟前
图像处理专业书籍以及网络资源总结
人工智能·算法·microsoft
江理不变情43 分钟前
图像质量对比感悟
c++·人工智能
张较瘦_3 小时前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭4 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力7 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心7 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield8 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习