ERC论文阅读(02)--SAC;-LSTM论文阅读笔记

SACL-LSTM论文阅读笔记

论文中心思想

这篇论文是研究ERC任务的论文,发表在2023年ACL上。作者利用对比学习和对抗训练策略来完成ERC任务,采用LSTM作为基础模型,在基础模型上使用对抗训练的方法和对比学习的方法来改进ERC任务效果,是当时第一个将对抗训练引入ERC任务的工作,该项工作基于文本模态,在常用的数据集MELD、iemocap、emoryNLP上取得了SOTA的效果。

模型架构

模型以双向LSTM作为基础模型,架构如图:

前面一个LSTM网络是对原始数据进行的表示学习,后面一个是对对抗样本进行表示学习,模型采用考虑样本分布均衡的FocalLoss与软监督对比损失函数的加权和作为损失函数。

主要创新点

第一次将对抗训练引入ERC任务;

区别于标准的对抗训练将扰动添加在上下文无关层,作者提出的方法将扰动添加在考虑了上下文的嵌入层,并且以多通道的形式添加(具体来说,这里指的是在LSTM网络的多个位置都加入扰动)

代码复现

环境配置:

安装环境的时候一直报错,要先把pytorch装上,再执行pip install -r re...

python: 3.7.16

CUDA:11.8

pytorch: 1.12.1+cu116

这里我是在网上租的GPU,所以它自带的cuda是11.8,然后按照作者的readme文件,在创建了虚拟环境并激活后需要先装上pytorch,然后再安装requirements.txt文件(我直接装requirements.txt一直报错)

之后把需要的数据下载下来,就可以直接debug等等了,(数据这里我直接下载的COSMIC处理好的文件)

然后debug论文的时候别的地方还算是比较好理解,就是有一个地方我还是不太清楚,如下图,下面这一段代码是model.py文件里面对说话者信息上下文表示进行学习的代码,里面嵌套了循环比较难以理解,我大致明白它是利用说话者所说的话语信息来学习说话人的表示,但还是不是很理解(这里如果有大佬路过知道的话,望能不吝赐教,感谢~)

其他

笔记都是本人的个人意见和想法,仅供参考,如果您有任何建议也非常欢迎留言指出~

2024-10-26

的的

相关推荐
特种加菲猫24 分钟前
指尖上的魔法:优雅高效的Linux命令手册
linux·笔记
wuxuanok1 小时前
Web后端开发-分层解耦
java·笔记·后端·学习
wuxuanok2 小时前
Web后端开发-请求响应
java·开发语言·笔记·学习
诗句藏于尽头2 小时前
内网使用rustdesk搭建远程桌面详细版
笔记
蜡笔小电芯2 小时前
【C语言】指针与回调机制学习笔记
c语言·笔记·学习
丰锋ff2 小时前
瑞斯拜考研词汇课笔记
笔记
DKPT4 小时前
Java享元模式实现方式与应用场景分析
java·笔记·学习·设计模式·享元模式
KoiHeng7 小时前
操作系统简要知识
linux·笔记
巴伦是只猫8 小时前
【机器学习笔记Ⅰ】11 多项式回归
笔记·机器学习·回归
DKPT12 小时前
Java桥接模式实现方式与测试方法
java·笔记·学习·设计模式·桥接模式