《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023

《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023

前言

亲身阅读感受分享,细节画图解释,再也不用担心看不懂论文啦~

无抄袭,无复制,纯手工敲击键盘~

今天为大家带来的是《Towards Robust Personalized Dialogue Generation via Order-Insensitive Representation Regularization》


出版:ACL

时间:2023

类型:个性化对话生成

特点:个性化;回复生成;鲁棒性;表示正则化

作者:Liang Chen

第一作者机构:The Chinese University of Hong Kong

相关个性化生成论文推荐

简介

生成个性化一致性回复是至关重要的,过往的方法只是将个性化信息进行简单地拼接,然而作者通过实验分析发现,个性化信息输入模型的顺序会产生相差较大的结果,为了避免模型对顺序过于敏感,本文提出一种对顺序不敏感的生成方法(限制的优化方法)

如上图所示,不同的 Persona 对于生成的结果有较大的影响,紫色框的回复明显比蓝色框的回复更具有一致性

更具体的实验数据可以从上表中看出,作者将个性化信息所有可能的结果拼接上上下文依次输入到模型中,将最好的结果和最差的结果分别记录下来,由此得知,the ordering of persona in the input leads to different representations of context and response

问题定义

方法

作者将个性化优化问题转化为在不确定个性化信息输入顺序的情况下优化个性化模型

具体做法就是将不同的个性化顺序输入模型后,使得输出的表示彼此之间差异不大,理想情况下,不管什么输入顺序最后都能输出相同的表示

损失函数

γ \gamma γ 是一个乘数,可以随着训练过程进行更新

实验结果

从实验结果可以看出,使用ORIG之后提高了最差顺序的表现,降低了最好顺序的表现,总体来说就是提高了均值和方差

相关推荐
s1ckrain14 小时前
【论文阅读】VARGPT-v1.1
论文阅读·多模态大模型·统一生成模型
Catching Star17 小时前
【论文笔记】【强化微调】Vision-R1:首个针对多模态 LLM 制定的强化微调方法,以 7B 比肩 70B
论文阅读·强化微调
王上上17 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
s1ckrain1 天前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
北京地铁1号线2 天前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | 软件架构中自然问题主动辅助研究:从挑战到解决方案
论文阅读·人工智能·软件工程
有Li3 天前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_3 天前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia10783 天前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读