《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023

《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023

前言

亲身阅读感受分享,细节画图解释,再也不用担心看不懂论文啦~

无抄袭,无复制,纯手工敲击键盘~

今天为大家带来的是《Towards Robust Personalized Dialogue Generation via Order-Insensitive Representation Regularization》


出版:ACL

时间:2023

类型:个性化对话生成

特点:个性化;回复生成;鲁棒性;表示正则化

作者:Liang Chen

第一作者机构:The Chinese University of Hong Kong

相关个性化生成论文推荐

简介

生成个性化一致性回复是至关重要的,过往的方法只是将个性化信息进行简单地拼接,然而作者通过实验分析发现,个性化信息输入模型的顺序会产生相差较大的结果,为了避免模型对顺序过于敏感,本文提出一种对顺序不敏感的生成方法(限制的优化方法)

如上图所示,不同的 Persona 对于生成的结果有较大的影响,紫色框的回复明显比蓝色框的回复更具有一致性

更具体的实验数据可以从上表中看出,作者将个性化信息所有可能的结果拼接上上下文依次输入到模型中,将最好的结果和最差的结果分别记录下来,由此得知,the ordering of persona in the input leads to different representations of context and response

问题定义

方法

作者将个性化优化问题转化为在不确定个性化信息输入顺序的情况下优化个性化模型

具体做法就是将不同的个性化顺序输入模型后,使得输出的表示彼此之间差异不大,理想情况下,不管什么输入顺序最后都能输出相同的表示

损失函数

γ \gamma γ 是一个乘数,可以随着训练过程进行更新

实验结果

从实验结果可以看出,使用ORIG之后提高了最差顺序的表现,降低了最好顺序的表现,总体来说就是提高了均值和方差

相关推荐
Lifeng6666666611 小时前
chatgpt是怎么诞生的,详解GPT1到GPT4的演化之路及相关背景知识
论文阅读·人工智能·语言模型·chatgpt
Booksort14 小时前
【论文笔记】A Deep Reinforcement Learning Based Real-Time Solution Policy for the TSP
论文阅读
北温凉1 天前
【论文阅读】基于注意力机制的冥想脑电分类识别研究(2025)
论文阅读·分类·数据挖掘
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | AI助力软件可解释性:从用户评论到自动生成需求与解释
论文阅读·人工智能·软件工程
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | LLM辅助软件开发:需求如何转化为代码?
论文阅读·人工智能·软件工程
0x2112 天前
[论文阅读]Text Compression for Efficient Language Generation
论文阅读
Jamence3 天前
多模态大语言模型arxiv论文略读(153)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
莫彩3 天前
【大模型推理论文阅读】Enhancing Latent Computation in Transformerswith Latent Tokens
论文阅读·人工智能·语言模型
崔高杰3 天前
微调性能赶不上提示工程怎么办?Can Gradient Descent Simulate Prompting?——论文阅读笔记
论文阅读·人工智能·笔记·语言模型
张较瘦_3 天前
[论文阅读] 人工智能 | 5C提示词框架的研究
论文阅读·人工智能