《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023

《论文阅读》通过顺序不敏感的表示正则化实现稳健的个性化对话生成 ACL 2023

前言

亲身阅读感受分享,细节画图解释,再也不用担心看不懂论文啦~

无抄袭,无复制,纯手工敲击键盘~

今天为大家带来的是《Towards Robust Personalized Dialogue Generation via Order-Insensitive Representation Regularization》


出版:ACL

时间:2023

类型:个性化对话生成

特点:个性化;回复生成;鲁棒性;表示正则化

作者:Liang Chen

第一作者机构:The Chinese University of Hong Kong

相关个性化生成论文推荐

简介

生成个性化一致性回复是至关重要的,过往的方法只是将个性化信息进行简单地拼接,然而作者通过实验分析发现,个性化信息输入模型的顺序会产生相差较大的结果,为了避免模型对顺序过于敏感,本文提出一种对顺序不敏感的生成方法(限制的优化方法)

如上图所示,不同的 Persona 对于生成的结果有较大的影响,紫色框的回复明显比蓝色框的回复更具有一致性

更具体的实验数据可以从上表中看出,作者将个性化信息所有可能的结果拼接上上下文依次输入到模型中,将最好的结果和最差的结果分别记录下来,由此得知,the ordering of persona in the input leads to different representations of context and response

问题定义

方法

作者将个性化优化问题转化为在不确定个性化信息输入顺序的情况下优化个性化模型

具体做法就是将不同的个性化顺序输入模型后,使得输出的表示彼此之间差异不大,理想情况下,不管什么输入顺序最后都能输出相同的表示

损失函数

γ \gamma γ 是一个乘数,可以随着训练过程进行更新

实验结果

从实验结果可以看出,使用ORIG之后提高了最差顺序的表现,降低了最好顺序的表现,总体来说就是提高了均值和方差

相关推荐
沉默媛9 小时前
【论文阅读】InnerGS: Internal Scenes Rendering via Factorized 3D Gaussian Splatting
论文阅读·3dgs·内部精细结果重建
czijin17 小时前
【论文阅读】Security of Language Models for Code: A Systematic Literature Review
论文阅读·人工智能·安全·语言模型·软件工程
安逸sgr20 小时前
Zotero白嫖腾讯云翻译
论文阅读·云计算·腾讯云
飞机火车巴雷特1 天前
【论文阅读】LightThinker: Thinking Step-by-Step Compression (EMNLP 2025)
论文阅读·人工智能·大模型·cot
网安INF1 天前
【论文阅读】-《THE JPEG STILL PICTURE COMPRESSION STANDARD》
论文阅读·计算机视觉
张较瘦_1 天前
[论文阅读] 人工智能 + 软件工程 | ReCode:解决LLM代码修复“贵又慢”!细粒度检索+真实基准让修复准确率飙升
论文阅读·人工智能·软件工程
张较瘦_1 天前
[论文阅读] 软件工程 | 告别“线程安全玄学”:基于JMM的Java类静态分析,CodeQL3分钟扫遍GitHub千仓错误
java·论文阅读·安全
源于花海1 天前
Energy期刊论文学习——基于集成学习模型的多源域迁移学习方法用于小样本实车数据锂离子电池SOC估计
论文阅读·迁移学习·集成学习·电池管理
CV-杨帆1 天前
论文阅读:ACL 2022 Beyond Goldfish Memory∗: Long-Term Open-Domain Conversation
论文阅读
有点不太正常1 天前
《A Study of Probabilistic Password Models》(IEEE S&P 2014)——论文阅读
论文阅读·密码学·口令猜测·马尔可夫链