Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
沉下心来学鲁班1 小时前
欺诈文本分类检测(十八):基于llama.cpp+CPU推理
人工智能·语言模型·分类·cpu·llama.cpp
m0_523674212 小时前
技术前沿:从强化学习到Prompt Engineering,业务流程管理的创新之路
人工智能·深度学习·目标检测·机器学习·语言模型·自然语言处理·数据挖掘
小言从不摸鱼4 小时前
【AI大模型】ELMo模型介绍:深度理解语言模型的嵌入艺术
人工智能·深度学习·语言模型·自然语言处理·transformer
衬衫chenshan4 小时前
【论文阅读】(Security) Assertions by Large Language Models
论文阅读·人工智能·语言模型
小森( ﹡ˆoˆ﹡ )11 小时前
词嵌入方法(Word Embedding)
人工智能·机器学习·自然语言处理·nlp·word·embedding
魅色17 小时前
法语文档的几种翻译方法
人工智能·自然语言处理·机器翻译·外文阅读·在线翻译
OpenBayes17 小时前
OpenBayes 一周速览丨VASP 教程上线!HPC 助力材料计算;AllClear 公共云层去除数据集发布,含超 23k 个全球分布的兴趣区域
人工智能·深度学习·机器学习·自然语言处理·开源·数据集·大语言模型
少喝冰美式20 小时前
大语言模型在序列推荐中的应用
人工智能·程序人生·自然语言处理·大模型·大语言模型·计算机技术·大模型应用
DisonTangor20 小时前
AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。
人工智能·语言模型·自然语言处理