Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
地瓜伯伯8 小时前
elasticsearch性能调优方法原理与实战
人工智能·elasticsearch·语言模型·数据分析
Aaron_94510 小时前
LangChain:构建大语言模型应用的革命性框架深度解析
人工智能·语言模型·langchain
独自破碎E11 小时前
说说Copilot模式和Agent模式的区别
人工智能·语言模型·copilot
aopstudio12 小时前
HuggingFace Tokenizer 的进化:从分词器到智能对话引擎
人工智能·自然语言处理·llm·huggingface
之之为知知14 小时前
NLP进化史:一场「打补丁」的技术接力赛
人工智能·深度学习·机器学习·自然语言处理·大模型
Francek Chen14 小时前
【自然语言处理】初探自然语言处理
人工智能·自然语言处理·nlp·easyui
清蒸鳜鱼14 小时前
【系列跟学之——强化学习】基础篇
机器学习·语言模型·强化学习
独自破碎E14 小时前
解释一下向量数据库中的HNSW、LSH和PQ
gpt·语言模型
sunxunyong15 小时前
CC-Ralph实测
人工智能·自然语言处理
huazi-J17 小时前
Datawhale Happy-LLM 课程 task 1和2:NLP基础概念
人工智能·自然语言处理·大模型·llm·datawhale