Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
失散131 小时前
自然语言处理——02 文本预处理(下)
人工智能·自然语言处理
什么都想学的阿超9 小时前
【大语言模型 02】多头注意力深度剖析:为什么需要多个头
人工智能·语言模型·自然语言处理
MARS_AI_14 小时前
云蝠智能VoiceAgent:AI赋能售后服务场景的创新实践
人工智能·语言模型·自然语言处理·人机交互·信息与通信
亚里随笔1 天前
稳定且高效:GSPO如何革新大型语言模型的强化学习训练?
人工智能·机器学习·语言模型·自然语言处理·llm·rlhf
数据知道1 天前
机器翻译:模型微调(Fine-tuning)与调优详解
人工智能·自然语言处理·机器翻译
Struart_R1 天前
SpatialVLM和SpatialRGPT论文解读
计算机视觉·语言模型·transformer·大语言模型·vlm·视觉理解·空间推理
未来之窗软件服务1 天前
自建知识库,向量数据库 体系建设(五)之 中文分词库 HanLP ——仙盟创梦IDE
自然语言处理·中文分词·仙盟创梦ide·东方仙盟
skywalk81631 天前
LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。
人工智能·语言模型·自然语言处理
果粒橙_LGC2 天前
自学大语言模型之Transformer的Tokenizer
人工智能·语言模型·transformer
静心问道2 天前
CacheBlend:结合缓存知识融合的快速RAG大语言模型推理服务
人工智能·语言模型·模型加速