Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
小陈phd2 分钟前
大语言模型实战(一)——基本介绍及环境配置
人工智能·语言模型·自然语言处理
小北的AI科技分享17 分钟前
AI智能体:连接大语言模型与现实任务的核心架构解析
人工智能·语言模型·自然语言处理
AI营销干货站28 分钟前
原圈科技AI市场舆情分析平台在文旅行业的实战价值与应用洞察
人工智能·自然语言处理·自动驾驶
TG:@yunlaoda360 云老大1 小时前
华为云国际站代理商的GACS主要有什么作用呢?
人工智能·自然语言处理·华为云
爱装代码的小瓶子1 小时前
大语言模型的巧用:
人工智能·语言模型·自然语言处理
2401_841495641 小时前
【自然语言处理】汉字表管理工具
人工智能·python·自然语言处理·初始化·数据关联·汉字表管理工具·批量操作到版本控制
Loo国昌17 小时前
大型语言模型推理范式演进:从提示工程到思维算法
人工智能·算法·语言模型·自然语言处理
Sherlock Ma20 小时前
AI大模型面试题集锦:(1)基础入门题
人工智能·pytorch·自然语言处理·大模型·跳槽·机器翻译·改行学it
古城小栈21 小时前
边缘大模型本地部署与推理实战:以GPT-OSS-20B为例
人工智能·gpt·语言模型·边缘计算
小苑同学21 小时前
PaperReding:《LLaMA: Open and Efficient Foundation Language Models》
人工智能·语言模型·llama