Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
放下华子我只抽RuiKe51 天前
机器学习全景指南-基石篇——预测连续值的线性回归
人工智能·深度学习·神经网络·算法·机器学习·自然语言处理·线性回归
troubles maker1 天前
Decoder-Only模型
语言模型·nlp
小陈phd1 天前
多模态大模型学习笔记(十六)——Transformer 学习之 Decoder Only
人工智能·笔记·深度学习·学习·自然语言处理·transformer
小超同学你好1 天前
Transformer 9. Decoder-Encoder 层多头自注意力机制
人工智能·语言模型·transformer
智算菩萨1 天前
Chain-of-Thought Prompting:为什么逐步推理能提升大模型准确率
人工智能·深度学习·机器学习·语言模型·强化学习
von Neumann1 天前
大模型从入门到应用——HuggingFace:Transformers-[零基础快速上手:自然语言处理任务]
人工智能·python·ai·自然语言处理·大模型·aigc·transformer
chilavert3181 天前
技术演进中的开发沉思-376 NLP:NLP核心与困局
人工智能·自然语言处理
lzq6031 天前
文本驱动数据可视化新范式:图表狐5个跨行业实战案例深度解析
信息可视化·自然语言处理·数据分析·aigc·数据可视化
PNP机器人1 天前
具身大型语言模型让机器人玩转复杂未知场景
人工智能·语言模型·机器人·kinova机械臂
你的论文学长1 天前
【架构拆解】从 RAG 检索到全局 Linting:如何用工程化思维跑通几万字的自动化写作流?
运维·人工智能·安全·自然语言处理·架构·自动化·ai写作