Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
AI周红伟10 分钟前
周红伟:梁文峰DeepSeek V4 终极对决 GPT-6,梁文锋透露 DeepSeek V4 将于 4 月下旬发布
人工智能·gpt·深度学习·微信·自然语言处理·openclaw
阿杰学AI2 小时前
AI核心知识123—大语言模型之 KV Cache
人工智能·ai·语言模型·自然语言处理·aigc·kv cache·键值缓存
元拓数智3 小时前
从 SQL 到自然语言:Arilink 语义治理与智能查询平台深度解析
数据库·sql·自然语言处理·智能问数
阿杰学AI5 小时前
AI核心知识124—大语言模型之 智能体工程
人工智能·ai·语言模型·自然语言处理·agent·智能体·智能体工程
念谨5 小时前
【Diy-LLM】Task 1 分词器笔记
语言模型·datawhale·组队学习·cs336 中文课程
云和数据.ChenGuang5 小时前
机器学习之预测概率问题
人工智能·深度学习·神经网络·目标检测·机器学习·自然语言处理·语音识别
夜瞬5 小时前
NLP学习笔记05:命名实体识别(NER)入门——从规则方法到 BERT
笔记·学习·自然语言处理
海海不掉头发5 小时前
【AI-大语言模型】医疗问诊AI大模型从0到1实战手册
人工智能·语言模型·自然语言处理
MRDONG16 小时前
从 Prompt 到智能体系统:Function Calling、Memory 与 Synthetic RAG 的全栈解析
人工智能·深度学习·神经网络·语言模型·自然语言处理·prompt
小超同学你好6 小时前
OpenClaw 深度解析与源代码导读 · 第2篇:Skills——能力扩展平面与源码中的「目录即技能」
人工智能·语言模型