Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新/(ㄒoㄒ)/\~\~最近比较忙容许我拖一拖

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
一碗白开水一2 小时前
入门实践工程九:基于 BERT 的中文情感分类微调~附:安装依赖库及工程源码
人工智能·深度学习·机器学习·自然语言处理·分类·bert
Zkaisen8 小时前
第三章 · 大语言模型基础(详尽展开版)
人工智能·语言模型·自然语言处理
小白说大模型9 小时前
LLM(大语言模型)到底是怎么工作的?
人工智能·语言模型·自然语言处理
Zzj_tju12 小时前
Reasoning Models 论文精读路线:CoT、Self-Consistency、Process Supervision 与 Search
人工智能·深度学习·自然语言处理
牧竹子1 天前
大模型-新手安装Ollama以及大模型调用
语言模型
合调于形1 天前
Bianfchheng (Baf) 《边城(八)》全文汉语拼音字母标调实测案例
人工智能·自然语言处理·人机交互·语音识别·学习方法
仙女修炼史1 天前
word2Vec理解(下):本质理解
人工智能·自然语言处理·word2vec
weixin_446260851 天前
通过恶意输入操控大语言模型行为的MCP环境搭建及应用研究
人工智能·语言模型·自然语言处理
AI人工智能+1 天前
一种高效、精准的不动产权证书智能识别技术,打通了物理世界与数字世界的信息壁垒
深度学习·计算机视觉·自然语言处理·ocr·不动产权证书识别
额恩662 天前
预训练模型:从BERT到GPT的进化之路
人工智能·自然语言处理