Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新/(ㄒoㄒ)/\~\~最近比较忙容许我拖一拖

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
硅谷秋水10 分钟前
从VLM规划器到机器人智能体:面向依赖历史信息的操控任务自演化框架
人工智能·机器学习·语言模型·机器人
yunhuibin2 小时前
AI分类任务种类
人工智能·自然语言处理·分类
我登哥MVP12 小时前
DeepSeek-Harness-Super-Agent-学习笔记
人工智能·深度学习·神经网络·机器学习·自然语言处理·agent
Martina_032114 小时前
AI生成3D场景的霓虹灯一开就糊成光团?用6步检查Emissive、Bloom与曝光
人工智能·3d·ai·自然语言处理·游戏引擎·材质·贴图
Dawson Zhu16 小时前
从空间 Scaling 到时间 Scaling
人工智能·语言模型·架构·aigc·agi
xiaoye-duck16 小时前
《C++ 项目:手写大模型接入 SDK》Ollama接口设计(上):初始化、全量响应实现和测试
开发语言·网络·c++·语言模型
xiaoye-duck1 天前
《C++ 项目:手写大模型接入 SDK》LLMManager架构设计与实现
开发语言·网络·c++·语言模型
Martina_03211 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
Dawson Zhu1 天前
【LLM推理与Serving⑧】多机多卡Serving:TP/PP/负载均衡与弹性扩缩容全攻略
人工智能·语言模型·架构·aigc·agi
硅谷秋水1 天前
OpenRUA 方法分析
人工智能·机器学习·语言模型·机器人