Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新[/(ㄒoㄒ)/~~最近比较忙容许我拖一拖]

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
Black蜡笔小新4 小时前
AI大模型驱动的智能音视频通信:视频通话SDK工具EasyRTC在嵌入式设备中的应用探索
人工智能·语言模型·大模型·音视频·webrtc·rtc
Zhouqi_Hua4 小时前
LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly
论文阅读·笔记·深度学习·语言模型·自然语言处理
Neo很努力6 小时前
【deepseek】本地部署+RAG知识库挂载+对话测试
自然语言处理·chatgpt·langchain·aigc·llama
QQ_7781329746 小时前
DeepSeek与ChatGPT:AI语言模型的全面对决
人工智能·自然语言处理
AI生成未来8 小时前
多模态大语言模型(MLLMs)如何重塑和变革计算机视觉?
计算机视觉·语言模型·多模态·mllms
伊一大数据&人工智能学习日志9 小时前
自然语言处理NLP 03案例——提取小说红楼梦各卷关键词TOP10
人工智能·算法·自然语言处理
bug404_20 小时前
分布式大语言模型服务引擎vLLM论文解读
人工智能·分布式·语言模型
Kai HVZ1 天前
《深度学习》——自然语言处理(NLP)
人工智能·深度学习·自然语言处理
Zhouqi_Hua1 天前
LLM论文笔记 12: Teaching Arithmetic to Small Transformers
论文阅读·人工智能·深度学习·神经网络·语言模型
North_D1 天前
ML.NET库学习008:使用ML.NET进行心脏疾病预测模型开发
人工智能·深度学习·神经网络·目标检测·机器学习·自然语言处理·数据挖掘