Shortcut Learning in In-Context Learning: A Survey

为我们的综述打一打广告,目前是初级版本,欢迎各位批评指正!后续的论文列表、测评基准会在Github更新/(ㄒoㄒ)/\~\~最近比较忙容许我拖一拖

这里是arxiv链接:Linking!!!

Abstract:捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象,这阻碍了模型的泛化性和鲁棒性。近年来,随着大型语言模型(large language model, LLMs)的快速发展,越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察,总结了现有研究中尚未解决的问题,并试图勾画出捷径学习的未来研究图景。

注:配合Shortcut Learning of Large Language Models in Natural Language Understanding, Communications of the ACM , 2024

以及A survey on fairness in large language models效果更佳!!!

相关推荐
HAHAXX81 小时前
RPA 架构设计详解:大模型集成下,如何融合 NLP、OCR 处理非结构化数据
自然语言处理·ocr·rpa
runningshark3 小时前
Lecture: Grammar for Picture Description
自然语言处理
云雀衔光4 小时前
多个 MCP Server 怎么编排:数据库 / Redis / Git / 飞书一把梭
java·数据库·人工智能·redis·git·语言模型·飞书
今年下半年14 小时前
从零开始搭建一套大语言模型 + LangGraph 多智能体编排 + RAG 知识库检索** 的智能问答平台
人工智能·语言模型·自然语言处理
leoZ23115 小时前
第 1 篇:为什么不该再让 AI 画页面
人工智能·神经网络·机器学习·自然语言处理·cnn·word2vec·mllib
Dawson Zhu18 小时前
从理论到工程化:构建可靠Agent系统的六大核心工件与实战指南
人工智能·语言模型·架构·aigc·agi
529宝宝起名网19 小时前
用 Python 实现名字寓意评分算法:基于 NLP 语义分析的名字内涵深度评估
python·算法·自然语言处理
LearnYard20 小时前
技术博主实测:2026年大语言模型辅助学习工具横向对比
人工智能·学习·语言模型
2601_9620996821 小时前
Python环境下中文分词实现与应用探索
python·自然语言处理·中文分词·jieba·开源社区
小道士写程序1 天前
自然语言处理NLP - 第11章 从概率到回答:推理与提示词
人工智能·自然语言处理