大语言模型之ICL(上下文学习) - In-Context Learning Creates Task Vectors在大语言模型(LLMs)中的上下文学习(In-Context Learning,ICL) 成为一种强大的新学习范式(learning paradigm),然而我们对它的底层机制仍不够明确清晰。尤其是将其映射到传统的机器学习框架 就很具挑战性,其中我们使用 训练集S 在特定的假设类别中去寻找一个最佳拟合 函数f(x) 。我们发现,ICL可以学习到的函数通常具有非常简单的结构:他们直接表现近似于Transformer架构的LLMs,仅有的输入是 查询x 和 由训练集计算而得的单个’任务向量(task vect