LLM论文笔记 27: Looped Transformers for Length Generalization

  • Arxiv日期:2024.9.25

关键词

  • 长度泛化

  • transformer结构优化

核心结论

  1. RASP-L限制transformer无法处理包含循环的任务的长度泛化

  2. Loop Transformer显著提升了长度泛化能力

  • Input Injection显著提升了模型的长度泛化性能,尤其在二进制加法等复杂任务上效果显著

  • 在推理中,通过输出置信度判断迭代停止点的策略能够实现接近最佳的性能

主要方法

Transformer在长度泛化(length generalization)上表现有限,尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构(Looped Transformers),通过循环处理增加模型对输入长度的适应能力。

n-RASP-L问题 :(=n循环RASP-L问 )定义了一类任务,这些任务可以通过多次迭代应用某些基础操作(RASP-L操作)来解决。这些任务包括复制、求和、二进制加法等。

本质上是将内部无法处理的循环替换到外部,做到"n次transformer"

注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文

相关推荐
AI大模型顾潇1 分钟前
[特殊字符] 人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总) [特殊字符]
数据库·人工智能·语言模型·自然语言处理·大模型·llm·prompt
悠悠海风16 分钟前
目标检测中的损失函数(三) | SIoU WIoUv1 WIoUv2 WIoUv3
人工智能·python·深度学习·目标检测·计算机视觉
白熊18817 分钟前
【计算机视觉】三维重建: MVSNet:基于深度学习的多视图立体视觉重建框架
人工智能·深度学习·计算机视觉
学C岁月1 小时前
BC19 反向输出一个四位数
c语言·开发语言·笔记
CodeJourney.1 小时前
Kotlin革新数据分析
人工智能·爬虫·算法·信息可视化
飘若随风1 小时前
PyTorch数据集与数据集加载
人工智能·pytorch·python
moxiaoran57532 小时前
Kubernetes(k8s)学习笔记(五)--部署Ingress实现域名访问和负载均衡
笔记·学习·kubernetes
正宗咸豆花2 小时前
Prompt多版本测试指南:如何科学评估不同提示词的效果
人工智能·microsoft·prompt
奔驰的小野码2 小时前
SpringAI实现AI应用-搭建知识库
java·人工智能·spring boot·后端·spring·知识图谱
霖大侠2 小时前
PLOT: PROMPT LEARNING WITH OPTIMAL TRANSPORT FOR VISION -LANGUAGE MODELS
人工智能·语言模型·prompt