LLM论文笔记 27: Looped Transformers for Length Generalization

  • Arxiv日期:2024.9.25

关键词

  • 长度泛化

  • transformer结构优化

核心结论

  1. RASP-L限制transformer无法处理包含循环的任务的长度泛化

  2. Loop Transformer显著提升了长度泛化能力

  • Input Injection显著提升了模型的长度泛化性能,尤其在二进制加法等复杂任务上效果显著

  • 在推理中,通过输出置信度判断迭代停止点的策略能够实现接近最佳的性能

主要方法

Transformer在长度泛化(length generalization)上表现有限,尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构(Looped Transformers),通过循环处理增加模型对输入长度的适应能力。

n-RASP-L问题 :(=n循环RASP-L问 )定义了一类任务,这些任务可以通过多次迭代应用某些基础操作(RASP-L操作)来解决。这些任务包括复制、求和、二进制加法等。

本质上是将内部无法处理的循环替换到外部,做到"n次transformer"

注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文

相关推荐
fsnine18 分钟前
深度学习——残差神经网路
人工智能·深度学习
乖女子@@@39 分钟前
React笔记_组件之间进行数据传递
javascript·笔记·react.js
和鲸社区1 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
fanstuck1 小时前
2025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定详解(一)
人工智能·目标检测·数学建模·数据挖掘·aigc
cxr8281 小时前
Claude Code PM 深度实战指南:AI驱动的GitHub项目管理与并行协作
人工智能·驱动开发·github
THMAIL1 小时前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm
Gyoku Mint1 小时前
NLP×第六卷:她给记忆加了筛子——LSTM与GRU的贴靠机制
人工智能·深度学习·神经网络·语言模型·自然语言处理·gru·lstm
要做朋鱼燕2 小时前
【C++】 priority_queue 容器模拟实现解析
开发语言·c++·笔记·职场和发展
ST.J2 小时前
swing笔记
java·笔记
YF云飞2 小时前
数据仓库进化:Agent驱动数智化新范式
数据仓库·人工智能·ai