LLM论文笔记 27: Looped Transformers for Length Generalization

  • Arxiv日期:2024.9.25

关键词

  • 长度泛化

  • transformer结构优化

核心结论

  1. RASP-L限制transformer无法处理包含循环的任务的长度泛化

  2. Loop Transformer显著提升了长度泛化能力

  • Input Injection显著提升了模型的长度泛化性能,尤其在二进制加法等复杂任务上效果显著

  • 在推理中,通过输出置信度判断迭代停止点的策略能够实现接近最佳的性能

主要方法

Transformer在长度泛化(length generalization)上表现有限,尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构(Looped Transformers),通过循环处理增加模型对输入长度的适应能力。

n-RASP-L问题 :(=n循环RASP-L问 )定义了一类任务,这些任务可以通过多次迭代应用某些基础操作(RASP-L操作)来解决。这些任务包括复制、求和、二进制加法等。

本质上是将内部无法处理的循环替换到外部,做到"n次transformer"

注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文

相关推荐
明天再做行么19 分钟前
AI产品经理学习资料
人工智能·产品经理
cetcht888824 分钟前
从 “有人值守” 到 “少人运维”:智能巡检机器人重塑配电室管理模式
大数据·运维·人工智能·机器人
yuxb7327 分钟前
华为云学习笔记(1):ECS 实例操作与密钥登录实践
笔记·学习·华为云
阿正的梦工坊27 分钟前
介绍 SWE-bench:语言模型能否解决真实世界的 GitHub 问题?
人工智能·语言模型·github
红苕稀饭66636 分钟前
MotionSight论文阅读
论文阅读
yuxb7338 分钟前
华为云学习笔记(四):运维类服务与企业网站上云实践
笔记·学习·华为云
嘀咕博客43 分钟前
月匣 - 百度推出的AI情感陪伴与剧情互动应用
人工智能·百度·ai工具
新加坡内哥谈技术1 小时前
Claude Code 的“AI优先”
人工智能
要做朋鱼燕1 小时前
ARM CoreSight:多核SoC调试追踪架构解析
开发语言·笔记·职场和发展·嵌入式·嵌入式软件
豆芽8191 小时前
模糊控制Fuzzy Control
人工智能·算法·模糊控制