LLM论文笔记 27: Looped Transformers for Length Generalization

  • Arxiv日期:2024.9.25

关键词

  • 长度泛化

  • transformer结构优化

核心结论

  1. RASP-L限制transformer无法处理包含循环的任务的长度泛化

  2. Loop Transformer显著提升了长度泛化能力

  • Input Injection显著提升了模型的长度泛化性能,尤其在二进制加法等复杂任务上效果显著

  • 在推理中,通过输出置信度判断迭代停止点的策略能够实现接近最佳的性能

主要方法

Transformer在长度泛化(length generalization)上表现有限,尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构(Looped Transformers),通过循环处理增加模型对输入长度的适应能力。

n-RASP-L问题 :(=n循环RASP-L问 题)定义了一类任务,这些任务可以通过多次迭代应用某些基础操作(RASP-L操作)来解决。这些任务包括复制、求和、二进制加法等。

本质上是将内部无法处理的循环替换到外部,做到"n次transformer"

注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文

相关推荐
希和20272 分钟前
代码小白笔记:蓝桥杯彩灯控制代码逐段讲解
笔记·mongodb·蓝桥杯
Summer-Bright6 分钟前
企业落地智能体,供应链签名还是空白:1862 个 MCP 服务器无认证裸奔
服务器·人工智能·github·mcp
ZhengEnCi26 分钟前
Agent 只输出计划不调用工具怎么办:从终止信号错位到结果验收的四层防线
人工智能·agent
希和202733 分钟前
江科大 51 单片机课程笔记:XPT2046 触摸/AD 采集与 LCD1602 显示
笔记·单片机·mongodb
xsd2024111839 分钟前
把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路
人工智能
AI源码39 分钟前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子1 小时前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能
大模型真好玩2 小时前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi2 小时前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手2 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型