FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS

本文是LLM系列文章,针对《FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS》的翻译。

语言模型中的冻结Transformer是有效的视觉编码器层

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 方法:用于视觉编码的冷冻LLMTransformer](#3 方法:用于视觉编码的冷冻LLMTransformer)
  • [4 LLMTransformer在视觉任务中的适用性](#4 LLMTransformer在视觉任务中的适用性)
  • [5 面向可视化任务的LLMTransformer分析](#5 面向可视化任务的LLMTransformer分析)
  • [6 信息过滤假设](#6 信息过滤假设)
  • [7 结论](#7 结论)

摘要

本文揭示了大型语言模型(LLM),尽管仅根据文本数据进行训练,但在没有语言的情况下,对于纯视觉任务来说,它是令人惊讶的强大编码器。更有趣的是,这可以通过一种简单但以前被忽视的策略来实现------使用来自预训练LLM的冻结transformer块作为组成编码器层来直接处理视觉标记。我们的工作突破了利用LLM进行计算机视觉任务的界限,大大偏离了传统实践,传统实践通常需要多模式视觉语言设置以及相关的语言提示、输入或输出。我们证明,我们的方法在各种任务中始终提高了性能,包括纯2D和3D视觉识别任务(例如,图像和点云分类)、时间建模任务(例如动作识别)、非语义任务(例如运动预测)和多模态任务(例如,2D/3D视觉问答和图像文本检索)。这种改进是一种普遍现象,适用于各种类型的LLM(例如LLaMA和OPT)和不同的LLMtransformer块。我们还提出了信息过滤假设,以解释预训练LLM在视觉编码中的有效性------预训练的LLMtransformer块识别信息性视觉标记,并进一步放大其效果。这一假设得到了经验上的支持,即在用LLMtransformer块训练后,特征激活对相关区域表现出更强的关注。我们希望我们的工作能激发我们对利用LLM的新观点,并加深我们对其潜在机制的理解。代码在https://github.com/ziqipang/LM4VisualEncoding可见.

1 引言

2 相关工作

3 方法:用于视觉编码的冷冻LLMTransformer

4 LLMTransformer在视觉任务中的适用性

5 面向可视化任务的LLMTransformer分析

6 信息过滤假设

7 结论

讨论和限制 。我们已经验证了经过预训练的冻结语言Transformer在各种视觉任务中的能力。值得注意的是,我们的目标是有条不紊地探索这个调查不足的问题。因此,我们的实验旨在在与公认或有竞争力的基线进行公平比较的情况下,最大限度地提高任务的多样性,而不是为所有任务争取最先进的性能,这也受到我们计算资源的限制。我们把所有任务的实验规模扩大到最先进的水平作为有趣的未来工作。同时,我们还注意到,我们的信息过滤假设没有涵盖几个有趣的问题,例如,如何量化不同层的功能,以及分析训练过程如何促进视觉表征特征与语言transformer的合作,这些也是有意义的方向。
结论。在这项工作中,我们探索了大型语言模型(LLM)作为视觉任务编码器的意外能力,这与它们传统的基于文本的应用程序有很大不同。通过将来自预训练LLM的冻结Transformer块无缝集成到视觉编码器中,我们观察到,在2D图像和视频分类、3D点云识别、非语义运动预测以及2D和3D视觉语言任务等各种视觉挑战中,性能都得到了一致的增强。这一现象以我们提出的信息过滤假设为基础,突出了LLM对更一般的表征学习的内在适应性和多功能性。我们希望我们的见解将促进对LLM应用未知领域的进一步探索,并促进创新战略,以新颖的方式利用其潜力。

相关推荐
VIP_CQCRE7 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷8 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我8 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁018 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java9 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn9 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄9 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下10 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码10 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下11 小时前
langgraph 全栈项目(二)
前端·人工智能·后端