LSTM卷土重来之Vision-LSTM横空出世！！

在Transformer诞生三年后，谷歌将这一自然语言处理的重要研究扩展到了视觉领域，也就是Vision Transformer。

论文链接：https://arxiv.org/abs/2406.04303

项目链接: https://nx-ai.github.io/vision-lstm/

没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：

随后，ViT被广泛用作计算机视觉中的通用骨干。

这种跨界应用同样适用于最近发布的xLSTM。

享誉数十年的LSTM最近被扩展为一个可扩展且性能优良的架构------xLSTM，通过指数门控和可并行化的矩阵内存结构克服了LSTM长期存在的限制。

现在，这一成果已经扩展到视觉领域。

在最近的论文中，Sepp Hochreiter等人推出了Vision-LSTM（ViL）。ViL包含一系列xLSTM块，其中奇数块从上到下处理补丁token序列，偶数块则从下到上处理。

作者希望新架构能够撼动Transformer在语言模型领域的统治地位。

「我们的新架构优于基于SSM的视觉架构，也优于ImageNet-1K分类中的优化ViT模型。值得注意的是，在公平的比较中，ViL的表现优于经过多年超参数调整和Transformer改进的ViT训练pipeline。」

对于需要高分辨率图像以获得最佳性能的任务，如语义分割或医学成像，ViL极具应用潜力。

在这些情况下，Transformer因自注意力的二次复杂性而导致计算成本较高，而ViL的线性复杂性不存在这种问题。

Vision-LSTM（ViL）是一个用于计算机视觉任务的通用骨干，它基于xLSTM块的残差构建。

与ViT类似，ViL首先通过共享线性投影将图像分割成非重叠的补丁，然后向每个补丁token添加可学习的定位嵌入。

ViL的核心是交替的mLSTM块，这些块是完全可并行化的，并配备了矩阵内存和协方差更新规则。

奇数mLSTM块从左上到右下处理补丁token，而偶数块则从右下到左上处理。

研究团队在ImageNet-1K上进行了实验：该数据集包含130万张训练图像和5万张验证图像，每张图像属于1000个类别之一。

对比实验集中在使用序列建模骨干的模型上，这些模型在参数数量大致相当的情况下是可比较的。

他们在224x224分辨率上训练ViL模型，使用余弦衰减调度，1e-3的学习率训练了800个周期（tiny, tiny+）或400个周期（small, small+, base）。

该团队还探索了四向设计，这指的是按行（两个方向）和按列（两个方向）遍历序列。双向仅按行遍历序列（两个方向）。

ViL 块的不同方式：

更多研究细节，请参考原论文。