transformer 优化笔记 持续更新

目录

[方案2:安装 xformers(推荐)](#方案2:安装 xformers(推荐))

[🚀 核心作用:更高效地计算注意力](#🚀 核心作用:更高效地计算注意力)

xfusers

[💡 为什么需要 xfusers?](#💡 为什么需要 xfusers?)


方案2:安装 xformers(推荐)

复制代码

pip install xformers

然后代码里:

python 复制代码
torch.backends.cuda.enable_mem_efficient_sdp(True)

xformers 是一个由 Meta AI (Facebook Research) 开发的,专门用于优化和加速 Transformer 模型的高性能工具库。你可以把它理解为一套为 Transformer 模型设计的"性能改装件"。

它最核心的价值体现在两点:显著提升运行速度 和大幅降低显存占用。

🚀 核心作用:更高效地计算注意力

Transformer 模型中最消耗计算资源的环节就是"多头注意力"(Multi-Head Attention)机制。xformers 通过提供更优的计算方式,实现了"又快又省"。

核心优势 具体表现 实际价值
⚡ 更快的速度 使用了比如FlashAttention、内存高效注意力等优化的计算方式 能让你更快地训练模型 或更快地生成图片/文本,有时能带来数倍的加速
💾 更省的显存 采用融合算子(Fused Ops)、稀疏注意力等策略,大大降低计算过程中的显存开销 可以让你在有限的GPU显存下,运行更大的模型 ,或者生成更高分辨率的图像(如在Stable Diffusion中)

xfusers

xfusers 是一个专门用于大规模加速 Diffusion Transformer(DiT)模型推理 的高性能库。它和之前讨论的 xformers 算是"师出同门",但专注的方向很不一样:

  • xformers:主要优化单张显卡上的注意力机制计算,目标是让模型"跑得更快、更省显存"。

  • xfusers:主要解决如何在多张显卡上并行跑大模型的问题,目标是突破单卡显存和算力的极限。

简单来说,xformers 像给一辆车换上了更高效的发动机,而 xfusers 则是让你可以把好几辆车的动力并在一起,去拖动一个超级重的货柜。

💡 为什么需要 xfusers?

像 Flux、Stable Diffusion 3 这类最新的 DiT 模型,在处理高分辨率图像或长视频时,计算量会爆炸式增长,单张显卡可能"爆显存"或者速度极慢。

xfusers 的目标就是解决这个问题,它通过多种并行计算策略,把模型的计算任务拆分到多张GPU上同时进行。

相关推荐
努力写代码的熊大1 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记
蒸蒸yyyyzwd1 小时前
深搜广搜学习笔记
笔记·学习
小七在进步2 小时前
string的实现(3)
开发语言·c++·笔记·visual studio
叼烟扛炮3 小时前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain
渣渣盟3 小时前
狂命爆肝99天,共52K字的JAVA学习笔记奉上,JAVA从入门到精通一文搞定,一文在手JAVA无忧
java·笔记·学习
叼烟扛炮14 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
Rabitebla16 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
Flying Bear18 小时前
Keithley 2450 SourceMeter源表上位机开发笔记
笔记·单片机·嵌入式硬件
旖旎夜光18 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T19 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法