写在前面
欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～
Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章： 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群 （涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0
大家好，我是Rocky。
1. 核心导读：生成能力，也取决于模型被要求学习怎样的空间
训练一套潜空间扩散系统，工程上很容易形成一种分工：先把 VAE 训练好，再冻结它，后面的 DiT 或 SiT 负责学习潜变量分布。压缩模块把图像变小，生成模块把噪声变成图像，两部分接口清楚，潜变量还能提前缓存。这套方法支撑了潜空间生成模型的发展，也降低了大规模训练的组织难度。
但接口固定之后，一个问题被留在了系统内部：重建效果好的潜空间，是否也容易被生成模型学习？ VAE 擅长把输入压缩后还原，并不自动保证它形成的坐标系适合扩散 Transformer 建模。生成器可能把大量算力花在适应一个已经固定、却并不理想的表示空间上。
REPA-E 围绕这一矛盾展开。论文 REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers 首次发表于 2025 年 4 月，后被 ICCV 2025 接收。这里分析的是 arXiv:2504.10483v3。它让 VAE 与生成器共同调整，但对不同损失的梯度施加了明确约束：表征对齐损失可以更新 VAE，扩散损失只能更新生成器；VAE 同时保留重建与正则化约束。
图 1：论文的完整方法总览。左侧比较固定 VAE、直接联合优化和 REPA-E；右侧以训练步数与 FID 展示收敛差异。17×、45×对应作者在所示曲线上报告的同等质量训练进度比较。
Rocky认为，这项工作的核心价值，是把"模块之间应该怎样共同学习"变成一个可验证的研究问题。端到端优化是否有效，取决于目标、表示和梯度路径能否协同工作。只解除 requires_grad=False，远远不够。
下面区分三层证据：第一层是联合训练能否改善生成性能；第二层是这种训练是否留下了更有用的 VAE；第三层是这些收益能否迁移到新的生成器与任务。它们分别需要不同的对照实验，不能用一个最终 FID 同时代替。
2. REPA-E 的问题背景：重建、生成与潜空间结构
设图像为 x x x，VAE 编码器产生潜变量 z = E ϕ ( x ) z=E_\phi(x) z=Eϕ(x)，解码器负责将它还原为图像。常规训练冻结整个 VAE，只让生成模型学习 z z z 的分布。VAE 的主要考核是重建：是否保留对象、颜色、纹理和细节；生成模型的考核是从噪声出发，是否能覆盖数据分布并产生合理的新样本。
这两件事有关联，却不等价。一个潜空间可能携带足够多的信息，使解码器能够还原输入，同时包含难以建模的高频变化；另一种潜空间可能过度平滑，便于某些统计预测，却削弱生成所需的结构。单独优化一项重建指标，无法完整回答整个系统是否好训练。
图 2：不同 VAE 在联合训练前后的潜变量 PCA 可视化，以及 400K 步的生成 FID。SD-VAE 的 gFID 从 7.90 降到 4.07，IN-VAE 从 7.35 降到 4.09。这里的对照、模型与训练长度应跟随本图，不能与后面的 100K 步消融表混用。
PCA 把高维潜变量投影到三个通道，便于观察空间组织。图中 SD-VAE 经训练后显得更平滑，而一些原先过度平滑的表示增加了细节。这支持一种任务相关的解释：需要调整的是潜空间与生成器之间的适配关系，目标未必总是减少高频或提高平滑度。
不过，三通道投影只能提供定性线索。它没有保留全部维度，也没有直接测量"语义信息总量"。潜空间是否改善，仍需由下游生成、重建性能和控制变量实验共同判断。
3. REPA-E 为什么阻断扩散梯度：防止目标被改得过于容易
3.1 损失下降，可能来自潜变量退化
考虑加噪潜变量：
z t = α t z + σ t ϵ , ϵ ∼ N ( 0 , I ) . z_t=\alpha_t z+\sigma_t\epsilon,\qquad \epsilon\sim\mathcal N(0,I). zt=αtz+σtϵ,ϵ∼N(0,I).
如果编码器被冻结，生成器必须在既定分布上学习去噪。如果编码器也接收去噪损失梯度，优化器便多出一条路径：改变被学习的潜变量本身，使去噪问题变简单。
例如，当潜变量在空间上接近常量时，输入与噪声之间的关系可能更容易拟合。但这种"容易"可能以压缩有用信息为代价。论文在所测试的朴素联合训练方案中观察到明显退化，生成质量随之崩溃。这个结果揭示了目标设计的风险，不能扩展成"所有扩散损失参与的联合训练都不可能成功"的定理。
图 3：三个动机实验。左侧显示直接扩散梯度引起的潜空间结构变化；中间展示 CKNNA 与 gFID 的相关性；右侧显示让对齐梯度进入 VAE 后，表征相似性可以进一步提高。
表 10：潜空间退化的定量证据。 表号保留论文编号，提前放在这里解释失败机制。条件为 SD-VAE、SiT-XL/2、400K 步。
| Training Strategy | Spatial Variance | Total Variation |
|---|---|---|
| w/o E2E Tuning | 17.06 | 6627.35 |
| E2E w/ REPA Loss | 18.02 | 5516.14 |
| E2E w/ Diff. Loss | 0.02 | 89.80 |
朴素扩散梯度方案的空间方差降至 0.02，总变分降至 89.80；固定 VAE 对应 17.06 与 6627.35。REPA 对齐驱动的联合训练则保持了较高空间方差。这些数值支持"潜变量失去有效空间结构"的判断，但不能把空间方差本身直接当作生成质量目标。无限增大方差也不会自动得到好模型。
3.2 用语义表征作为引导，需要保留证据边界
REPA-E 借助冻结的视觉编码器，给训练过程引入来自干净图像的表征目标。CKNNA 衡量不同网络表示的邻域关系是否一致；论文发现它与较低 gFID 相关，因此把表征对齐当作改善生成的代理目标。
这里必须分清三个概念：CKNNA 是分析指标，训练损失使用 patch 级相似度，最终目标仍是生成性能。 相关曲线为方法提供动机，对照与消融实验增强了证据，却没有证明任何场景中最大化 CKNNA 都必然降低 FID。教师的语义偏好也可能遗漏文字、小目标和细粒度纹理。
4. REPA-E 的方法：让不同目标更新合适的模块
4.1 表征对齐损失穿过生成器，回到 VAE
令 f f f 为冻结的视觉编码器， y = f ( x ) y=f(x) y=f(x) 为干净图像的 patch 表征；生成模型参数为 θ \theta θ，VAE 参数为 ϕ \phi ϕ，投影头参数为 ω \omega ω。带噪潜变量经过生成器前若干层得到 h t h_t ht，再由可训练投影头匹配教师表示。
论文的表征对齐目标为：
L R E P A ( θ , ϕ , ω ) = − E x , ϵ , t 1 N ∑ n = 1 N s i m ( y \[ n , h ω ( h t n ) ) ] . \mathcal L_{\mathrm{REPA}}(\theta,\phi,\omega)=-\mathbb E_{x,\epsilon,t}\left\\frac{1}{N}\\sum_{n=1}\^{N}\\mathrm{sim}\\left(y\^{\[n},h_\omega(h_t^{n})\right)\right]. LREPA(θ,ϕ,ω)=−Ex,ϵ,tN1n=1∑Nsim(y\[n,hω(htn))].
N N N 是 patch 数，默认相似度是余弦相似度。与固定 VAE 的训练方式相比，关键变化体现在 ϕ \phi ϕ 上：改变编码器，会改变潜变量、带噪输入和中间表示，对齐误差因此能够提供更新编码器的方向。教师仍然冻结，避免目标跟随学生共同漂移。
这不是在要求 VAE 潜变量逐元素等于 DINOv2 特征。对齐发生在生成器内部表征的投影上，VAE 通过这一条计算路径获得间接监督。编码器还必须满足重建约束，不能只追求判别特征。
4.2 潜空间在变化，归一化统计也需要跟随
固定 VAE 可以使用预先估计的潜变量缩放系数；联合训练后，潜变量分布持续移动，原先的固定统计量可能过时。REPA-E 在 VAE 与生成器之间引入无可学习仿射参数的 BatchNorm，并维护均值、方差统计。
论文用 EMA 统计近似数据集级统计来解释设计。官方实现进一步显示：生成器训练分支使用 BatchNorm 的训练行为更新统计；给 VAE 计算对齐梯度时，将生成器切到 eval()，使用运行统计并避免该分支再次更新它们。因此，简单写成"所有前向都只用 EMA 均值与方差"不够精确。
多卡训练还涉及同步统计。复现时应保存 BN 状态，并与采样、反归一化和解码流程保持一致；只导出生成器权重、遗漏对应的潜空间统计，可能破坏整个接口。
4.3 重建约束给语义优化保留底线
论文把 VAE 正则项写为：
L R E G = L K L + L M S E + L L P I P S + L G A N . \mathcal L_{\mathrm{REG}}=\mathcal L_{\mathrm{KL}}+\mathcal L_{\mathrm{MSE}}+\mathcal L_{\mathrm{LPIPS}}+\mathcal L_{\mathrm{GAN}}. LREG=LKL+LMSE+LLPIPS+LGAN.
KL 约束后验分布，像素重建与 LPIPS 维持内容和感知保真，GAN 相关项约束重建结果的视觉分布。上式是论文的组成表达，不表示代码里四项都以权重 1 直接相加。
论文的总目标为：
L ( θ , ϕ , ω ) = L D I F F ( θ ) + λ L R E P A ( θ , ϕ , ω ) + η L R E G ( ϕ ) . \mathcal L(\theta,\phi,\omega)=\mathcal L_{\mathrm{DIFF}}(\theta)+\lambda\mathcal L_{\mathrm{REPA}}(\theta,\phi,\omega)+\eta\mathcal L_{\mathrm{REG}}(\phi). L(θ,ϕ,ω)=LDIFF(θ)+λLREPA(θ,ϕ,ω)+ηLREG(ϕ).
总公式看起来很简洁，真正决定行为的是各项的梯度范围。扩散项只更新生成器；对齐项更新生成器、投影头及 VAE 编码路径；重建相关目标更新 VAE，判别器另有自身的优化步骤。
4.4 官方训练代码怎样实现这种梯度分工
在核对的官方提交 2ad4e9f69234c109497fb41d3e5e555de7b4b0de 中，train_repae.py 采用分阶段更新。先冻结 SiT 参数，以可微的 SiT 前向计算 VAE 对齐损失，加上重建目标更新 VAE；随后更新判别器；最后恢复 SiT 参数梯度，用 z.detach() 计算去噪与对齐损失，更新 SiT。两个分支复用采样时间与噪声。
一个很容易写错的细节是：冻结 SiT 参数，不等于把整个 SiT 前向放进 no_grad()。 VAE 分支仍需要经过 SiT 的输入梯度，才能把对齐信号传回编码器；no_grad() 会把这条路径一并切断。
此外，论文将像素重建项写作 MSE，而发布代码默认配置 l1_lpips_kl_gan.yaml 选择的是 L1，并单独设置感知、GAN 和 KL 权重。论文给出生成器对齐系数 0.5、VAE 对齐系数 1.5，代码也分别暴露两个参数。复现记录应注明使用论文配方还是当前代码默认值，不能把它们描述成完全相同的单一配置。
5. REPA-E 的训练收益：先看同预算，再看同质量
主实验使用 ImageNet 256×256、batch size 256、AdamW、学习率 10 − 4 10^{-4} 10−4，在 8 张 H100 上训练。评测以 50K 生成样本计算 gFID、sFID、IS、precision 与 recall；默认采样采用 SDE Euler--Maruyama，250 步。
表 1：联合训练的主要生成结果，无 CFG。 保留完整对照，SD-VAE 的星号表示训练中更新 VAE。
| Method | Tokenizer | Epochs | gFID↓ | sFID↓ | IS↑ |
|---|---|---|---|---|---|
| Without End-to-End Tuning | |||||
| MaskDiT | SD-VAE | 1600 | 5.69 | 10.34 | 177.9 |
| DiT | SD-VAE | 1400 | 9.62 | 6.85 | 121.5 |
| SiT | SD-VAE | 1400 | 8.61 | 6.32 | 131.7 |
| FasterDiT | SD-VAE | 400 | 7.91 | 5.45 | 131.3 |
| REPA | SD-VAE | 20 | 19.40 | 6.06 | 67.4 |
| REPA | SD-VAE | 40 | 11.10 | 6.06 | 67.4 |
| REPA | SD-VAE | 80 | 7.90 | 5.06 | 122.6 |
| REPA | SD-VAE | 800 | 5.90 | 5.73 | 157.8 |
| With End-to-End Tuning (Ours) | |||||
| REPA-E | SD-VAE* | 20 | 12.83 | 5.04 | 88.8 |
| REPA-E | SD-VAE* | 40 | 7.17 | 4.39 | 123.7 |
| REPA-E | SD-VAE* | 80 | 4.07 | 4.60 | 161.8 |
在 100K、200K、400K 步附近，REPA-E 的 gFID 分别为 12.83、7.17、4.07；对应 REPA 为 19.40、11.10、7.90。这是一条直接的同预算证据：在相同量级的更新次数下，联合训练得到更好的分布指标。400K 步的 4.07 还优于 REPA 4M 步的 5.90，说明收益并非只发生在训练开端。
但"17×、45×"必须跟随论文图 1 的曲线交点理解，它们衡量达到相应 FID 水平所需的训练进度。400K 对 4M 的数字直接构成 10 倍步数差，不能把这一组数字改写成 17 倍。 更不能把步数倍率写成同倍率的 GPU 小时节省：联合训练多了 VAE、判别器及额外的生成器前向反向，单步成本发生了变化。
论文表 1 在 REPA 的 40-epoch 行给出的 sFID、IS 为 6.06、67.4，表 7 的对应 200K 行则为 5.05、100.4。本文保留各表数值并指出不一致；核心 gFID 11.10 一致，关于加速的分析以 gFID 与明确训练条件为依据，不拼接一行"更好看"的结果。
图 4：相同种子、初始噪声和类别下，REPA-E 与 REPA 在 50K、100K、400K 步的样例。这里使用 CFG=4.0，与表 1 的无 CFG 定量评测不同。
视觉对照有助于观察对象结构何时形成、细节怎样演化。同噪声与同类别减少了部分比较干扰，但样例依然没有给出完整失败率。结论应由大样本指标与定性结果共同支撑。
图 5：E2E-VAE 与 SiT-XL 的 ImageNet 256×256 生成样例，CFG=4.0。展示可达到的视觉表现，不代表本文独立运行模型后的实测。
6. REPA-E 的消融证据：哪些改善成立，哪些指标仍有取舍
除特别说明，消融采用 SiT-L、SD-VAE、DINOv2-B、第 8 层对齐，训练 100K 步且不使用 CFG。表中基线已经使用 REPA，所以收益是在这一较强基线上增加端到端调整所得到的。
表 2：模型规模变化。
| Diff. Model | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| SiT-B (130M) | 49.5 | 7.00 | 27.5 | 0.46 | 0.59 |
| +REPA-E (Ours) | 34.8 | 6.31 | 39.1 | 0.57 | 0.59 |
| SiT-L (458M) | 24.1 | 6.25 | 55.7 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.3 | 5.69 | 75.0 | 0.68 | 0.60 |
| SiT-XL (675M) | 19.4 | 6.06 | 67.4 | 0.64 | 0.61 |
| +REPA-E (Ours) | 12.8 | 5.04 | 88.8 | 0.71 | 0.58 |
从 SiT-B 到 SiT-XL，gFID 均改善；XL 的 recall 从 0.61 变为 0.58，也提醒我们不能把"gFID 更低"扩展成每一项指标都提高。生成质量、覆盖度与类别多样性应分别观察。
表 3：不同教师表征。
| Target Repr. | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| I-JEPA-H | 23.0 | 5.81 | 60.3 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.5 | 5.18 | 73.6 | 0.68 | 0.60 |
| CLIP-L | 29.2 | 5.98 | 46.4 | 0.59 | 0.61 |
| +REPA-E (Ours) | 23.4 | 6.44 | 57.1 | 0.62 | 0.60 |
| DINOv2-B | 24.1 | 6.25 | 55.7 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.3 | 5.69 | 75.0 | 0.68 | 0.60 |
| DINOv2-L | 23.3 | 5.89 | 59.9 | 0.61 | 0.60 |
| +REPA-E (Ours) | 16.0 | 5.59 | 77.7 | 0.68 | 0.58 |
I-JEPA、CLIP 与 DINOv2 都得到 gFID 收益，说明效果不局限于唯一教师。但 CLIP-L 的 sFID 从 5.98 变为 6.44，结构分布指标出现退步。教师选择仍是任务依赖的设计变量。
表 4：不同 VAE。
| Autoencoder | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| SD-VAE | 24.1 | 6.25 | 55.7 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.3 | 5.69 | 75.0 | 0.68 | 0.60 |
| IN-VAE (f16d32) | 22.7 | 5.47 | 56.0 | 0.62 | 0.62 |
| +REPA-E (Ours) | 12.7 | 5.57 | 84.0 | 0.69 | 0.62 |
| VA-VAE | 12.8 | 6.47 | 83.8 | 0.71 | 0.58 |
| +REPA-E (Ours) | 11.1 | 5.31 | 88.8 | 0.72 | 0.61 |
SD-VAE、IN-VAE、VA-VAE 的 gFID 分别由 24.1、22.7、12.8 降到 16.3、12.7、11.1。基线越好时绝对收益可能缩小；IN-VAE 的 sFID 也有小幅反向变化。这些结果支持多种潜空间上的适用性，并未建立对所有 tokenizer 的普适保证。
表 5：对齐层深。
| Aln. Depth | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| 6th layer | 23.0 | 5.72 | 59.2 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.4 | 6.64 | 74.3 | 0.67 | 0.59 |
| 8th layer | 24.1 | 6.25 | 55.7 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.3 | 5.69 | 75.0 | 0.68 | 0.60 |
| 10th layer | 23.7 | 5.91 | 56.9 | 0.62 | 0.60 |
| +REPA-E (Ours) | 16.2 | 5.22 | 74.7 | 0.68 | 0.58 |
第 6、8、10 层都出现 gFID 改善。第 8 层是论文默认配置，表中最小 gFID 16.2 则出现在第 10 层。不同指标排序不完全一致，复现和新任务探索不应把"默认"写成理论最优。
表 6：关键组件消融。
| Component | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| w/o stopgrad | 444.1 | 460.3 | 1.49 | 0.00 | 0.00 |
| w/o batch-norm | 18.1 | 5.32 | 72.4 | 0.67 | 0.59 |
| w/o L_GAN | 19.2 | 6.47 | 68.2 | 0.64 | 0.58 |
| REPA-E (Ours) | 16.3 | 5.69 | 75.0 | 0.68 | 0.60 |
去掉 stop-gradient 后 gFID 达到 444.1，是这组实验最强烈的失败信号。去掉 BN 或 GAN 项也让 gFID 变差，但 BN 缺失时 sFID 反而略低。组件价值需要按目标指标、稳定性和成本一起评估。
作为进一步对照，论文还比较了通过熵正则避免潜空间坍缩的 LSGM 目标。
表 11：不同端到端目标，SiT-XL、400K 步。
| Method | gFID ↓ | sFID ↓ | IS ↑ | Prec. ↑ | Rec. ↑ |
|---|---|---|---|---|---|
| REPA + E2E-Diffusion | 444.1 | 460.3 | 1.49 | 0.00 | 0.00 |
| REPA + E2E-LSGM | 9.89 | 5.07 | 107.5 | 0.72 | 0.61 |
| REPA-E (Ours) | 4.07 | 4.60 | 161.8 | 0.76 | 0.62 |
LSGM 在这里避免了朴素方案的灾难性结果，但 gFID 9.89 仍高于 REPA-E 的 4.07。这表明"防止坍缩"与"学到适合生成的表示"是不同要求；同时，这是一组指定配置下的比较，不足以裁定 LSGM 在所有设置下的能力上限。
表 7：VAE 从头训练与预训练初始化。
| Method | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| 100K Iterations (20 Epochs) | |||||
| REPA | 19.40 | 6.06 | 67.4 | 0.64 | 0.61 |
| REPA-E (scratch) | 14.12 | 7.87 | 83.5 | 0.70 | 0.59 |
| REPA-E (VAE init.) | 12.83 | 5.04 | 88.8 | 0.71 | 0.58 |
| 200K Iterations (40 Epochs) | |||||
| REPA | 11.10 | 5.05 | 100.4 | 0.69 | 0.64 |
| REPA-E (scratch) | 7.54 | 6.17 | 120.4 | 0.74 | 0.61 |
| REPA-E (VAE init.) | 7.17 | 4.39 | 123.7 | 0.74 | 0.62 |
| 400K Iterations (80 Epochs) | |||||
| REPA | 7.90 | 5.06 | 122.6 | 0.70 | 0.65 |
| REPA-E (scratch) | 4.34 | 4.44 | 154.3 | 0.75 | 0.63 |
| REPA-E (VAE init.) | 4.07 | 4.60 | 161.8 | 0.76 | 0.62 |
400K 步时，从头训练 VAE 与生成器得到 gFID 4.34，使用预训练 VAE 初始化得到 4.07。这个结果减少了对单独 VAE 训练阶段的依赖。但"从头训练"指 VAE 和生成器；冻结的视觉教师仍携带预训练知识，不能把它写成整个系统不使用外部预训练。
7. REPA-E 留下了什么：可以复用的潜空间，比一次联合训练更值得研究
图 6：不同预训练 VAE 的潜空间 PCA，以及端到端调整后的变化。它帮助观察结构变化；生成质量和重建质量仍需独立测量。
论文先用 REPA-E 调整 VA-VAE，再冻结得到的 E2E-VAE，训练新的生成器。这项实验把"当前生成器训练更好"与"tokenizer 本身变得更适合生成"分开。
表 8：冻结不同 VAE 后，重新训练生成器的结果，400K 步。
| VAE | Diffusion model | REPA | gFID-50K |
|---|---|---|---|
| SD-VAE | DiT-XL | × | 19.82 |
| VA-VAE | DiT-XL | × | 6.74 |
| E2E-VAE (Ours) | DiT-XL | × | 6.75 |
| SD-VAE | SiT-XL | × | 17.20 |
| VA-VAE | SiT-XL | × | 5.93 |
| E2E-VAE (Ours) | SiT-XL | × | 5.26 |
| SD-VAE | DiT-XL | ✓ | 12.29 |
| VA-VAE | DiT-XL | ✓ | 4.71 |
| E2E-VAE (Ours) | DiT-XL | ✓ | 4.20 |
| SD-VAE | SiT-XL | ✓ | 7.90 |
| VA-VAE | SiT-XL | ✓ | 4.88 |
| E2E-VAE (Ours) | SiT-XL | ✓ | 3.46 |
当 SiT-XL 配合 REPA 时，SD-VAE、VA-VAE、E2E-VAE 的 gFID 分别为 7.90、4.88、3.46。换成 DiT-XL 并使用 REPA，E2E-VAE 也得到 4.20，优于 VA-VAE 的 4.71。跨生成器仍有收益，为表示复用提供了证据。
这里也有一个值得保留的例外：没有 REPA 的 DiT-XL，VA-VAE 为 6.74，E2E-VAE 为 6.75，未显示优势。因此，应写"多数被测设置改善"，不宜声称所有组合均改善。
另一个工程边界更关键：这张表重新训练了生成器。 它不能证明把一个已部署模型的 VAE 权重直接替换掉，就能保持潜变量坐标兼容并无损升级。接口形状相同、能够成功解码，只是兼容性的一部分；潜分布和已有生成器的适配仍需检查。
表 9：完整系统比较，包含冻结 E2E-VAE 后的长期训练。
| Tokenizer | Method | Training Epoches | #params | rFID↓ | Generation w/o CFG ||||| Generation w/ CFG |||||
| Tokenizer | Method | Training Epoches | #params | rFID↓ |
|----------------|--------------|------------------|---------|-------|-------|-------|-------|--------|-------|------|------|-------|------|------|
| gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
| AutoRegressive (AR) |||||||||||||||
| MaskGiT | MaskGIT | 555 | 227M | 2.28 | 6.18 | - | 182.1 | 0.80 | 0.51 | - | - | - | - | - |
| VQGAN | LlamaGen | 300 | 3.1B | 0.59 | 9.38 | 8.24 | 112.9 | 0.69 | 0.67 | 2.18 | 5.97 | 263.3 | 0.81 | 0.58 |
| VQVAE | VAR | 350 | 2.0B | - | - | - | - | - | - | 1.80 | - | 365.4 | 0.83 | 0.57 |
| LFQ tokenizers | MagViT-v2 | 1080 | 307M | 1.50 | 3.65 | - | 200.5 | - | - | 1.78 | - | 319.4 | - | - |
| LDM | MAR | 800 | 945M | 0.53 | 2.35 | - | 227.8 | 0.79 | 0.62 | 1.55 | - | 303.7 | 0.81 | 0.62 |
| Latent Diffusion Models (LDM) |||||||||||||||
| SD-VAE | MaskDiT | 1600 | 675M | 0.61 | 5.69 | 10.34 | 177.9 | 0.74 | 0.60 | 2.28 | 5.67 | 276.6 | 0.80 | 0.61 |
| SD-VAE | DiT | 1400 | 675M | 0.61 | 9.62 | 6.85 | 121.5 | 0.67 | 0.67 | 2.27 | 4.60 | 278.2 | 0.83 | 0.57 |
| SD-VAE | SiT | 1400 | 675M | 0.61 | 8.61 | 6.32 | 131.7 | 0.68 | 0.67 | 2.06 | 4.50 | 270.3 | 0.82 | 0.59 |
| SD-VAE | FasterDiT | 400 | 675M | 0.61 | 7.91 | 5.45 | 131.3 | 0.67 | 0.69 | 2.03 | 4.63 | 264.0 | 0.81 | 0.60 |
| SD-VAE | MDT | 1300 | 675M | 0.61 | 6.23 | 5.23 | 143.0 | 0.71 | 0.65 | 1.79 | 4.57 | 283.0 | 0.81 | 0.61 |
| SD-VAE | MDTv2 | 1080 | 675M | 0.61 | - | - | - | - | - | 1.58 | 4.52 | 314.7 | 0.79 | 0.65 |
| Representation Alignment Methods |||||||||||||||
| VA-VAE | LightningDiT | 80 | 675M | 0.28 | 4.29 | - | - | - | - | - | - | - | - | - |
| VA-VAE | LightningDiT | 800 | 675M | 0.28 | 2.05 | 4.37 | 207.7 | 0.77 | 0.66 | 1.25 | 4.15 | 295.3 | 0.80 | 0.65 |
| SD-VAE | REPA | 80 | 675M | 0.61 | 7.90 | 5.06 | 122.6 | 0.70 | 0.65 | - | - | - | - | - |
| SD-VAE | REPA | 800 | 675M | 0.61 | 5.84 | 5.79 | 158.7 | 0.70 | 0.68 | 1.28 | 4.68 | 305.7 | 0.79 | 0.64 |
| E2E-VAE (Ours) | REPA | 80 | 675M | 0.28 | 3.46 | 4.17 | 159.8 | 0.77 | 0.63 | 1.67 | 4.12 | 266.3 | 0.80 | 0.63 |
| E2E-VAE (Ours) | REPA | 800 | 675M | 0.28 | 1.69 | 4.17 | 219.3 | 0.77 | 0.67 | 1.12 | 4.09 | 302.9 | 0.79 | 0.66 |
最终的 1.69（无 CFG）和 1.12（有 CFG），来自 E2E-VAE 配合 REPA 的 800-epoch 结果。它们不能与前面 SD-VAE 联合训练 400K 步得到的 4.07 混为同一次实验。该表还明确采用了类别均衡采样来评估 800 epochs 的表征对齐方法：1000 类各生成 50 张，共 50K 张。论文其他结果通常随机采样类别。
这个区别会影响 FID。与其他论文比较时，需要同时记录 tokenizer、生成器训练长度、是否 CFG、采样器和类别分配方式。论文发表时的最佳结果也不应脱离时间语境，被转述成当前所有模型的统一榜首。
重建指标并没有全部改善
表 14：ImageNet-256 的 VAE 重建评测。
| Autoencoder | PSNR↑ | SSIM↑ | LPIPS↓ | rFID↓ |
|---|---|---|---|---|
| SD-VAE | 25.67 | 0.72 | 0.13 | 0.74 |
| +REPA-E (Ours) | 24.84 | 0.71 | 0.15 | 0.53 |
| IN-VAE (f16d32) | 27.40 | 0.80 | 0.09 | 0.26 |
| +REPA-E (Ours) | 26.87 | 0.78 | 0.11 | 0.27 |
| VA-VAE | 26.32 | 0.76 | 0.11 | 0.28 |
| +REPA-E (Ours) | 26.25 | 0.75 | 0.11 | 0.28 |
SD-VAE 调整后 rFID 从 0.74 改善到 0.53，但 PSNR 从 25.67 降到 24.84，LPIPS 从 0.13 变为 0.15。IN-VAE 的 rFID 从 0.26 变为 0.27；VA-VAE 的 rFID 保持 0.28。合理结论是：联合训练提升了被测的生成适配性，并维持了有竞争力的重建水平；它没有让所有重建指标同时变好。
如果下游是图像编辑、医学影像或细字重建，这些变化可能比 ImageNet gFID 的改善更重要。任务验收应加入关键区域误差、文字可读性和编辑前后的一致性。
8. REPA-E 的迁移、复现与成本边界
表 12：ImageNet-512，SiT-L、100K 步、无 CFG。
| Method | gFID↓ | sFID↓ | IS↑ | Prec.↑ | Rec.↑ |
|---|---|---|---|---|---|
| REPA + SiT-L | 22.2 | 5.68 | 58.3 | 0.74 | 0.60 |
| REPA-E + SiT-L | 12.8 | 4.60 | 90.6 | 0.79 | 0.61 |
gFID 从 22.2 改善到 12.8，说明收益可延伸到被测的更高分辨率潜变量。这仍然是特定分辨率、模型和预算上的证据，不能直接外推到任意大尺寸、多帧视频或商业设计任务。
表 13：MS-COCO 文生图中的冻结 E2E-VAE 迁移。
| Sampler | ODE, NFE=50 | SDE, NFE=250 | ||
|---|---|---|---|---|
| gFID | VA-VAE | E2E-VAE | VA-VAE | E2E-VAE |
| gFID | 5.43 | 5.02 | 5.57 | 4.97 |
这一实验使用 MMDiT+REPA，训练 100K 步，CFG=2.0。ODE、NFE=50 的 FID 从 5.43 变为 5.02；SDE、NFE=250 从 5.57 变为 4.97。这里测量的是调整后的 VAE 对文生图训练的帮助，不能直接写成已经在完整文生图系统中复现了联合训练的 17×加速。
复现时，至少需要记录以下相互独立的条件：VAE 初始化及其通道数、下采样率；生成器 patch size 与教师 patch 对应；两个分支的对齐权重；BN 的训练与评估状态；图像重建损失具体版本；采样器与类别采样协议。论文实现段对下采样率与 /1、/2 的描述存在不一致，应以 tokenizer 的实际输出形状、官方配置和代码为准。例如 256×256 图像经 f8d4 得到 32×32×4 潜变量，使用 2×2 patch 后为 256 个 token；f16d32 则得到 16×16×32，以 1×1 patch 得到同样数量的 token。
端到端训练还改变了数据管线。固定 VAE 时可以提前缓存潜变量；VAE 持续更新时，旧缓存不再代表当前编码器，需要在线编码。增加的 VAE 前向反向、重建判别器以及两条生成器计算路径，都应计入实际 GPU 小时、显存与吞吐。
可以用下式核算目标质量处的端到端开销；这是工程成本表达，不是论文提供的测量结果：
T t a r g e t = T p r e p a r e + N t a r g e t τ s t e p + T e v a l u a t i o n . T_{\mathrm{target}}=T_{\mathrm{prepare}}+N_{\mathrm{target}}\,\tau_{\mathrm{step}}+T_{\mathrm{evaluation}}. Ttarget=Tprepare+Ntargetτstep+Tevaluation.
N t a r g e t N_{\mathrm{target}} Ntarget 是达到预设质量阈值的训练步数， τ s t e p \tau_{\mathrm{step}} τstep 是包含全部更新分支的平均单步耗时。只有它们与数据准备、评测开销一并测量，才能判断在自己的硬件和任务上到底节省了多少成本。
本文完成的是论文、图表和代码的交叉分析，没有执行 GPU 训练，也没有独立复现论文 FID。当前官方仓库还包含后续发布的文生图 VAE，其能力与兼容性应单独验证，不能倒灌成这篇论文已有的实验结论。
9. 围绕 REPA-E 继续研究：把接口质量变成系统能力
第一个方向是学习更细的梯度分工。当前方法通过 stop-gradient 给出清晰边界，未来可研究时间依赖的权重、参数子空间约束或更严格的潜空间信息约束。但任何"释放更多梯度"的设计，都应先检查是否重新引入目标退化。
第二个方向是教师与任务匹配。通用视觉教师能提供语义引导，文档、商品、人物和视频各自需要的结构却不同。值得验证多教师、多尺度或区域加权对齐能否改善关键失败模式，同时保留重建和细节。
第三个方向是潜空间接口的可迁移性。E2E-VAE 的实验提示，联合优化获得的表示可以成为后续训练资产；更进一步的研究应量化它在不同生成器、数据分布、条件控制与编辑流程中的收益，尤其检查新 tokenizer 与既有模型之间的适配成本。
对算法工程师，这意味着需要把 tokenizer、生成器和评测协议一起看；对产品团队，应该把质量改进转化为具体任务的训练成本、失败率和可用性；对创业者与投资人，单一损失项的创新并不自动形成业务优势，可持续价值仍来自数据、可靠复现和交付能力。
Rocky认为，REPA-E 留下的跨周期认知，是生成系统的模块边界也可以被优化，而梯度路径必须服务于最终目标。 当研究进入系统层面，判断一个中间表示"好不好"，需要同时回答它保存了什么、下游能否学会，以及这种改善付出了什么代价。
10. REPA-E 术语与概念速查
| 概念 | 在本文中的准确含义 |
|---|---|
| REPA-E | 使用表征对齐驱动 VAE 与潜空间生成器联合调整的训练配方 |
| E2E-VAE | 经 REPA-E 调整后得到、可用于后续训练的 VAE；不等同于训练配方本身 |
| Stop-gradient | 阻止特定损失更新上游参数，同时保留其他损失的有效梯度路径 |
| CKNNA | 衡量不同网络表示的近邻关系一致性的分析指标；不同于训练中的余弦损失 |
| gFID / rFID | 分别衡量生成图像与重建图像的分布差异，两个评测任务不同 |
| 类别均衡采样 | ImageNet 1000 类各生成相同数量样本；区别于随机类别采样 |
| CFG / NFE | 条件与无条件预测组合的引导策略 / 模型函数评估次数 |
推荐阅读
1. 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2025年可以说是AI Agent全面落地应用的元年，因此Rocky在持续撰写对AI Agent的全维度解析文章：
深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解，同时不断跟进补充扩散模型的最新技术发展，希望能给大家带来帮助：
深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
3. 入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
Rocky对AIGC时代"中场时刻"之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解，力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值：
入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
5. 深入浅出完整解析DeepSeek系列核心基础知识
Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析：
6. 深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
7. 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
8. 深入浅出完整解析Stable Diffusion（SD）核心基础知识
Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion（SD）核心基础知识
9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析，包括其在传统深度学习中的价值和在AIGC中的价值：
深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
10. 深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
对于AIGC时代中的"ResNet"------LoRA模型，Rocky进行了深入浅出的全面讲解：
深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
11. 深入浅出完整解析ControlNet核心基础知识
AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心，ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。
ControlNet正是让AI图像创作社区无比繁荣的关键一环，它让AIGC图像创作过程更加的可控，更有助于广泛地将AIGC算法解决方案应用到各行各业中：
12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
AI绘画和AI视频是两个互相促进、相互交融的领域，2024年无疑是AI视频领域的爆发之年，Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析：
深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
13. 深入浅出完整解析AIGC时代Transformer核心基础知识
在AIGC时代中，Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向，成为AI技术架构大一统与多模态整合的关键核心基座，大有一统"AI江湖"之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析：
深入浅出完整解析AIGC时代Transformer核心基础知识
14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
AIGC创作框架正是AIGC算法工作流的运行载体，目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等 。在传统深度学习时代，PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架，到了AIGC时代，Rocky相信ComfyUI就是AIGC时代的"PyTorch"、Stable Diffusion WebUI就是AIGC时代的"TensorFlow"、Diffusers就是AIGC时代的"Caffe"：
深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
在AIGC时代中，如何快速转身，入局AIGC产业？如何成为AIGC/LLM/AI Agent算法/开发工程师？如何在学校中系统性学习AIGC/LLM/AI Agent知识，斩获心仪的AIGC/LLM/AI Agent算法/开发offer？
Don't worry，Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍，为大家答疑解惑，希望能给大家带来帮助：
手把手教你成为AIGC/LLM/AI Agent算法/开发工程师，斩获AIGC/LLM/AI Agent算法/开发offer！
16. AIGC产业的深度思考与分析
2023年3月21日，微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示，自从1980年首次看到图形用户界面（graphical user interface）以来，以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。
Rocky也认为，AIGC及其生态，会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期，未来随着AIGC的全面落地和深度商用，会深刻改变我们的工作、生活、学习以及交流方式，各行各业都将被重新定义，过程会非常有趣。
那么，在此基础上，我们该如何更好的审视AIGC的未来？我们该如何更好地拥抱AIGC引领的革新？Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点，希望能帮助各位读者对AIGC有一个全面的了解：
深入浅出全面解析AIGC时代核心价值与发展趋势（2025年版）
17. AI算法工程师的独孤九剑秘籍
为了方便大家实习、校招以及社招的面试准备，同时帮助大家提升扩展技术基本面，Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:
【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍（持续更新中）
18. 深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识
GAN系列模型作为传统深度学习时代的最热门生成式Al模型，在AIGC时代继续繁荣，作为Stable Diffusion/FLUX系列大模型的"得力助手"，广泛活跃于AlGC图像创作的产品与工作流中：
深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识