这篇论文来自斯坦福大学，作者包括李飞飞、吴佳俊等研究者，2026 年 10 月 16 日发布于 arXiv，目前提供的是预印本(2610.23653 A Language-Informed Loss for Visual Generation)。A Language-Informed Loss for Visual Generation
论文提出了一个叫 LILIE（Language-Informed and Lossless Image Encoder，语言引导的无损图像编码器） 的方法。
先给你一个最重要的结论：
这篇论文的核心创新不是设计一个更复杂的图像生成网络，而是重新思考：模型生成了一张图像以后，应该怎样衡量它生成得好不好，从而指导模型训练？
传统方法主要比较生成图像和真实图像之间的像素差异。作者认为，这种损失不能充分区分图像中不同错误的语义重要性。
于是提出：
先利用图像描述文本，训练一个既能保留全部图像信息、又受到语言语义监督的可逆编码器；再把这个编码器变成一种新的损失函数，指导图像生成模型训练。
在 11 亿参数的 JiT 图像生成模型上，LILIE 将 gFD 从 66.84 降低到 53.01，下降约 20.7%。这里的 gFD 是衡量生成图像分布与真实图像分布差异的指标，越低越好。
下面从零开始讲清楚它为什么这样设计、到底如何训练，以及创新在哪里。
一、作者究竟发现了什么问题？
1. 传统像素损失有什么缺陷？
假设我们有一张遥感影像，里面包含建筑物、道路、树木。
现在一个图像生成模型分别生成了两张存在错误的图像：
-
图像 A：某栋建筑物的形状明显发生改变。
-
图像 B：天空背景的颜色稍微发生改变。
假设它们与真实图像的像素误差恰好相等，使用均方误差 MSE 时，两者受到的惩罚就是一样的。
传统像素损失的公式为：
这个损失只关心数值差异，并不知道什么是建筑物、什么是天空。
但从图像语义来看，建筑物结构发生变化和天空颜色发生变化，重要程度可能完全不同。
论文第 2 页的 Figure 2 用飞机和云层说明了同样的问题：两种扰动具有相同的像素距离，但它们影响的图像内容不同。
2. 能否让损失函数理解图像中的内容？
作者的想法是：
既然语言能够描述图像中的主体、属性和关系，那么是否可以利用语言监督，让一个图像编码器学会组织图像信息，使得生成模型在这个特征空间中的误差更有意义？
例如，一段描述：
"三架飞机正在多云的天空中飞行。"
它包含的语义信息包括：
-
物体类别：飞机。
-
数量：三架。
-
场景：天空。
-
背景：云层。
-
关系：飞机在天空中飞行。
作者希望编码器在学习时更有利于保留这些与描述有关的信息。
但这里又出现一个新问题。
3. 为什么不能直接使用 CLIP、DINOv2 等语义编码器？
现有预训练视觉模型已经拥有很强的视觉特征提取能力，理论上可以直接比较：
问题在于，常规语义特征往往会主动忽略某些细节。
例如两张图像都包含一辆汽车，但汽车的纹理、局部颜色或微小边缘有所不同，它们仍然可能获得很接近的语义特征。
对图像分类来说，这是很好的性质；对要求精确恢复图像的生成任务来说，却可能产生问题。
因为：
作者希望同时满足两个目标：
第一，特征受到语言语义监督；第二，编码过程不丢失图像信息。
这就是 LILIE 的出发点。
二、整篇论文的方法框架
论文第 2 页 Figure 3 和第 4 页 Figure 4 展示了方法的两个阶段。
第一阶段：预训练 LILIE 编码器
第二阶段：训练图像生成模型
第二阶段 LILIE 权重冻结；不再使用第一阶段的 VLM。
理解这两个阶段非常重要：
第一阶段解决的是：如何学习一个好的图像误差度量空间？
第二阶段解决的是：如何使用这个空间指导生成模型？
注意，LILIE 不是用来替代 JiT 的图像生成主干，而是作为训练时提供监督信号的编码器。
三、第一阶段：LILIE 编码器到底怎么训练？
这是整篇论文最值得深入理解的部分。
3.1 为什么必须设计"可逆编码器"？
先解释一个概念：可逆映射（Invertible Mapping）。
普通编码器通常执行：
你可以把它想象成：
普通编码器像是提炼摘要，可能忽略某些细节。
LILIE 更像是重新组织一本书的全部内容------没有主动删除其中任何信息，但改变了信息的组织方式，让某些重要内容更容易被识别。
这里的"无损"是指编码器在数学结构上可逆，并不表示经过后续加噪声后仍能精确恢复原图。
3.2 LILIE 采用什么网络结构？
作者使用的是基于 Normalizing Flow（归一化流） 的 Improved TARFlow 结构，来自 BiFlow 的改进架构。
虽然名字里有 Flow，但这里并不是直接训练一个常规的概率密度生成模型。作者主要利用它的可逆计算结构。
看论文第 17 页的 Figure A.1。
为什么能够恢复？
因为计算第t 个 Patch 时需要的参数，只依赖前面的 Patch。只要前面的内容已经恢复，就能依次算出后面的内容。
论文还让相邻变换块使用交替的 Patch 顺序，使不同位置的信息能够在多个块中相互影响。
因此，LILIE 的可逆性主要由网络结构保证，而不是依靠一个额外的重建损失学出来的。
这是一个重要创新设计。
3.3 为什么经过编码器以后，还要人为添加高斯噪声？
这一点是整个方法的关键。
现在问题来了：为什么要主动破坏特征？
想象你是一名学生，老师让你看一张清晰的照片，然后回答照片里有什么。
这很容易，你可以依赖所有可见细节。
但如果老师把照片变模糊，要求你仍然识别主要内容，你就必须依赖那些更加稳定、具有辨识度的信息。
LILIE 做的事情类似。
训练目标要求 VLM 在接收到被高斯噪声污染的特征后，仍能正确预测图像描述。
为了帮助 VLM 完成任务，LILIE 会调整特征组织方式，使得对 Caption 预测有用的信息在噪声下更容易被保留和利用。
不过，这里需要严格区分：
作者并没有显式规定哪些特征代表"语义"、哪些特征代表"纹理"。所谓语言感知能力，是通过加噪 Caption 预测任务间接学习出来的。
而且，因为 VLM 也参与了训练，这实际是一个编码器与语言模型协同适应的过程。
3.4 VLM 如何提供监督？是不是用 CLIP 计算相似度？
不是。
论文使用 SmolVLM-256M 视觉语言模型。
它的训练任务是根据受噪声扰动的 LILIE 特征，预测真实 Caption 的文本 Token。
例如真实描述为：
"Two runners cross the finish line."
模型逐个预测文本 Token，并计算标准的 Next-Token Cross-Entropy（下一词预测交叉熵）。
可以写为：
这里还有一个值得注意的细节：第一阶段仅使用 Caption 交叉熵损失，没有另外添加像素重建损失或 CLIP 对比损失。
整个预训练完成后，作者丢弃 VLM，只保留 LILIE 编码器以及训练时统计得到的特征二阶矩。
也就是说，第二阶段的 LILIE Loss 不需要每次调用 VLM 来判断生成图像好不好。
这让它成为一个可以独立计算的图像特征损失。
3.5 第一阶段的归一化与第二阶段为什么不同？
这个细节容易被忽略。
第一阶段用每张图像自己的 RMS：
这是为防止编码器通过无限放大特征幅度来抵消噪声，并控制输入 VLM 的特征尺度。
但按每张图像自身的 RMS 归一化会丢掉整体尺度信息，因此整个归一化操作不保证可逆。
第二阶段不能直接这样做。
四、第二阶段：怎么利用 LILIE 训练图像生成模型？
第一阶段训练好了一个编码器：
4.1 JiT 本身在做什么？
JiT 是 Just Image Transformer，它是一种直接对图像像素进行去噪生成的 Transformer。
与 Stable Diffusion 之类常见的潜空间生成方法不同，这里的 JiT 不必先通过一个有损 VAE 将图像压缩到潜空间。
为了便于理解，可以把它看成一个输入带噪图像，直接预测干净图像的网络。
4.2 原来的 JiT 使用什么损失函数？
论文使用的 Pixel Loss 为：
你可以把这个公式理解为：
生成模型预测了一张干净图像，我们与真实图像比较，然后根据噪声时间给这次误差一个适当权重。
但它仍然主要比较像素值。
4.3 作者添加了什么？
LILIE Loss 为：
这是什么意思？
假设真实图像是一辆汽车，生成模型错误地生成了一辆局部形状不准确的汽车。
原来的 Pixel Loss 只能观察每个像素的数值差异。
加入 LILIE 以后，模型还需要让生成图像在经过语言监督训练的可逆编码器后，与真实图像的特征尽量一致。
这样，模型会同时收到两个层面的训练信号：像素数值误差与经过语言信息塑造的特征误差。
特别注意：
这不是直接计算生成图像与文本描述的相似度。
第二阶段损失比较的是：
而不是图像特征和 Caption 的文本特征。
语言的信息已经在第一阶段融入编码器参数中了。
4.4 LILIE 冻结以后，还能指导 JiT 更新吗？
可以，而且这正是深度学习中很重要的梯度传播知识。
训练时计算：
真实图像特征是目标，预测图像特征取决于 JiT 的输出。
所以：
冻结编码器并不等于切断梯度。
真正被优化的是生成模型，而不是已经训练好的 LILIE。
五、它最有价值的创新究竟是什么？
我认为有三个关键点。
创新一：把"语言监督"转化成"图像空间的误差度量"
以前的语言监督通常用于 CLIP 式图文对齐、图像理解或条件生成。
LILIE 则走了另一条路径：
语言先训练编码器，编码器再定义生成损失。
这实际上把语言知识转移到了一个可微分的图像度量空间中。
从数学角度看，这一点尤其值得研究。
假设模型生成图像与真实图像的差异为：
这是理解论文机制最深刻的一个数学视角：LILIE 实际上学到了一个依赖图像内容的局部误差几何结构。
但是要强调，这属于对论文方法的数学解释，并不意味着作者已经严格证明这个结构一定会放大所有语义错误。
论文第 9 页 Figure 9 提供了一个相关观察：接近真实数据时，在 \(t=0.99\) 的位置，LILIE 空间对残差的标准差放大约 4.9 倍。它支持特征空间能改变局部误差的敏感性，但不能单独证明所有类别的语义错误都被正确加权。
创新二：通过可逆性避免普通感知损失的信息丢失问题
假设普通视觉编码器把两张不同图像映射到相同特征：
这为仅使用特征空间损失训练像素生成模型提供了一个关键性质。
不过，可逆性只是保证零距离对应同一输入，并不保证优化过程容易，也不保证两个特征之间的欧氏距离一定符合人的视觉感受。
创新三：不是增加推理模块，而是在训练阶段改善监督
第一阶段需要 VLM 帮助训练编码器。
第二阶段只使用编码器计算损失。
最终进行文本生成图像时，JiT 不需要再运行 LILIE 来评分。
所以作者改变的是生成模型的学习过程，而不是往推理网络中插入一个新的视觉语言模块。
这也是这篇论文结构设计比较简洁的地方。
六、实验到底证明了什么？
论文第 6 页 Table 1 是最重要的实验表。
6.1 主实验：LILIE 是否真的有效？
JiT-T2I-g，11 亿参数，GPIC Test-50K，训练一个 epoch。gFD 越小越好。
| 训练损失 | gFD ↓ | 相对 Pixel |
|---|---|---|
| Pixel | 66.84 | 基准 |
| 仅 LILIE | 55.78 | 改善 |
| Pixel + LILIE | 53.01 | 改善约 20.7% |
| Pixel + LPIPS | 48.65 | 更优 |
| Pixel + DINOv2 | 47.88 | 更优，但不符合 GPIC 协议 |
这些结果说明三个事实。
首先，LILIE 确实明显优于仅使用像素损失的基线。
其次，即使完全去掉 Pixel Loss，单独使用 LILIE Loss，模型仍然可以获得比 Pixel 基线更好的生成结果。这一点是论文的重要证据。
第三，LILIE 并不是所有对比方法中生成质量最好的。 在相同的一轮训练预算下，Pixel+LPIPS 的 gFD 为 48.65，优于 Pixel+LILIE 的 53.01，而且 LPIPS 也符合论文采用的 GPIC 评测协议。
DINOv2 的结果更低，但作者明确指出，其预训练数据和评测协议问题使其不能成为完全受控的公平比较。
因此，这篇论文最值得认可的贡献不是"超过了所有感知损失"，而是：
它证明可以利用语言监督学习一个可逆特征空间，并仅依靠这个空间中的特征误差来有效训练图像生成模型。
6.2 为什么说语言监督真的有作用？
这里有一个非常重要的消融实验，在第 7 页 Figure 6。
作者设计了三种情况。
Caption 真实性消融实验
JiT-T2I-XL，GPIC Test-50K，gFD 越低越好
三组生成模型的主要区别在于 LILIE 是否受到真实语言描述的监督。
随机 Caption 版本保留描述长度等设置，只将训练编码器时的文本目标随机化。
结果发现：
真实 Caption 能显著改善生成质量，而随机 Caption 不但没有帮助，甚至略差于 Pixel 基线。
这表明改善并不是单纯因为增加了一个可逆网络和一项特征损失，真实图像描述携带的信息确实是有效监督的重要来源。
6.3 为什么添加高斯噪声很重要？
附录 C 还有一个非常关键的消融实验。
作者在 LILIE 编码器训练时尝试不同噪声强度：
受噪声扰动后仍要恢复语义描述的训练机制，非常重要。
但噪声也不是越大越好。作者最终使用 0.25，并没有观察到继续提高噪声强度能带来更好的最佳混合损失结果。
6.4 模型必须很大才能有效吗？
不需要特别大的 LILIE 编码器。
论文在第 9 页比较了不同的编码器规模。
| LILIE 编码器 | 参数量 | JiT-T2I-g gFD ↓ |
|---|---|---|
| 无 LILIE，Pixel 基线 | --- | 101.66 |
| LILIE-µ | 1.5M | 84.66 |
| LILIE-T | 9.1M | 80.87 |
| LILIE-S | 32M | 76.59 |
这里使用的是训练 200K steps 的消融实验，不能与前面的完整训练结果直接比较。
这说明即使仅有 150 万参数的编码器，也能为大规模生成模型提供有用的监督信号。
在作者测试的范围内，扩大编码器规模和增加其预训练数据，仍能进一步改善生成结果。
6.5 文本与图像的匹配程度改善了吗？
论文还报告了 GenEval 和 DPG-Bench。
在 JiT-T2I-g 上：
| 指标 | Pixel | Pixel+LILIE |
|---|---|---|
| GenEval Overall ↑ | 33.57 | 36.41 |
| DPG-Bench Overall ↑ | 73.00 | 73.63 |
这些结果表明整体文本条件生成能力有所改善，但提升幅度并没有 gFD 那么明显。而且部分子项有所下降，例如 GenEval 的 Two 对象组合子项。
所以不能简单把 gFD 的显著改善理解成对所有细粒度文本语义的理解都显著提升。
七、站在论文审稿人的角度，我怎么看这篇工作？
从研究创新性上，我认为它有明确的学术价值，但同样存在值得进一步研究的问题。
第一，语言监督是否真的学到了语义优先级？
论文证明真实 Caption 对生成质量有帮助，也发现 LILIE 改变了对图像残差的敏感性。
不过，仍需要更直接的实验来确定：当建筑物形状、对象数量、颜色、纹理、边缘分别发生同等幅度扰动时，LILIE 对这些错误究竟如何加权？
尤其是对于 Caption 没有提到的物体细节，LILIE 是否仍能分配合适的误差权重？
这是可以深入研究的问题。
第二，可逆性与语义敏感性之间是什么关系？
可逆变换确保信息不被结构性地丢弃，但它不自动保证语义敏感性。
一个可逆网络完全可能对语义无关的微小变化非常敏感，反而对某些重要的目标类别变化不敏感。
这意味着，学习怎样的可逆变换，比单纯满足可逆性更加重要。
第三，目前的泛化验证范围有限。
作者在附录 E 中明确承认，实验集中于 GPIC 数据集、256×256 分辨率和 JiT-T2I 生成模型家族。
编码器预训练也只使用 SmolVLM-256M，尚未验证更大 VLM、其他生成网络架构和更高分辨率场景的表现。
此外，它的训练代价并不小。论文报告使用 TPU v5e-32 训练 LILIE-S 约 40 小时，使用 TPU v6e-16 训练 11 亿参数 JiT-T2I-g 约 40 小时。
因此，对中小规模研究项目来说，直接完整复现主实验存在算力门槛。
参考文献：
@misc{agarwal2026lilie,
title={A Language-Informed Loss for Visual Generation},
author={Suchir Agarwal and Keshigeyan Chandrasegaran and Ziyu Chen and Kyle Sargent and Juan Carlos Niebles and Li Fei-Fei and Jiajun Wu},
year={2026},
eprint={2610.23653},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2610.23653},
}