引言：图像生成的"效率革命"
在Transformer和扩散模型推动图像生成技术飞速发展的今天，图像分词（Tokenization） 成为决定模型效率的核心环节------它将高维像素转化为紧凑的 latent 表示，直接影响训练成本、推理速度和生成质量。传统方法如VQGAN始终依赖2D网格分词，强制 latent token 与图像patch一一对应，无法充分利用图像冗余信息，导致需256甚至1024个token才能表征一张256×256图像。
字节跳动与慕尼黑工业大学联合提出的 TiTok（Transformer-based 1-Dimensional Tokenizer），彻底打破这一桎梏：通过1D序列分词范式，仅用32个token即可实现高质量图像重建与生成，在ImageNet基准上实现410倍生成加速，同时刷新gFID指标。本文将深度解析这一革命性技术的核心设计、实验成果与应用价值。
核心痛点：传统2D分词的固有局限
传统图像生成模型的分词器普遍遵循"2D网格映射"逻辑，存在两大核心问题：
- 空间约束僵化： latent token 与图像patch严格一一对应（如左上角token仅对应左上角区域），无法跨区域整合相似特征，浪费大量token存储冗余信息；
- 压缩效率不足：256×256图像经VQGAN分词后需256个token，DiT等扩散模型更是需要数千个token，导致训练推理成本居高不下；
- 灵活性缺失： latent 大小受下采样因子固定约束（如f=16时token数固定为256），无法根据任务需求灵活调整压缩比。
这些局限促使研究者思考：图像分词必须依赖2D结构吗？
TiTok核心设计：从2D网格到1D序列的范式跃迁
1. 整体框架架构
TiTok采用"编码器-量化器-解码器"经典结构，但通过1D序列设计重构了分词逻辑，核心组件包括：
- ViT编码器：将图像切分为patches，与预设的K个1D latent token拼接后编码，仅保留latent token作为图像的紧凑表示（长度=K）；
- 向量量化器：将连续的1D latent 嵌入映射到离散码本，实现高效存储与生成；
- ViT解码器：将量化后的1D token与掩码token（Mask Tokens）拼接，还原完整图像像素。
关键创新：彻底解除空间映射约束------每个1D token可覆盖图像任意区域，通过Transformer的全局注意力机制自适应整合冗余特征，而非局限于固定网格。
2. 核心公式解析
- 分词过程：将图像patches（P）与1D latent token（L）拼接后，经ViT编码器生成1D latent序列（Z₁D）：
Z1D=Enc(P⊕L)Z_{1D}=Enc(P\oplus L)Z1D=Enc(P⊕L)
其中⊕\oplus⊕表示拼接操作，仅保留编码器输出中的latent token，实现 latent 大小与图像分辨率解耦。 - 解分词过程：量化后的Z₁D与掩码token（M）拼接，经解码器还原图像（I^\hat{I}I^）：
I^=Dec(Quant(Z1D)⊕M)\hat{I}=Dec\left(Quant\left(Z_{1 D}\right) \oplus M\right)I^=Dec(Quant(Z1D)⊕M)
3. 两阶段训练策略
针对1D紧凑分词的训练挑战，TiTok设计了高效的两阶段训练方案：
- 预热阶段（Warm-up）：不直接回归RGB值，而是用现成MaskGIT-VQGAN生成的"代理码（Proxy Codes）"训练，绕过复杂损失函数与GAN结构，聚焦1D分词逻辑优化；
- 解码器微调阶段：冻结编码器和量化器，仅训练解码器回归像素空间，采用VQGAN标准训练流程提升重建质量。
该策略大幅提升训练稳定性，使TiTok在32个token下仍能保持高精度重建。
关键实验发现：重新定义图像表征的极限
TiTok通过大量消融实验，揭示了1D分词的四大核心规律，为高效图像生成提供重要指导：
1. 32个Token足够支撑高质量表征
- 实验表明：token数从16增至128时，重建性能显著提升；超过128后边际效益递减；
- 关键突破：TiTok-L（32个token）的重建性能（rFID=2.21）优于VQGAN（256个token，rFID=2.28），证明图像冗余可被1D分词充分利用。
2. 模型缩放与Token压缩的最优trade-off
- 更大规模的TiTok模型（S→B→L）可在更少token下保持性能：
- TiTok-B（64个token）≈ TiTok-S（128个token）
- TiTok-L（32个token）≈ TiTok-B（64个token）
- 这意味着：通过增大分词器模型规模，可持续降低 latent token 数量，实现"更紧凑+更高质量"的双重目标。
3. 1D分词更擅长捕捉语义信息
线性探测实验显示：token数越少，TiTok的图像分类准确率越高（TiTok-L在16个token时准确率达62.1%）。原因是1D结构迫使模型优先学习高层语义和全局布局，而非局限于局部像素细节，这一特性大幅提升生成模型的语义一致性。
4. 生成效率与质量的双重突破
紧凑的1D token不仅降低存储成本，更带来指数级生成加速：
- 训练速度：32个token较256个token提升12.8倍（2815.2 vs 219.7 samples/s/gpu）；
- 推理速度：512×512图像生成较DiT-XL/2快410倍（41.0 vs 0.1 samples/s/A100）。
基准测试表现：刷新行业标杆
TiTok在ImageNet 256×256和512×512基准上全面超越现有方法，关键指标如下：
1. 256×256图像生成（ImageNet-1K）
| 模型 | Token数 | gFID | 生成速度（samples/s） | 较DiT加速 |
|---|---|---|---|---|
| DiT-XL/2 | 数千 | 2.27 | 0.6 | - |
| MaskGIT-VQGAN | 256 | 6.18 | 50.5 | 84倍 |
| TiTok-L-32 | 32 | 2.77 | 101.6 | 169倍 |
| TiTok-S-128 | 128 | 1.97 | 53.3 | 89倍 |
2. 512×512图像生成（ImageNet-1K）
| 模型 | Token数 | gFID | 生成速度（samples/s） | 较DiT加速 |
|---|---|---|---|---|
| DiT-XL/2 | 数千 | 3.04 | 0.1 | - |
| MaskGIT-VQGAN | 1024 | 7.32 | 3.9 | 39倍 |
| TiTok-L-64 | 64 | 2.74 | 41.0 | 410倍 |
| TiTok-B-128 | 128 | 2.13 | 33.3 | 333倍 |
核心亮点：TiTok-B-128以128个token实现gFID=2.13，不仅超越DiT-XL/2（3.04），且生成速度快74倍，实现"更快、更优、更省"的三重突破。
技术创新点总结
- 范式创新：首次将1D序列用于图像生成分词，打破2D网格桎梏，为高效表征提供新思路；
- 极致压缩：32个token实现256×256图像表征，较传统方法压缩8-64倍；
- 效率革命：生成速度较SOTA扩散模型提升74-410倍，降低实时生成应用门槛；
- 灵活适配：latent 大小与图像分辨率解耦，可根据任务需求调整token数（16-128）。
应用场景与未来方向
核心应用场景
- 实时图像生成：410倍加速使移动端、边缘设备部署成为可能；
- 高分辨率内容创作：512×512图像快速生成，适配设计、游戏等行业需求；
- 低资源环境训练：减少64倍token数，降低大模型训练的硬件门槛。
未来研究方向
- 多模态扩展：将1D分词范式应用于视频、3D点云等其他模态；
- 框架适配：整合扩散模型、VAE等其他生成框架，进一步释放潜力；
- 下游任务迁移：探索TiTok在图像编辑、风格迁移等任务中的应用；
- 超紧凑表征：基于模型缩放规律，探索16个token以下的极限压缩方案。
结语
TiTok的出现不仅刷新了图像生成的效率与质量标杆，更重新定义了图像表征的核心逻辑------放弃僵化的2D网格，用1D序列充分利用图像冗余，是实现高效生成的关键。32个token的突破证明，图像生成的未来不在于无限制增加模型参数，而在于更智能的表征方式。
随着TiTok等高效分词技术的发展，图像生成将加速从"实验室级"走向"产业级"，为实时交互、低资源部署等场景带来革命性改变。相信1D分词范式将成为下一代生成模型的核心组件，推动AI创作工具向更高效、更普惠的方向演进。
参考资料
- 论文原文：An Image is Worth 32 Tokens for Reconstruction and Generation（arXiv:2406.07550v1）
- 项目主页：https://yucornetto.github.io/projects/titok.html
- 代码仓库：即将开源（论文标注为preprint，under review）