BlockDance：扩散模型加速革命！复旦字节联手实现50%无损提速

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

⏱️ 「别让AI画画等成PPT！国产黑科技让Stable Diffusion飙车」

大家好，我是蚝油菜花。你是否也经历过这些AI炼丹惨案------

👉 等4K图生成等到咖啡凉透，结果手部还是八爪鱼
👉 公司算力账单比市场部预算还高，CTO眼神逐渐核善
👉 想实时改图却被进度条PUA，创意火花死在加载中...

今天要破局的 BlockDance 正在重构生成式AI速度法则！这个学术派加速神器：

✅ 时空特征捕手：智能识别95%冗余计算，Diffusion模型直接瘦身
✅ 「无损加速」黑盒：强化学习动态分配资源，4K图生成提速50%
✅ 字节复旦双buff：已整合进最新视频生成管线，秒出高清序列

已有游戏公司用它实时渲染CG，广告团队靠它批量生成营销素材------你的扩散模型，是时候开启「涡轮增压」模式了！

🚀 快速阅读

BlockDance 是一种用于加速扩散模型推理的新方法。

核心功能：通过减少冗余计算，显著提升推理速度，同时保持生成质量。
技术原理：基于特征相似性分析、缓存与重用机制，以及强化学习优化，实现高效加速。

BlockDance 是什么

BlockDance 是复旦大学与字节跳动智能创作团队联合推出的一种扩散模型加速方法。它通过识别重用相邻时间步中结构相似的时空特征（STSS），减少冗余计算，从而提升推理速度，最高可加速50%。

BlockDance 专注于去噪后期的结构特征，避免因重用低相似度特征导致的图像质量下降。此外，BlockDance 还引入了 BlockDance-Ada，基于强化学习动态分配计算资源，根据不同实例的复杂性调整加速策略，进一步优化内容质量和推理速度。

BlockDance 的主要功能

加速推理过程：基于减少冗余计算，将 DiTs 的推理速度提升 25% 至 50%，提高模型在实际应用中的效率。
保持生成质量：在加速的同时，保持与原始模型一致的生成效果，确保图像和视频的视觉质量、细节表现和对提示的遵循程度。
动态资源分配：基于 BlockDance-Ada，根据不同生成任务的复杂性动态调整计算资源分配，实现更优的速度与质量平衡。
广泛的适用性：支持无缝应用于多种扩散模型和生成任务，如图像生成、视频生成等，具有很强的通用性。

BlockDance 的技术原理

特征相似性分析：在扩散模型的去噪过程中，相邻时间步的特征之间存在高度相似性，尤其是在模型的浅层和中层模块中。模块主要负责生成图像的结构信息，结构信息在去噪过程的早期阶段就已经相对稳定。BlockDance 基于分析特征的相似性，识别出结构相似的时空特征（Structurally Similar Spatio-Temporal，STSS），作为加速的关键点。
缓存与重用机制：将去噪过程分为"缓存步骤"和"重用步骤"。在缓存步骤中，模型保存当前步骤中某些模块的特征输出。在后续的重用步骤中，模型直接使用之前缓存的特征，跳过模块的重复计算，节省计算资源。
动态决策网络（BlockDance-Ada）：引入 BlockDance-Ada，基于强化学习的轻量级决策网络。根据当前生成任务的复杂性（例如图像的结构复杂性、对象数量等），动态决定哪些步骤应该进行缓存，哪些步骤能进行重用。动态调整机制让 BlockDance 在不同的生成任务和模型上实现更优的速度与质量平衡。
强化学习优化：用强化学习中的策略梯度方法训练决策网络。基于设计奖励函数，平衡图像质量和计算效率之间的权衡。奖励函数包括图像质量奖励（如视觉美感、对提示的遵循程度）和计算奖励（如重用步骤的比例）。基于最大化预期奖励，决策网络能学习到最优的缓存和重用策略，在保持生成质量的同时实现最大的加速效果。

资源

arXiv技术论文 ：arxiv.org/pdf/2503.15...

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦