扩散模型

Stable Diffusion 3 文本生成图像在线体验原理分析本文分享使用Stable Diffusion 3实现文本生成图像，可以通过在线网页中免费使用的，也有API等方式访问。

30分钟学习如何搭建扩散模型的运行环境【pytorch版】【B站免费视频教程！】【解决环境搭建问题】动手学习扩散模型一、环境设置 1.本地安装（CPU或者租赁的GPU）（1）新建虚拟环境（2）包安装

【论文精读】分类扩散模型：重振密度比估计（Revitalizing Density Ratio Estimation）论文：Classification Diffusion Models: Revitalizing Density Ratio Estimation

大模型与计算机视觉

扩散模型 GLIDE：35 亿参数的情况下优于 120 亿参数的 DALL-E 模型节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

大数据AI人工智能培训专家培训讲师叶梓

稀疏高效扩散模型：推动扩散模型的部署与应用数据驱动的世界中，生成模型扮演着至关重要的角色，尤其是在需要创建逼真样本的任务中。扩散模型（Diffusion Models, DM），以其卓越的样本质量和广泛的模式覆盖能力，已经成为众多数据生成任务的首选。然而，这些模型在实际部署时面临的挑战，如长时间的推理过程和对内存的大量需求，限制了它们在资源受限的设备上的应用。为了克服这些限制，本文提出了一种创新的稀疏微调方法，旨在不牺牲生成质量的前提下，显著提升扩散模型的效率和实用性。这种方法通过在卷积和线性层引入稀疏掩码，有效减少了模型的计算复杂度，降低了内存

大模型与计算机视觉

如何自动化地评估 AIGC 生图的质量？节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

大数据AI人工智能培训专家培训讲师叶梓

优化扩散模型中的采样计划在生成模型领域，扩散模型（Diffusion Models, DMs）因其卓越的生成质量而成为最新的技术趋势。但这些模型的一个关键缺点是它们的采样速度较慢，需要通过大型神经网络进行多次顺序函数评估。扩散模型通过一个称为采样计划的离散噪声水平集来解决微分方程。尽管过去的研究主要集中在开发高效的求解器上，但很少有人关注寻找最优的采样计划。大多数现有工作都依赖于手工制定的启发式计划，如简单多项式和余弦函数。本文提出了一种新的框架，名为“Align Your Steps”（AYS），用于优化扩散模型中的采样计划，

读《Diffusion Models: A [Comprehensive Survey of Methods and Applications》综述关于此文，我的一个见解想法，重点关注他怎么描述「Diffusion Model」的引用的，以及未来方向就好了。当然从这篇文章可以知道「Diffusion Model」的一个基石是什么，以及他跟其他生成模型的一个简单的关系，让我有对「Diffusion Model」有一个更好的理解吧。

机器学习社区

面了字节大模型算法岗，太难了。。。节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

沉迷单车的追风少年

每日AIGC最新进展(10)：符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型Diffusion Models专栏文章汇总：入门与实战http://arxiv.org/abs/2405.12666v1

沉迷单车的追风少年

详细解读字节跳动视频生成模型StoryDiffusion：连环画创作和长视频生成Diffusion Models专栏文章汇总：入门与实战前言：最近字节跳动提出了一项关于特征一致图像生成的工作StoryDiffusion，可以生成一系列特征主题相关的图像，还可以扩展成具有时间一致性的帧序列，从而组成长视频。这篇博客火速解读这篇最新的工作，包括论文和代码。

DiffusionGAN ——最快的小波扩散模型应用研究扩散模型最近出现并迅速发展，吸引了许多研究人员的兴趣。这些模型能从随机的噪声输入生成高质量的图像。在图像生成任务中，它们的表现尤其优于最先进的生成模型（GANs）。扩散模型可以灵活地处理各种条件输入，从而实现广泛的应用，如文本到图像的生成、图像到图像的转换和图像复原。这在基于人工智能的数字艺术和其他领域有着潜在的应用前景。

浅析扩散模型与图像生成【应用篇】(十三)——PITI该文提出一种基于预训练扩散模型的图像转换方法，称为PITI。其思想并不复杂，就是借鉴现有视觉和NLP领域中常见的预训练方法，考虑预先在一个大规模的任务无关数据集上对扩散模型进行预训练，使其具备一个高度语义化的空间。然后，再针对特定任务对模型进行微调训练，此时微调过程只需要关注与任务相关的输入信息，而困难的图像生成工作，比如渲染一个合理布局和真实的纹理，将根据预训练时得到的知识来完成。

【类脑智能】脑网络通信模型分类及量化指标(附思维导图)参考论文：Brain network communication_ concepts, models and applications

浅析扩散模型与图像生成【应用篇】(七)——Prompt-to-Prpmpt本文提出一种利用交叉注意力机制实现文本驱动的图像编辑方法，可以对生成图像中的对象进行替换，整体改变图像的风格，或改变某个词对生成图像的影响程度，如下图所示。之前的文本驱动的图像生成方法很难对图像的内容进行精细地编辑，哪怕只改变了一点文本提示的内容都可能让生成的结果发生非常大的改变，而无法保留原有的内容和结构。为了保留图像整体的结构，只对特定目标进行修改，有些方法通过让使用者给出要修改对象的掩码，引导算法只针对掩码的内容进行修改。但这种方式不仅非常麻烦，而且无法对整体风格进行编辑。因此作者希望提出一种

【扩散模型系列2】DiT 《Scalable Diffusion Models with Transformers》论文阅读《Scalable Diffusion Models with Transformers》《基于transformer的可扩展扩散模型》

浅析扩散模型与图像生成【应用篇】(三)——RDDM该文提出一种残差去噪扩散模型（RDDM）可用去图像生成和图像修复（如去除阴影、去雨、暗光提升等）。该文最大的特点是提出一种双扩散模型，在扩散过程中不仅包含噪声 ϵ \epsilon ϵ扩散，还包含残差信息 I r e s I_{res} Ires的扩散，这里的残差信息就是退化图像 I i n I_{in} Iin和 I 0 I_0 I0之间的差值。例如去雨任务中，带有雨的图像就是 I i n I_{in} Iin，去雨之后的图像就是 I 0 I_0 I0。 RDDM的扩散和重建过程如上图所示，如果 I

Stable Diffusion 3 发布及其重大改进就在 OpenAI 发布可以生成令人瞠目的视频的 Sora 和谷歌披露支持多达 150 万个Token上下文的 Gemini 1.5 的几天后，Stability AI 最近展示了 Stable Diffusion 3 的预览版。

OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解标题党一下，顺便蹭一下 OpenAI Sora大模型的热点，主要也是回顾一下扩散模型的原理。简单理解，扩散模型如下图所示可以分成两部分，一个是 forward，另一个是 reverse 过程：

Stable Diffusion之最全详解图解Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。