扩散模型

【生成模型之三】ControlNet & Latent Diffusion Models论文详解我们提出了ControlNet，这是一种神经网络架构，可以将空间条件控制添加到大型预训练的文本到图像扩散模型中。ControlNet 冻结了生产就绪的大型扩散模型，并重用其经过数十亿张图像预训练的深度和鲁棒编码层作为学习各种条件控制的强大骨干。神经网络结构与“零卷积”（零初始化卷积层）相连接，该卷积层从零开始逐步增加参数，并确保没有有害噪声会影响微调。

(Arxiv-2024)SnapGen：通过高效的架构和训练，为移动设备打造高分辨率文本转图像模型Paper是Snap Inc.发表在Arxiv 2024的工作Paper Title：SnapGen: Taming High-Resolution Text-to-Image Models for Mobile Devices with Efficient Architectures and Training

Stable Diffusion核心网络结构——CLIP Text Encoder详细介绍Stable Diffusion核心网络结构——CLIP，作用，架构等。目录Stable Diffusion核心网络结构

生成式扩散模型学习ISDM（Iterative Sparse Diffeomorphic Modeling）方法是一种用于图像重建的技术，它结合了生成式扩散模型的特点和迭代重建策略。

Stable Diffusion核心网络结构——U-Net本文详细详细介绍Stable Diffusion核心网络结构——U-Net，作用，架构，加噪去噪过程损失函数等。

【3D AIGC】Img-to-3D、Text-to-3D、稀疏重建（2024年文章汇总）项目：https://kovenyu.com/wonderworld/(未开源) 论文：https://arxiv.org/pdf/2406.09394 《wonderworld Interactive 3D Scene Generation from a Single Image》

突破空间限制！从2D到3D：北大等开源Lift3D，助力精准具身智能操作！文章链接：https://arxiv.org/pdf/2411.18623 项目链接：https://lift3d-web.github.io/

Edify 3D: Scalable High-Quality 3D Asset Generation 论文解读目录一、概述二、相关工作1、三维资产生成2、多视图下的三维重建3、纹理和材质生成三、Edify 3D1、文本生成多视角图像的扩散模型

生成任意3D和4D场景！GenXD：通用3D-4D联合生成框架 | 新加坡国立&微软文章链接: https://arxiv.org/pdf/2411.02319 项目链接：https://gen-x-d.github.io/

最新三维视觉下的扩散模型综述——Diffusion Models in 3D Vision: A Survey目录摘要一、引言二、扩散模型简介A.扩散模型的介绍B.扩散模型的数学基础C.扩散模型的变体D.三维视觉中的生成过程

WonderWorld: Interactive 3D Scene Generation from a Single Image 论文解读目录一、概述二、相关工作1、新视图生成2、单视图3D场景生成3、视频生成4、快速的3D场景表示三、WonderWorld

DiffusionDet: Diffusion Model for Object Detection—用于对象检测的扩散模型论文解析这是一篇发表在CVPR 2023的一篇论文，因为自己本身的研究方向是目标跟踪，之前看了一点使用扩散模型进行多跟踪的论文，里面提到了DiffusionDet因此学习一下。

VQGAN（2021-06：Taming Transformers for High-Resolution Image Synthesis）论文：Taming Transformers for High-Resolution Image Synthesis

一只楚楚猫

一篇文章入门随机微分方程SDE笔者建议，学完DDPM再来看SDE的作用和推导过程在学习随机微分方程之前，我们先来看一下什么是标准布朗运动假设有一个一维的直线，有个小人从原点出发，每次随机地选择向左走1格或者向右走1格，且向左走和向右走的两个选项，被选择的概率相等 → \rightarrow →用 S t S_t St代表小人离原点的距离， t t t代表代表选择的次数，如果选择的次数越多，那么 S t S_t St将会逐渐服从一个均值为0、方差为 t t t的正态分布布朗运动 W ( t ) W(t) W(t)是期望为0、方差为

利用大规模语言模型提高生物医学 NER 性能的新方法论文地址：https://arxiv.org/pdf/2404.00152.pdf 大规模语言模型在零拍摄和四拍摄任务中表现出色，但在生物医学文本的独特表达识别（NER）方面仍有改进空间。例如，Gutiérrez 等人（2022 年）的一项研究表明，即使使用相同数量的数据，采用上下文学习（In-Context Learning）的 GPT-3 的性能也不如小型微调模型。生物医学文本充满了专业术语，需要专业知识才能解读。然而，标注任务成本高、耗时长、难度大，而且标注数据的可用性有限。

【AI学习】DDPM 无条件去噪扩散概率模型实现（pytorch）这里主要使用pytorch实现基本的无条件去噪扩散模型，理论上面的推导这里不重点介绍。原文理论参考：扩散过程包括正向过程和反向过程。前向过程是基于噪声调度的预定马尔可夫链。噪声表是一组方差，它们控制构成马尔可夫链的条件正态分布。前向过程是按照预定好的noise scheduler 对干净图像()加入噪声,迭代生成一系列的噪声版本。

沉迷单车的追风少年

使用SVD(Stable Video Diffusion)执行视频插帧任务Diffusion Models专栏文章汇总：入门与实战前言：使用生成式模型完成视频插帧任务相比于传统的方法有很大的优势，可以完成大运动幅度和更好的流畅性插帧任务。这篇博客介绍如何用目前最流行的视频生成开源模型SVD完成视频插帧任务。

扩散模型学习先验概率和后验概率是贝叶斯统计学中的两个重要概念，用于描述事件发生的概率在更新观测数据后的变化情况。先验概率（Prior Probability）：

扩散模型（Diffusion Models）扩散模型（Diffusion Models）扩散模型是一种基于概率论的生成模型，源自物理学中的扩散过程理论（如墨水在水中的扩散）。在机器学习领域，扩散模型通过模拟数据从原始分布到噪声分布的“扩散”过程，并学习其逆过程来从噪声中重构高质量的数据样本。

少说多想勤做

【计算机视觉前沿研究热点顶会】ECCV 2024中扩散模型有关的论文神经辐射场(NERF)是一种从多视角图像进行三维重建的表示法。尽管最近的一些工作表明，在编辑具有扩散先验的重建的 NERF 方面取得了初步成功，但他们仍然在努力在完全未覆盖的区域中合成合理的几何图形。一个主要原因是来自扩散模型的合成内容的高度多样性阻碍了辐射场收敛到清晰和确定的几何形状。此外，在实际数据上应用潜在扩散模型通常会产生与图像条件不一致的纹理漂移，这是由于自动编码错误造成的。像素距离损失的使用进一步强化了这两个问题。为了解决这些问题，我们建议通过按场景定制来缓和扩散模型的随机性，并通过掩蔽的对抗