扩散模型

生成任意3D和4D场景！GenXD：通用3D-4D联合生成框架 | 新加坡国立&微软文章链接: https://arxiv.org/pdf/2411.02319 项目链接：https://gen-x-d.github.io/

最新三维视觉下的扩散模型综述——Diffusion Models in 3D Vision: A Survey目录摘要一、引言二、扩散模型简介A.扩散模型的介绍B.扩散模型的数学基础C.扩散模型的变体D.三维视觉中的生成过程

WonderWorld: Interactive 3D Scene Generation from a Single Image 论文解读目录一、概述二、相关工作1、新视图生成2、单视图3D场景生成3、视频生成4、快速的3D场景表示三、WonderWorld

DiffusionDet: Diffusion Model for Object Detection—用于对象检测的扩散模型论文解析这是一篇发表在CVPR 2023的一篇论文，因为自己本身的研究方向是目标跟踪，之前看了一点使用扩散模型进行多跟踪的论文，里面提到了DiffusionDet因此学习一下。

VQGAN（2021-06：Taming Transformers for High-Resolution Image Synthesis）论文：Taming Transformers for High-Resolution Image Synthesis

一只楚楚猫

一篇文章入门随机微分方程SDE笔者建议，学完DDPM再来看SDE的作用和推导过程在学习随机微分方程之前，我们先来看一下什么是标准布朗运动假设有一个一维的直线，有个小人从原点出发，每次随机地选择向左走1格或者向右走1格，且向左走和向右走的两个选项，被选择的概率相等 → \rightarrow →用 S t S_t St代表小人离原点的距离， t t t代表代表选择的次数，如果选择的次数越多，那么 S t S_t St将会逐渐服从一个均值为0、方差为 t t t的正态分布布朗运动 W ( t ) W(t) W(t)是期望为0、方差为

利用大规模语言模型提高生物医学 NER 性能的新方法论文地址：https://arxiv.org/pdf/2404.00152.pdf 大规模语言模型在零拍摄和四拍摄任务中表现出色，但在生物医学文本的独特表达识别（NER）方面仍有改进空间。例如，Gutiérrez 等人（2022 年）的一项研究表明，即使使用相同数量的数据，采用上下文学习（In-Context Learning）的 GPT-3 的性能也不如小型微调模型。生物医学文本充满了专业术语，需要专业知识才能解读。然而，标注任务成本高、耗时长、难度大，而且标注数据的可用性有限。

【AI学习】DDPM 无条件去噪扩散概率模型实现（pytorch）这里主要使用pytorch实现基本的无条件去噪扩散模型，理论上面的推导这里不重点介绍。原文理论参考：扩散过程包括正向过程和反向过程。前向过程是基于噪声调度的预定马尔可夫链。噪声表是一组方差，它们控制构成马尔可夫链的条件正态分布。前向过程是按照预定好的noise scheduler 对干净图像()加入噪声,迭代生成一系列的噪声版本。

沉迷单车的追风少年

使用SVD(Stable Video Diffusion)执行视频插帧任务Diffusion Models专栏文章汇总：入门与实战前言：使用生成式模型完成视频插帧任务相比于传统的方法有很大的优势，可以完成大运动幅度和更好的流畅性插帧任务。这篇博客介绍如何用目前最流行的视频生成开源模型SVD完成视频插帧任务。

扩散模型学习先验概率和后验概率是贝叶斯统计学中的两个重要概念，用于描述事件发生的概率在更新观测数据后的变化情况。先验概率（Prior Probability）：

扩散模型（Diffusion Models）扩散模型（Diffusion Models）扩散模型是一种基于概率论的生成模型，源自物理学中的扩散过程理论（如墨水在水中的扩散）。在机器学习领域，扩散模型通过模拟数据从原始分布到噪声分布的“扩散”过程，并学习其逆过程来从噪声中重构高质量的数据样本。

少说多想勤做

【计算机视觉前沿研究热点顶会】ECCV 2024中扩散模型有关的论文神经辐射场(NERF)是一种从多视角图像进行三维重建的表示法。尽管最近的一些工作表明，在编辑具有扩散先验的重建的 NERF 方面取得了初步成功，但他们仍然在努力在完全未覆盖的区域中合成合理的几何图形。一个主要原因是来自扩散模型的合成内容的高度多样性阻碍了辐射场收敛到清晰和确定的几何形状。此外，在实际数据上应用潜在扩散模型通常会产生与图像条件不一致的纹理漂移，这是由于自动编码错误造成的。像素距离损失的使用进一步强化了这两个问题。为了解决这些问题，我们建议通过按场景定制来缓和扩散模型的随机性，并通过掩蔽的对抗

喝过期的拉菲

零基础读懂 DDPM 数学推导

【三维重建】InstantSplat：稀疏视角的无SfM高斯泼溅 (3D Gaussian Splatting)提示：关注B站【方矩实验室】，查看视频讲解InstantSplat将多视图立体（MVS）预测与基于点的表示相结合，在几秒钟内从稀疏视图数据构建大规模场景的3D高斯模型，解决了SfM的性能和效率问题。

Black Forest Labs 的 Flux——文本转图像模型的下一个飞跃，它比 Midjourney 更好吗？Black Forest Labs是开创性稳定扩散模型的团队，现已发布Flux——一套最先进的模型，有望重新定义 AI 生成图像的功能。但 Flux 是否真正代表了该领域的飞跃？它与 Midjourney 等行业领导者相比如何？让我们深入探索 Flux 的世界，探索其重塑 AI 生成艺术和媒体未来的潜力。

扩散模型理论与公式推导——详细过程速览与理解加深参考：[1] Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models[J]. Advances in neural information processing systems, 2020, 33: 6840-6851.

昇思 25 天学习打卡营第 25 天 | MindSpore Diffusion 扩散模型使用 MindSpore 学习神经网络，打卡第 25 天；主要内容也依据 mindspore 的学习记录。

从DDPM到DDIM(四) 预测噪声与后处理下图展示了DDPM的双向马尔可夫模型。训练目标。最大化证据下界等价于最小化以下损失函数：推理过程。推理过程利用马尔可夫链蒙特卡罗方法。

从DDPM到DDIM (一) 极大似然估计与证据下界现在网络上关于DDPM和DDIM的讲解有很多，但无论什么样的讲解，都不如自己推到一遍来的痛快。笔者希望就这篇文章，从头到尾对扩散模型做一次完整的推导。本文的很多部分都参考了 Calvin Luo[1] 和 Stanley Chan[2] 写的经典教程。也推荐大家取阅读学习。

沉迷单车的追风少年

代码解读：Diffusion Models中的长宽桶技术(Aspect Ratio Bucketing)Diffusion Models专栏文章汇总：入门与实战前言：自从SDXL提出了长宽桶技术之后，彻底解决了不同长宽比的图像输入问题，现在已经成为训练扩散模型必选的方案。这篇博客从代码详细解读如何在模型训练的时候运用长宽桶技术(Aspect Ratio Bucketing)。