扩散模型

Stable diffusion 3.0Esser P, Kulal S, Blattmann A, et al. Scaling rectified flow transformers for high-resolution image synthesis[C]//Forty-first International Conference on Machine Learning. 2024.

Tune-A-Video：使用图像扩散模型进行一次微调实现文本到视频的生成Paper: Wu J Z, Ge Y, Wang X, et al. Tune-a-video: One-shot tuning of image diffusion models for text-to-video generation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 7623-7633. Introduction: https://tuneavideo.github.

【AIGC】SYNCAMMASTER：多视角多像机的视频生成标题：SYNCAMMASTER: SYNCHRONIZING MULTI-CAMERA VIDEO GENERATION FROM DIVERSE VIEWPOINTS 主页：https://jianhongbai.github.io/SynCamMaster/ 代码：https://github.com/KwaiVGI/SynCamMaster

StyleGaussian: Instant 3D Style Transferwith Gaussian Splatting 论文解读目录一、概述二、相关工作1、辐射场2、3D编辑3、风格迁移三、StyleGaussian1、特征嵌入2、风格迁移

HunyuanVideo: A Systematic Framework For LargeVideo Generative Models 论文解读目录一、概述二、相关工作三、Hunyuan Video1、总论2、数据预处理2.1数据过滤2.2数据注释

（NIPS-2023）ProlificDreamer：通过变分分数蒸馏实现高保真、多样化的文本到 3D 生成paper是清华大学发表在NIPS 2023的工作Paper Title：ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

CAT3D: Create Anything in 3D with Multi-View Diffusion Models 论文解读目录一、概述二、相关工作1、2D先验2、相机条件下的2D先验3、多视角先验4、视频先验5、前馈方法三、Method

如何训练Stable Diffusion 模型训练Stable Diffusion模型是一个复杂且资源密集的过程，通常需要大量的计算资源（如GPU或TPU）和时间。Stable Diffusion是一种基于扩散模型的生成式AI，能够根据文本提示生成高质量的图像。它的训练过程涉及多个步骤，包括数据准备、模型配置、训练参数调整等。以下是训练Stable Diffusion模型的基本步骤和注意事项：

【三维重建】去除瞬态物体Distractor汇总3D高斯溅射（3DGS）由于其高质量的渲染、效率和低内存成本，最近在新型视图合成领域得到了广泛的应用。它的应用跨越了虚拟现实、增强现实和机器人技术等。但该方法假设输入图像是静态没有噪声的，往往难以满足。例如，用手机随意拍摄的图像通常包含混乱的动态物体，或瞬态物体。因此，由于总是存在许多瞬态遮挡，因此很难对场景进行建模。从技术上讲，3DGS能够有效地建模静态场景，因为图像中的静态对象满足不同视点之间的几何一致性约束。然而，瞬态对象并不遵循这个假设。如果在训练中包含瞬态对象的图像被简单地使用于3DGS，这种变

【生成模型之三】ControlNet & Latent Diffusion Models论文详解我们提出了ControlNet，这是一种神经网络架构，可以将空间条件控制添加到大型预训练的文本到图像扩散模型中。ControlNet 冻结了生产就绪的大型扩散模型，并重用其经过数十亿张图像预训练的深度和鲁棒编码层作为学习各种条件控制的强大骨干。神经网络结构与“零卷积”（零初始化卷积层）相连接，该卷积层从零开始逐步增加参数，并确保没有有害噪声会影响微调。

(Arxiv-2024)SnapGen：通过高效的架构和训练，为移动设备打造高分辨率文本转图像模型Paper是Snap Inc.发表在Arxiv 2024的工作Paper Title：SnapGen: Taming High-Resolution Text-to-Image Models for Mobile Devices with Efficient Architectures and Training

Stable Diffusion核心网络结构——CLIP Text Encoder详细介绍Stable Diffusion核心网络结构——CLIP，作用，架构等。目录Stable Diffusion核心网络结构

生成式扩散模型学习ISDM（Iterative Sparse Diffeomorphic Modeling）方法是一种用于图像重建的技术，它结合了生成式扩散模型的特点和迭代重建策略。

Stable Diffusion核心网络结构——U-Net本文详细详细介绍Stable Diffusion核心网络结构——U-Net，作用，架构，加噪去噪过程损失函数等。

【3D AIGC】Img-to-3D、Text-to-3D、稀疏重建（2024年文章汇总）项目：https://kovenyu.com/wonderworld/(未开源) 论文：https://arxiv.org/pdf/2406.09394 《wonderworld Interactive 3D Scene Generation from a Single Image》

突破空间限制！从2D到3D：北大等开源Lift3D，助力精准具身智能操作！文章链接：https://arxiv.org/pdf/2411.18623 项目链接：https://lift3d-web.github.io/

Edify 3D: Scalable High-Quality 3D Asset Generation 论文解读目录一、概述二、相关工作1、三维资产生成2、多视图下的三维重建3、纹理和材质生成三、Edify 3D1、文本生成多视角图像的扩散模型

生成任意3D和4D场景！GenXD：通用3D-4D联合生成框架 | 新加坡国立&微软文章链接: https://arxiv.org/pdf/2411.02319 项目链接：https://gen-x-d.github.io/

最新三维视觉下的扩散模型综述——Diffusion Models in 3D Vision: A Survey目录摘要一、引言二、扩散模型简介A.扩散模型的介绍B.扩散模型的数学基础C.扩散模型的变体D.三维视觉中的生成过程

WonderWorld: Interactive 3D Scene Generation from a Single Image 论文解读目录一、概述二、相关工作1、新视图生成2、单视图3D场景生成3、视频生成4、快速的3D场景表示三、WonderWorld