扩散模型

【三维重建】FeatureGS:特征值优化的几何精度和伪影减少3DGS的重构文章：https://arxiv.org/pdf/2501.17655 标题：FeatureGS: Eigenvalue-Feature Optimization in 3D Gaussian Splatting for Geometrically Accurate and Artifact-Reduced Reconstruction

【笔记】扩散模型（一〇）：Dreambooth 理论与实现｜主题驱动生成论文链接：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

【生成模型之十四】Visual Autoregressive Modeling论文：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

[EAI-027] RDT-1B，目前最大的用于机器人双臂操作的机器人基础模型论文标题：RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation 论文作者：Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu 论文链接：https://arxiv.org/abs/2410.07864v1 项目主页：https://rdt-robotics.github.io/rdt-

[EAI-028] Diffusion-VLA，能够进行多模态推理和机器人动作预测的VLA模型论文标题：Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and Autoregression 论文作者：Junjie Wen, Minjie Zhu, Yichen Zhu, Zhibin Tang, Jinming Li, Zhongyi Zhou, Chengmeng Li, Xiaoyu Liu, Yaxin Peng, Chaomin Shen, Feifei Feng 论文链接：https://arxiv

Stable diffusion 3.0Esser P, Kulal S, Blattmann A, et al. Scaling rectified flow transformers for high-resolution image synthesis[C]//Forty-first International Conference on Machine Learning. 2024.

Tune-A-Video：使用图像扩散模型进行一次微调实现文本到视频的生成Paper: Wu J Z, Ge Y, Wang X, et al. Tune-a-video: One-shot tuning of image diffusion models for text-to-video generation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 7623-7633. Introduction: https://tuneavideo.github.

【AIGC】SYNCAMMASTER：多视角多像机的视频生成标题：SYNCAMMASTER: SYNCHRONIZING MULTI-CAMERA VIDEO GENERATION FROM DIVERSE VIEWPOINTS 主页：https://jianhongbai.github.io/SynCamMaster/ 代码：https://github.com/KwaiVGI/SynCamMaster

StyleGaussian: Instant 3D Style Transferwith Gaussian Splatting 论文解读目录一、概述二、相关工作1、辐射场2、3D编辑3、风格迁移三、StyleGaussian1、特征嵌入2、风格迁移

HunyuanVideo: A Systematic Framework For LargeVideo Generative Models 论文解读目录一、概述二、相关工作三、Hunyuan Video1、总论2、数据预处理2.1数据过滤2.2数据注释

（NIPS-2023）ProlificDreamer：通过变分分数蒸馏实现高保真、多样化的文本到 3D 生成paper是清华大学发表在NIPS 2023的工作Paper Title：ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

CAT3D: Create Anything in 3D with Multi-View Diffusion Models 论文解读目录一、概述二、相关工作1、2D先验2、相机条件下的2D先验3、多视角先验4、视频先验5、前馈方法三、Method

如何训练Stable Diffusion 模型训练Stable Diffusion模型是一个复杂且资源密集的过程，通常需要大量的计算资源（如GPU或TPU）和时间。Stable Diffusion是一种基于扩散模型的生成式AI，能够根据文本提示生成高质量的图像。它的训练过程涉及多个步骤，包括数据准备、模型配置、训练参数调整等。以下是训练Stable Diffusion模型的基本步骤和注意事项：

【三维重建】去除瞬态物体Distractor汇总3D高斯溅射（3DGS）由于其高质量的渲染、效率和低内存成本，最近在新型视图合成领域得到了广泛的应用。它的应用跨越了虚拟现实、增强现实和机器人技术等。但该方法假设输入图像是静态没有噪声的，往往难以满足。例如，用手机随意拍摄的图像通常包含混乱的动态物体，或瞬态物体。因此，由于总是存在许多瞬态遮挡，因此很难对场景进行建模。从技术上讲，3DGS能够有效地建模静态场景，因为图像中的静态对象满足不同视点之间的几何一致性约束。然而，瞬态对象并不遵循这个假设。如果在训练中包含瞬态对象的图像被简单地使用于3DGS，这种变

【生成模型之三】ControlNet & Latent Diffusion Models论文详解我们提出了ControlNet，这是一种神经网络架构，可以将空间条件控制添加到大型预训练的文本到图像扩散模型中。ControlNet 冻结了生产就绪的大型扩散模型，并重用其经过数十亿张图像预训练的深度和鲁棒编码层作为学习各种条件控制的强大骨干。神经网络结构与“零卷积”（零初始化卷积层）相连接，该卷积层从零开始逐步增加参数，并确保没有有害噪声会影响微调。

(Arxiv-2024)SnapGen：通过高效的架构和训练，为移动设备打造高分辨率文本转图像模型Paper是Snap Inc.发表在Arxiv 2024的工作Paper Title：SnapGen: Taming High-Resolution Text-to-Image Models for Mobile Devices with Efficient Architectures and Training

Stable Diffusion核心网络结构——CLIP Text Encoder详细介绍Stable Diffusion核心网络结构——CLIP，作用，架构等。目录Stable Diffusion核心网络结构

生成式扩散模型学习ISDM（Iterative Sparse Diffeomorphic Modeling）方法是一种用于图像重建的技术，它结合了生成式扩散模型的特点和迭代重建策略。

Stable Diffusion核心网络结构——U-Net本文详细详细介绍Stable Diffusion核心网络结构——U-Net，作用，架构，加噪去噪过程损失函数等。

【3D AIGC】Img-to-3D、Text-to-3D、稀疏重建（2024年文章汇总）项目：https://kovenyu.com/wonderworld/(未开源) 论文：https://arxiv.org/pdf/2406.09394 《wonderworld Interactive 3D Scene Generation from a Single Image》