扩散transformer

I Am a robert girl3 小时前
python·数字人·多模态大模型·扩散transformer·流式生成·agent规划
从 FlowAct-R2 拆解“会说话的数字人“:流式多模态参考与主动式 Agent 规划从今天觉醒,技术赋予每一个人数字生命一个数字人要"像人",难点从来不是把嘴型对上音频。真正的门槛是:当观众随时打断、递上新图片、切换话题时,系统能不能在不漂移、不卡顿、不失控的前提下持续生成 720p 视频。FlowAct-R2 给出的答案是两条耦合的主线——一条是流式多模态参考扩散 Transformer,一条是把"上线前规划"和"上线中调度"拆开的主动交互 Agent。本文顺着这两条调用链往下拆,回答三个问题:它为什么这么设计、关键抽象在哪、以及你在自己的项目里能借鉴什么。
科研小刘带你玩学术5 个月前
扩散模型·图像生成·扩散transformer·解耦架构·条件编码器·速度解码器
学术干货|DDT:解耦扩散Transformer实现高效高质量图像生成扩散模型(Diffusion Models)作为当前生成式AI领域最具影响力的技术范式之一,自2020年提出以来便以惊人的速度发展演进。与传统的生成对抗网络(GAN)和自回归模型(AR)相比,扩散模型在生成质量、多样性和训练稳定性方面展现出显著优势,已成为图像生成、视频合成、3D建模等任务的主流选择。 然而,扩散模型也面临着严峻的计算效率挑战。以经典的DDPM(Denoising Diffusion Probabilistic Models)为例,模型需要在推理阶段执行多达数百甚至上千步的去噪迭代,每次迭
v_JULY_v2 年前
视频生成·扩散transformer·dit·机器人动作预测·扩散过程·改造dit·清华pad
Diffusion Transformer(DiT)——将扩散过程中的U-Net换成ViT:近频繁用于视频生成与机器人动作预测(含清华PAD详解)本文最开始属于此文《视频生成Sora的全面解析:从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等》
v_JULY_v3 年前
视频生成·扩散transformer·vivit·dit·videopoet·openai sora
OpenAI视频生成模型Sora的全面解析:从ViViT、扩散Transformer到NaViT、VideoPoet真没想到,距离视频生成上一轮的集中爆发(详见《视频生成发展史:从Gen2、Emu Video到PixelDance、SVD、Pika 1.0、W.A.L.T》)才过去三个月,没想OpenAI一出手,该领域又直接变天了
我是有底线的