视频生成

CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer 论文解读目录一、前置知识1、Cogview2、Cogview23、Cogvideo二、CogvideoX概述三、CogVideoX架构

[读论文] Compositional 3D-aware Video Generation with LLM Director近年来，通过强大的生成模型和大规模互联网数据，文本到视频生成领域取得了显著进展。然而，在生成视频中精确控制单个概念（如特定角色的动作和外观、视角的移动）方面，仍存在巨大挑战。为此，我们提出了一种新的范式，先分别生成每个概念的 3D 表示，然后利用大语言模型（LLM）和 2D 扩散模型的先验知识将它们组合起来。具体来说，对于输入的文本提示，我们的方法分为三个阶段：

阿里云大数据AI技术

EasyAnimateV5 视频生成大模型原理详解与模型使用在数字内容创作中，视频扮演的角色日益重要。然而，创作高质量视频通常耗时且昂贵。EasyAnimate 系列旨在利用人工智能技术简化这一过程。EasyAnimateV5 建立在其前代版本的基础之上，不仅在质量上有所提升，还在多模态数据处理和跨语言支持上有了进一步的增强。

AI高中数学教学视频生成技术：利用通义千问、MathGPT、视频多模态大模型，语音大模型，将4个模型融合，生成高中数学教学视频，并给出实施方案。大家好，我是微学AI，今天给大家介绍一下AI高中数学教学视频生成技术：利用通义千问、MathGPT、视频多模态大模型，语音大模型，将4个模型融合，生成高中数学教学视频，并给出实施方案。本文利用专家模型+反思+总结的模式提升大模型返回结合，文本生成PPT模型，驱动PPT生成动画视频，并结合文稿生成语音，最后合并生成完整的高中数学教学视频。

VideoCrafter模型部署教程VideoCrafter是一个功能强大的AI视频编辑和生成工具，它结合了深度学习和机器学习技术，为用户提供了便捷的视频制作和编辑体验。

士多啤梨先生

Genmoai-smol：专为单 GPU 优化的开源 AI 视频生成模型，低显存生成高质量视频❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

定制化视频生成新模范！零样本主体驱动，精确运动控制！复旦&阿里等发布DreamVideo-2文章链接：https://arxiv.org/pdf/2410.13830 项目链接：https://dreamvideo2.github.io/

如何在算家云搭建ControlNext-SVD（视频生成）ControlNext-SVD-V2 是 ControlNext-SVD 的 V2 模型。其中 ControlNext-SVD 模型是通过添加 ControlNet 来控制 Stable Video Diffusion (SVD)，使用高分辨率视频训练，具体来说它可以将图片生成与指定姿态相匹配的高质量视频。

Hallo2 长视频和高分辨率的音频驱动的肖像图像动画（数字人技术）HALLO2: LONG-DURATION AND HIGH-RESOLUTION AUDIO-DRIVEN PORTRAIT IMAGE ANIMATION

如何在算家云搭建Video-Infinity（视频生成）Video-Infinity是一个先进的视频生成模型，使用多个 GPU 快速生成长视频，无需额外训练。它能够基于用户提供的文本或图片提示，创造出高质量、多样化的视频内容。

champ模型部署指南champ是由阿里巴巴、复旦大学和南京大学的研究人员共同提出的一种基于3D的将人物图片转换为视频动画的模型，该方法结合了3D参数化模型(特别是SMPL模型)和潜在扩散模型，能够精确地捕捉和再现人体的3D形状和动态，同时保持动画的时间一致性和视觉真实性，以生成高质量的人类动画视频。

FollowYourPose - 生成可编辑、姿态可控制的人物视频生成文本可编辑、姿态可控制的人物视频是创造各种数字人的迫切需求。然而，这项任务受到了限制由于缺乏具有配对视频姿势字幕和视频生成先验模型的综合数据集。

生动灵活，MegActor重磅升级！旷视科技发布MegActor-Σ:首个基于DiT的人像动画方法！文章链接：https://arxiv.org/pdf/2408.14975 项目链接：https://megactor-ops.github.io/

旋转的油纸伞

视频生成【文章汇总】SVD, Sora, Latte, VideoCrafter12, DiT...Authors: Xuan Ju, Yiming Gao, Zhaoyang Zhang, Ziyang Yuan, Xintao Wang, Ailing Zeng, Yu Xiong, Qiang Xu, Ying Shan

阿里云大数据AI技术

EasyAnimate-v3版本支持I2V及超长视频生成阿里云人工智能平台（PAI）自研开源的视频生成项目EasyAnimate正式发布v3版本：支持图片（可配合文字）生成视频

大数据AI人工智能培训专家培训讲师叶梓

VGMShield：揭秘视频生成模型滥用的检测与追踪技术人工智能咨询培训老师叶梓转载标明出处视频生成模型，如 Stable Video Diffusion 和 Videocrafter，已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险，比如用于制造假新闻或进行政治宣传。因此，来自弗吉尼亚大学和亥姆霍兹信息安全中心（CISPA）的研究团队着手开发了 VGMShield，一套旨在降低视频生成模型滥用风险的综合解决方案：

文生视频开源产品的一些调研（一）笔者尝试AI视频生成的几个特点：如果要生成比较合理的长视频：这里笔者有点推荐使用【星火绘镜】来试着打造分镜，首图也可以保存，后面生成视频的功能就别用了，瘆人。

AIGC专栏11——EasyAnimateV2结构详解与Lora训练最大支持768x768 144帧视频生成研究了好长时间的文生视频，EasyAnimate到了V2版本，我们将vae修改成了magvit，同时支持图片和视频的训练与预测，另外还引入了U-vit提高训练的稳定性并加快收敛。

沉迷单车的追风少年

每日AIGC最新进展(10)：符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型Diffusion Models专栏文章汇总：入门与实战http://arxiv.org/abs/2405.12666v1

沉迷单车的追风少年

详细解读字节跳动视频生成模型StoryDiffusion：连环画创作和长视频生成Diffusion Models专栏文章汇总：入门与实战前言：最近字节跳动提出了一项关于特征一致图像生成的工作StoryDiffusion，可以生成一系列特征主题相关的图像，还可以扩展成具有时间一致性的帧序列，从而组成长视频。这篇博客火速解读这篇最新的工作，包括论文和代码。