智谱AI视频生成模型CogVideoX v1.5开源 支持5/10秒视频生成

今日,智谱技术团队发布了其最新的视频生成模型 CogVideoX v1.5,并将其开源。这一版本是自8月以来,智谱技术团队推出的 CogVideoX 系列中的又一重要进展。

据了解,此次更新大幅提升了视频生成能力,包括支持5秒和10秒的视频长度、768P 的分辨率以及16帧的生成能力。同时,I2V(图像到视频)模型也支持任意尺寸比例,进一步增强了复杂语义的理解能力。

CogVideoX v1.5包含两个主要模型:CogVideoX v1.5-5B 和 CogVideoX v1.5-5B-I2V,旨在为开发者提供更强大的视频生成工具。

更值得关注的是,CogVideoX v1.5将同步上线至清影平台,并与新推出的 CogSound 音效模型结合,成为 "新清影"。新清影将提供多项特色服务,包括视频质量的显著提升、美学表现和运动合理性,支持生成10秒、4K、60帧的超高清视频。

官方介绍如下:

质量提升:在图生视频的质量、美学表现、运动合理性以及复杂提示词语义理解方面能力显著增强。

超高清分辨率:支持生成10s、4K、60帧超高清视频。

可变比例:支持任意比例,从而适应不同的播放场景。

多通道输出:同一指令/图片可以一次性生成4个视频。

带声效的 AI 视频:新清影可以生成与画面匹配的音效。

在数据处理方面,CogVideoX 团队专注于提升数据质量,开发了自动化筛选框架以过滤不良视频数据,并推出了端到端的视频理解模型 CogVLM2-caption,以生成精准的内容描述。这一模型能够有效处理复杂的指令,确保生成的视频与用户需求相符。

为了提升内容连贯性,CogVideoX 采用了高效的三维变分自编码器(3D VAE)技术,显著降低了训练成本与难度。此外,团队还研发了融合文本、时间和空间三维度的 Transformer 架构,通过去除传统的跨注意力模块,增强了文本和视频的交互效果,提升了视频生成的质量。

未来,智谱技术团队将继续扩大数据量和模型规模,探索更高效的模型架构,以实现更优质的视频生成体验。CogVideoX v1.5的开源不仅为开发者提供了强大的工具,也为视频创作领域注入了新的活力。

代码:https://github.com/thudm/cogvideo

模型:https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT

追评

又开源一个,我显卡跑不动的模型,这是硬让我们开发llama.cpp的支持吗???用 Apple M4???

相关推荐
Jozky8618 分钟前
3D高斯在自动驾驶中的应用
人工智能·3d·自动驾驶
网易智企1 小时前
游戏语音的历史是什么样的?
大数据·人工智能·游戏·ai·音视频·语音识别·实时音视频
微软技术栈1 小时前
极客说|Azure AI Agent Service 结合 AutoGen/Semantic Kernel 构建多智能体解决⽅案
人工智能·microsoft·azure
字节跳动技术团队2 小时前
详解veImageX助力卓特视觉智能、高效生成设计素材
前端·人工智能·后端
滴滴哒哒答答2 小时前
《自动驾驶与机器人中的SLAM技术》ch8:基于 IESKF 的紧耦合 LIO 系统
人工智能·机器人·自动驾驶
汐ya~2 小时前
python-PC应用自动化操作
运维·人工智能·python·自动化
小胖学前端2 小时前
🚀🤖 Crawl4AI:开源LLM友好型网页爬虫与数据提取工具
人工智能
赵大仁2 小时前
大语言模型的稀疏性:提升效率与性能的新方向
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·数据分析
汪子熙2 小时前
解析 Stable Diffusion 模型的 Checkpoint 文件
人工智能