ByteDance 在多主体互动方面取得突破,打破了视频生成竞赛的格局

9 月 24 日,ByteDance 的技术部门火山引擎(Volcano Engine)推出了两款先进的视频生成模型 PixelDance 和 Seaweed,通过复杂的多镜头动作和多个主体之间的复杂互动,显著增强了视频内容创建能力。 这些模型开辟了新的领域,它们能遵从复杂的指令,并在各种镜头运动中保持人物外观和电影摄影的高度一致性,与实景拍摄非常相似。

这两种型号都采用 DiT 架构,其中集成了高效的 DiT 融合计算单元。 这项技术有助于在变焦、摇镜头、倾斜、缩放和目标跟踪等摄影技术之间自由转换,解决了业界在镜头转换过程中保持主题、风格和气氛一致性的难题。

新的扩散模型训练方法的开发成功解决了多个摄像机切换时的一致性问题,确保了整个视频中主体和整体视觉风格的统一呈现。 此外,增强型变形器结构提高了模型的泛化能力,使其能够支持各种动画风格并适应不同的屏幕比例。 这使得它们在电子商务营销、动画教育、文化旅游等应用领域具有很强的通用性,为专业艺术家和创作者提供了大量的创作帮助。

这些模型在 CapCut 和 Dreamina 等实际应用中经过不断迭代改进,实现了专业级照明和色彩混合,大大增强了视觉吸引力和真实感。

PixelDance 和 Seaweed 面向企业市场,具有强大的语义理解能力,善于管理复杂的交互,并能在多个摄像机视图中实现一致的内容交付。

火山引擎还透露,自今年 5 月首次推出以来,豆瓣语言模型的日使用量已激增十倍,超过 1.3 万亿个令牌,多模态数据处理量达到每天 5000 万张图片和 85 万小时语音数据。

豆包机型的定价策略低于行业平均水平的 99%,在中国大型机型领域掀起了降价风潮,消除了成本对创新的阻碍。 随着企业应用的扩大,支持更高的流量已成为行业增长的关键因素。

此外,虽然目前的行业标准将 TPM(每分钟代币数)上限设定为 300K 至 100K,不足以满足某些企业应用的需求,但豆包模型的初始容量为 800K,远远超过这些标准,并可根据客户需求进行扩展。 这种能力使模型能够支持科研、汽车智能系统和人工智能教育等高需求场景,这些场景对 TPM 的峰值要求远远超过行业平均水平。

相关推荐
翰墨之道几秒前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99633 分钟前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队1 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术2 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream3 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴3 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区3 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li3 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu4 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记4 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能