ByteDance 在多主体互动方面取得突破,打破了视频生成竞赛的格局

9 月 24 日,ByteDance 的技术部门火山引擎(Volcano Engine)推出了两款先进的视频生成模型 PixelDance 和 Seaweed,通过复杂的多镜头动作和多个主体之间的复杂互动,显著增强了视频内容创建能力。 这些模型开辟了新的领域,它们能遵从复杂的指令,并在各种镜头运动中保持人物外观和电影摄影的高度一致性,与实景拍摄非常相似。

这两种型号都采用 DiT 架构,其中集成了高效的 DiT 融合计算单元。 这项技术有助于在变焦、摇镜头、倾斜、缩放和目标跟踪等摄影技术之间自由转换,解决了业界在镜头转换过程中保持主题、风格和气氛一致性的难题。

新的扩散模型训练方法的开发成功解决了多个摄像机切换时的一致性问题,确保了整个视频中主体和整体视觉风格的统一呈现。 此外,增强型变形器结构提高了模型的泛化能力,使其能够支持各种动画风格并适应不同的屏幕比例。 这使得它们在电子商务营销、动画教育、文化旅游等应用领域具有很强的通用性,为专业艺术家和创作者提供了大量的创作帮助。

这些模型在 CapCut 和 Dreamina 等实际应用中经过不断迭代改进,实现了专业级照明和色彩混合,大大增强了视觉吸引力和真实感。

PixelDance 和 Seaweed 面向企业市场,具有强大的语义理解能力,善于管理复杂的交互,并能在多个摄像机视图中实现一致的内容交付。

火山引擎还透露,自今年 5 月首次推出以来,豆瓣语言模型的日使用量已激增十倍,超过 1.3 万亿个令牌,多模态数据处理量达到每天 5000 万张图片和 85 万小时语音数据。

豆包机型的定价策略低于行业平均水平的 99%,在中国大型机型领域掀起了降价风潮,消除了成本对创新的阻碍。 随着企业应用的扩大,支持更高的流量已成为行业增长的关键因素。

此外,虽然目前的行业标准将 TPM(每分钟代币数)上限设定为 300K 至 100K,不足以满足某些企业应用的需求,但豆包模型的初始容量为 800K,远远超过这些标准,并可根据客户需求进行扩展。 这种能力使模型能够支持科研、汽车智能系统和人工智能教育等高需求场景,这些场景对 TPM 的峰值要求远远超过行业平均水平。

相关推荐
SHIPKING3931 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水5 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室6 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿6 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手6 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记6 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元7 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术7 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端