ByteDance 在多主体互动方面取得突破,打破了视频生成竞赛的格局

9 月 24 日,ByteDance 的技术部门火山引擎(Volcano Engine)推出了两款先进的视频生成模型 PixelDance 和 Seaweed,通过复杂的多镜头动作和多个主体之间的复杂互动,显著增强了视频内容创建能力。 这些模型开辟了新的领域,它们能遵从复杂的指令,并在各种镜头运动中保持人物外观和电影摄影的高度一致性,与实景拍摄非常相似。

这两种型号都采用 DiT 架构,其中集成了高效的 DiT 融合计算单元。 这项技术有助于在变焦、摇镜头、倾斜、缩放和目标跟踪等摄影技术之间自由转换,解决了业界在镜头转换过程中保持主题、风格和气氛一致性的难题。

新的扩散模型训练方法的开发成功解决了多个摄像机切换时的一致性问题,确保了整个视频中主体和整体视觉风格的统一呈现。 此外,增强型变形器结构提高了模型的泛化能力,使其能够支持各种动画风格并适应不同的屏幕比例。 这使得它们在电子商务营销、动画教育、文化旅游等应用领域具有很强的通用性,为专业艺术家和创作者提供了大量的创作帮助。

这些模型在 CapCut 和 Dreamina 等实际应用中经过不断迭代改进,实现了专业级照明和色彩混合,大大增强了视觉吸引力和真实感。

PixelDance 和 Seaweed 面向企业市场,具有强大的语义理解能力,善于管理复杂的交互,并能在多个摄像机视图中实现一致的内容交付。

火山引擎还透露,自今年 5 月首次推出以来,豆瓣语言模型的日使用量已激增十倍,超过 1.3 万亿个令牌,多模态数据处理量达到每天 5000 万张图片和 85 万小时语音数据。

豆包机型的定价策略低于行业平均水平的 99%,在中国大型机型领域掀起了降价风潮,消除了成本对创新的阻碍。 随着企业应用的扩大,支持更高的流量已成为行业增长的关键因素。

此外,虽然目前的行业标准将 TPM(每分钟代币数)上限设定为 300K 至 100K,不足以满足某些企业应用的需求,但豆包模型的初始容量为 800K,远远超过这些标准,并可根据客户需求进行扩展。 这种能力使模型能够支持科研、汽车智能系统和人工智能教育等高需求场景,这些场景对 TPM 的峰值要求远远超过行业平均水平。

相关推荐
东坡肘子3 分钟前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
KaneLogger21 分钟前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼23 分钟前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室3 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI3 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20063 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3934 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水8 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室9 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能