字节跳动Seed3D 2.0:MoE架构驱动,几何与纹理生成双双达到SOTA水平

字节跳动的3D生成模型更新了:几何和纹理都做到了行业最优

4月23日,字节跳动Seed团队发布了Seed3D 2.0。这是一个专门做3D内容生成的大模型,核心目标:让生成的3D内容真正"生产可用"------不只是看起来不错,而是精度高到可以直接用在游戏、影视、工业设计等实际生产流程里。

在和市场上主流3D生成模型的对比评测中,Seed3D 2.0在几何生成和纹理材质生成两项核心指标上均取得了SOTA结果。

一、模型架构:MoE + 稀疏专家路由

Seed3D 2.0采用MoE架构,并引入了稀疏专家路由机制。

这个架构解决了一个核心矛盾:3D内容精度越高,需要的参数量和分辨率越大;但参数量越大,推理计算量越高,速度越慢,成本越贵。

稀疏专家路由的解法:模型内部有多个专家模块,每次推理只激活与当前任务最相关的专家。这样在扩大参数量和分辨率的同时,把实际推理计算量控制在合理范围内。结果是能生成更丰富的纹理细节和更精确的金属-粗糙度边界。

此外,Seed3D 2.0在VAE(变分自编码器)侧做了同步升级:更少token即可获得更高重建精度,计算效率进一步提升。

二、核心技术三项

(1)Coarse-to-Fine 两阶段生成策略

第一阶段(粗生成):先生成整体结构,确定3D对象的大致形状、比例和空间关系。

第二阶段(细化):在整体结构基础上精细化几何细节------锐利边缘、薄壁结构、复杂拓扑等难点都在这阶段处理。

两阶段策略的关键价值:将整体结构与几何细节解耦。以前3D生成模型在整体和细节之间顾此失彼,两阶段让这两个目标可以分别优化。

(2)统一PBR生成机制

PBR(Physically Based Rendering)是现代游戏和影视的标准材质系统,通过模拟光线与材质的物理交互生成真实感材质。

Seed3D 2.0整合了统一的PBR生成机制,专门针对"金属-粗糙度边界不精确"这个问题做了优化,提升了材质细节和边界精度。

(3)VLM先验技术

VLM(视觉语言模型)先验技术,解决的是未知光照条件下的材质分解问题。

输入3D生成模型的图像往往在特定光照下拍摄,模型需要"分解"出材质本身属性(去掉光照影响)才能生成正确PBR材质。光照条件未知时这个分解很困难。VLM先验通过引入视觉语言模型的语义理解能力,帮助模型在不确定光照条件下做出更稳定的材质分解。

三、盲评数据

评测维度评审规模对比模型数结果几何结构生成60位专业3D建模评审6个主流模型明显领先,偏好率最高纹理材质生成60位专业3D建模评审6个主流模型偏好率高达69%以上

盲评中,评审人员不知道哪个结果来自哪个模型,只根据质量做偏好判断。69%偏好率意味着什么? 7个模型随机对比,每模型理论偏好率约14%。Seed3D 2.0达到69%,说明在专业评审眼中它的纹理质量远超其他模型平均水准。

四、扩展能力

除了核心几何和纹理生成,Seed3D 2.0还具备三项扩展能力:

•部件级分割与补全:识别3D对象不同部件(如椅子椅腿、椅背、坐垫),对缺失部件补全

•铰接资产生成:支持生成带关节结构的3D资产(机械臂、可开合的门),这类资产在游戏和工业仿真中需求大

•场景组合生成:基于图像、视频或文本输入,生成包含多个对象的完整3D场景

获取方式 :API已上线火山引擎,技术报告已公开。

文章来源:AITOP100

原文链接:https://www.aitop100.cn/seed3d-2.0

相关推荐
threerocks13 分钟前
用 Muse 薅 Claude Team 免费 1 年教程
aigc·openai·ai编程
阿明副业观察2 小时前
AI视频生成工具功能与作用全面解析:赋能高效内容创作
大数据·人工智能·aigc·音视频·ai写作
长弓三石2 小时前
企业级Harness开源平台BizBuddy适配AgentScope-2.0.4并发布0.7.0版本
java·人工智能·aigc
Rocky Ding*3 小时前
VideoChat3 深度解析:视频理解的效率,来自时空压缩与主动感知的共同设计
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·视频理解
Clain3 小时前
全球首款 RTX Spark 电脑开卖:128GB 统一内存 + 1 Petaflop,价格你猜对了吗?
llm·aigc
文谦南宁AI普工4 小时前
RAG 检索全对,回答全错?用位置扫描 10 分钟定位 Lost in the Middle
人工智能·aigc
灵感__idea4 小时前
火遍全球的Claude Code是怎样炼成的?
aigc·ai编程·claude
c萱5 小时前
AI产品经理——04RAG 检索增强生成
ai·aigc·产品经理·ai编程·ai-native
guslegend5 小时前
从需求分析到 Spec-Kit 落地:三种思维、施工方案与规格驱动开发
aigc·软件工程·需求分析·ai编程·spec-kit