字节跳动Seed3D 2.0:MoE架构驱动,几何与纹理生成双双达到SOTA水平

字节跳动的3D生成模型更新了:几何和纹理都做到了行业最优

4月23日,字节跳动Seed团队发布了Seed3D 2.0。这是一个专门做3D内容生成的大模型,核心目标:让生成的3D内容真正"生产可用"------不只是看起来不错,而是精度高到可以直接用在游戏、影视、工业设计等实际生产流程里。

在和市场上主流3D生成模型的对比评测中,Seed3D 2.0在几何生成和纹理材质生成两项核心指标上均取得了SOTA结果。

一、模型架构:MoE + 稀疏专家路由

Seed3D 2.0采用MoE架构,并引入了稀疏专家路由机制。

这个架构解决了一个核心矛盾:3D内容精度越高,需要的参数量和分辨率越大;但参数量越大,推理计算量越高,速度越慢,成本越贵。

稀疏专家路由的解法:模型内部有多个专家模块,每次推理只激活与当前任务最相关的专家。这样在扩大参数量和分辨率的同时,把实际推理计算量控制在合理范围内。结果是能生成更丰富的纹理细节和更精确的金属-粗糙度边界。

此外,Seed3D 2.0在VAE(变分自编码器)侧做了同步升级:更少token即可获得更高重建精度,计算效率进一步提升。

二、核心技术三项

(1)Coarse-to-Fine 两阶段生成策略

第一阶段(粗生成):先生成整体结构,确定3D对象的大致形状、比例和空间关系。

第二阶段(细化):在整体结构基础上精细化几何细节------锐利边缘、薄壁结构、复杂拓扑等难点都在这阶段处理。

两阶段策略的关键价值:将整体结构与几何细节解耦。以前3D生成模型在整体和细节之间顾此失彼,两阶段让这两个目标可以分别优化。

(2)统一PBR生成机制

PBR(Physically Based Rendering)是现代游戏和影视的标准材质系统,通过模拟光线与材质的物理交互生成真实感材质。

Seed3D 2.0整合了统一的PBR生成机制,专门针对"金属-粗糙度边界不精确"这个问题做了优化,提升了材质细节和边界精度。

(3)VLM先验技术

VLM(视觉语言模型)先验技术,解决的是未知光照条件下的材质分解问题。

输入3D生成模型的图像往往在特定光照下拍摄,模型需要"分解"出材质本身属性(去掉光照影响)才能生成正确PBR材质。光照条件未知时这个分解很困难。VLM先验通过引入视觉语言模型的语义理解能力,帮助模型在不确定光照条件下做出更稳定的材质分解。

三、盲评数据

评测维度评审规模对比模型数结果几何结构生成60位专业3D建模评审6个主流模型明显领先,偏好率最高纹理材质生成60位专业3D建模评审6个主流模型偏好率高达69%以上

盲评中,评审人员不知道哪个结果来自哪个模型,只根据质量做偏好判断。69%偏好率意味着什么? 7个模型随机对比,每模型理论偏好率约14%。Seed3D 2.0达到69%,说明在专业评审眼中它的纹理质量远超其他模型平均水准。

四、扩展能力

除了核心几何和纹理生成,Seed3D 2.0还具备三项扩展能力:

部件级分割与补全:识别3D对象不同部件(如椅子椅腿、椅背、坐垫),对缺失部件补全

铰接资产生成:支持生成带关节结构的3D资产(机械臂、可开合的门),这类资产在游戏和工业仿真中需求大

场景组合生成:基于图像、视频或文本输入,生成包含多个对象的完整3D场景

获取方式 :API已上线火山引擎,技术报告已公开。

文章来源:AITOP100

原文链接:https://www.aitop100.cn/seed3d-2.0

相关推荐
ZGi.ai1 小时前
AI搜索引擎崛起:企业AI内容如何被GEO收录和引用
大数据·人工智能·搜索引擎·aigc·geo·ai搜索引擎
KaneLogger15 小时前
从装 Skill 到管理工作流:HK-Skills 的第二轮升级
程序员·aigc
魔术师Grace15 小时前
小白也能上手:把 Codex 接到微信里
程序员·aigc
该用户已不存在15 小时前
DeepSeek-TUI 发布, GitHub 的终端 AI 编程引爆网络
aigc·ai编程·deepseek
爱吃的小肥羊19 小时前
Codex 手机端连接教程:三分钟搞定,附完整步骤
aigc·openai·ai编程
爱吃的小肥羊21 小时前
刚刚,Codex 上线手机端,免费用户也能用!
aigc·openai·ai编程
DO_Community21 小时前
AI 成本太高怎么办?用推理路由自动分配 Claude、Qwen、DeepSeek
云原生·serverless·aigc·claude·deepseek
92year1 天前
Instructor实战:让LLM老老实实返回JSON
aigc
明天有专业课1 天前
RAG-检索优化策略
面试·aigc
imbackneverdie1 天前
AI PPT工具实测分享
人工智能·ai作画·aigc·ppt·ai工具·aippt