字节跳动Seed3D 2.0:MoE架构驱动,几何与纹理生成双双达到SOTA水平

字节跳动的3D生成模型更新了:几何和纹理都做到了行业最优

4月23日,字节跳动Seed团队发布了Seed3D 2.0。这是一个专门做3D内容生成的大模型,核心目标:让生成的3D内容真正"生产可用"------不只是看起来不错,而是精度高到可以直接用在游戏、影视、工业设计等实际生产流程里。

在和市场上主流3D生成模型的对比评测中,Seed3D 2.0在几何生成和纹理材质生成两项核心指标上均取得了SOTA结果。

一、模型架构:MoE + 稀疏专家路由

Seed3D 2.0采用MoE架构,并引入了稀疏专家路由机制。

这个架构解决了一个核心矛盾:3D内容精度越高,需要的参数量和分辨率越大;但参数量越大,推理计算量越高,速度越慢,成本越贵。

稀疏专家路由的解法:模型内部有多个专家模块,每次推理只激活与当前任务最相关的专家。这样在扩大参数量和分辨率的同时,把实际推理计算量控制在合理范围内。结果是能生成更丰富的纹理细节和更精确的金属-粗糙度边界。

此外,Seed3D 2.0在VAE(变分自编码器)侧做了同步升级:更少token即可获得更高重建精度,计算效率进一步提升。

二、核心技术三项

(1)Coarse-to-Fine 两阶段生成策略

第一阶段(粗生成):先生成整体结构,确定3D对象的大致形状、比例和空间关系。

第二阶段(细化):在整体结构基础上精细化几何细节------锐利边缘、薄壁结构、复杂拓扑等难点都在这阶段处理。

两阶段策略的关键价值:将整体结构与几何细节解耦。以前3D生成模型在整体和细节之间顾此失彼,两阶段让这两个目标可以分别优化。

(2)统一PBR生成机制

PBR(Physically Based Rendering)是现代游戏和影视的标准材质系统,通过模拟光线与材质的物理交互生成真实感材质。

Seed3D 2.0整合了统一的PBR生成机制,专门针对"金属-粗糙度边界不精确"这个问题做了优化,提升了材质细节和边界精度。

(3)VLM先验技术

VLM(视觉语言模型)先验技术,解决的是未知光照条件下的材质分解问题。

输入3D生成模型的图像往往在特定光照下拍摄,模型需要"分解"出材质本身属性(去掉光照影响)才能生成正确PBR材质。光照条件未知时这个分解很困难。VLM先验通过引入视觉语言模型的语义理解能力,帮助模型在不确定光照条件下做出更稳定的材质分解。

三、盲评数据

评测维度评审规模对比模型数结果几何结构生成60位专业3D建模评审6个主流模型明显领先,偏好率最高纹理材质生成60位专业3D建模评审6个主流模型偏好率高达69%以上

盲评中,评审人员不知道哪个结果来自哪个模型,只根据质量做偏好判断。69%偏好率意味着什么? 7个模型随机对比,每模型理论偏好率约14%。Seed3D 2.0达到69%,说明在专业评审眼中它的纹理质量远超其他模型平均水准。

四、扩展能力

除了核心几何和纹理生成,Seed3D 2.0还具备三项扩展能力:

部件级分割与补全:识别3D对象不同部件(如椅子椅腿、椅背、坐垫),对缺失部件补全

铰接资产生成:支持生成带关节结构的3D资产(机械臂、可开合的门),这类资产在游戏和工业仿真中需求大

场景组合生成:基于图像、视频或文本输入,生成包含多个对象的完整3D场景

获取方式 :API已上线火山引擎,技术报告已公开。

文章来源:AITOP100

原文链接:https://www.aitop100.cn/seed3d-2.0

相关推荐
奇舞精选5 小时前
OpenAI Agents SDK:生产级智能体开发的工程化利器
aigc·openai
阿杰学AI7 小时前
AI核心知识135—大语言模型之 OpenClaw(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·ai编程·openclaw
Karl_wei8 小时前
你的AI 产品,需要尽快尝试 Agent
aigc·agent·ai编程
新智元9 小时前
GPT-5.5来了!全榜第一碾压Opus 4.7,OpenAI今夜雪耻
aigc·openai
新智元9 小时前
DeepSeek V4 震撼发布!实现全球开源领先
aigc·openai
摄影图10 小时前
智慧城市数字孪生素材 多元风格适配各类创作需求
信息可视化·aigc·智慧城市·贴图·插画
_冷眸_10 小时前
Voyago:龙虾(OpenClaw)驱动的一站式旅行规划套件
人工智能·自然语言处理·aigc·agent·claude code
爱吃的小肥羊10 小时前
GPT-5.5正式发布!附国内订阅ChatGPT会员最全指南
aigc·openai·ai编程
爱吃的小肥羊11 小时前
刚刚!GPT-5.5 正式发布,Claude 可以退出国内市场了
aigc·openai·ai编程